PHP Web Crawling : Extraction simple de données

Des exercices pratiques avec PHP pour vous apprendre à utiliser la saisie de données sur les pages web.

Les frères qui pratiquent le crawling sur le web savent que de nombreux sites web ont ajouté des mécanismes anti-climbing et que l'écriture d'un script de crawling en PHP ne sera pas bloquée par l'adresse IP.Décentralisation de la pression des demandesNous allons nous concentrer sur l'utilisation du service proxy d'ipipgo pour y parvenir.

A quoi ressemble la version de base du code de crawl

Commençons par l'exemple le plus simple de crawler PHP, celui qui n'utilise pas de proxy :

$url = 'http://目标网站.com' ;
$html = file_get_contents($url) ; echo $html ; $html = file_get_contents($url)
echo $html.

Ce genre d'écrits sera bloqué dans trois jours, surtout si vous vous y rendez fréquemment. C'est comme utiliser le même numéro de téléphone portable pour envoyer des publicités aux gens tous les jours, tôt ou tard elles seront bloquées.

La bonne façon d'ouvrir un proxy IP

Je vous montre comment transformer le code avec le proxy d'ipipgo :

$proxy = '121.36.88.178:31152' ; //pris dans le backend ipipgo
$context = stream_context_create([
    'http' => [
        'proxy' => "tcp://$proxy",
        'request_fulluri' => true
    ]
]) ;
$html = file_get_contents('http://目标网站.com', false, $context) ;

Voici l'essentiel : n'oubliez pas d'aller dans le back-office d'ipipgo pour mettre lePool IP dynamiqueOuvertes, leur durée de survie IP peut atteindre 3 à 6 heures, ce qui est beaucoup plus fiable que celles qui expirent au bout d'une demi-heure.

Guide pratique pour éviter la fosse

Conducteurs expérimentés

1. ne pas économiser l'argent du trafic. ipipgo.forfait de facturation basé sur la quantitéParticulièrement adapté aux petits projets
2. le prix du commerce électronique de l'achat de cette opération à haute fréquence, n'oubliez pas de régler l'intervalle de plus de 5 secondes.
3) Lorsque vous rencontrez des problèmes avec les certificats SSL, ajoutez unverify_peer=>falseaide d'urgence temporaire

Foire aux questions QA

Q : Que dois-je faire en cas de ralentissement après l'utilisation d'un proxy ?
A : Modifier l'adresse de l'ipipgoBGP Salle des serveurs multi-lignes，实测能压到200ms以内

Q : Quelle formule d'agent dois-je choisir ?
R : la période de test avec le montant du paiement, le projet officiel directement emballé mensuellement, ils achètent la moitié d'une année pour envoyer deux mois est tout à fait rentable !

Q : Qu'en est-il des pages qui doivent être traitées pour le rendu JavaScript ?
R : Vous pouvez utiliser des outils comme le marionnettiste, mais n'oubliez pas d'activer l'arrière-plan ipipgo.Mode session longue

Trucs et astuces avancés

Ajouter au code un mécanisme de réessai en cas d'échec, en utilisant la liste d'IP alternatives d'ipipgo :

$proxies = ['111.22.33.44:1234','222.33.44.55:5678'] ; // IP multiples
foreach($proxies as $proxy){
    try {
        // Placez le code du proxy précédent ici
        break ; } catch(Exception $proxies as $proxy) {
    } catch(Exception $e) {
        continue ; }
    }
}

Cette routine permet de doubler directement le taux de réussite, en particulier contre les sites Web stricts qui s'opposent à l'escalade, ce qui rend le test efficace.