Exemple de crawler PHP : Exemple de code de crawler proxy PHP

Pourquoi le crawling PHP a-t-il besoin de proxies ? Les conducteurs âgés comprennent l'ouverture de la porte

Les crawlers ont dû rencontrer cet obstacle - le site cible a soudainement bloqué notre IP ! Cette fois, il faut sortir le proxy IP, cette arme magique. C'est comme jouer à un jeu d'ouverture d'un petit nombre, à chaque fois avec une IP différente à demander, le serveur ne reconnaîtra pas le même joueur dans l'opération.

Voici une recommandation pour vous.ipipgoLe service proxy de la famille, leur pool d'IP est très profond, chaque demande change aléatoirement d'IP, effet anti-blocage. En particulier lors de la collecte de données en masse, aucune IP proxy n'est comme courir nu, et vous serez attrapé par le site Web cible en quelques minutes.

Capture de proxy en pratique

Tout d'abord, nous devons comprendre comment utiliser un proxy IP. Utilisons la bibliothèque cURL de PHP pour démontrer, cette chose est comme un navigateur universel, qui peut être personnalisé avec différents paramètres de requête.

// Configurer les informations relatives au serveur proxy
$proxy = 'gateway.ipipgo.net:8001' ; // Adresse d'entrée fournie par ipipgo
$auth = 'username:password' ; // Informations d'authentification obtenues du backend ipipgo

$url = 'https://目标网站.com/data' ; // Les informations d'authentification obtenues dans le backend d'ipipgo.

$ch = curl_init() ;
curl_setopt($ch, CURLOPT_URL, $url) ;
curl_setopt($ch, CURLOPT_PROXY, $proxy) ; curl_setopt($ch, CURLOPT_PROXY, $proxy) ;
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth) ; curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth)
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1) ; curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1).

// Fixer un délai d'attente pour éviter les blocages
curl_setopt($ch, CURLOPT_TIMEOUT, 30) ; // Fixer un délai d'attente pour éviter les blocages.

$response = curl_exec($ch) ;
if(curl_errno($ch)){
    echo 'Crawl error : '.curl_error($ch) ; }
}
curl_close($ch) ; }

// Traiter les données renvoyées
echo $response ; }

Conseils pratiques et astuces

1. Stratégie de rotation de la propriété intellectuelleAvec ipipgo.API de commutation dynamiqueL'API de leur maison réagit rapidement aux voleurs et n'affecte pas l'efficacité de la collecte.

2. Routines de gestion des exceptionsEn cas de code d'état 403, changez immédiatement d'adresse IP et réessayez. Il est recommandé d'utiliser try-catch pour envelopper le code de la requête et de ne pas changer automatiquement de proxy.

// Exemple de gestion des exceptions
do {
    try {
        // Obtention d'une nouvelle IP à partir d'ipipgo
        $newProxy = get_new_ip_from_ipipgo() ;
        //... Exécuter le code de crawl
        break ; }
    } catch(Exception $e) {
        // Enregistre le journal des erreurs
        sleep(2) ; // Attendez et réessayez.
    }
} while(true).

Comment choisir le type d'agent ? Consultez ce tableau comparatif

L'effet de la grande quantité d'agents testés par ipipgo est remarquable, à l'instar d'une plate-forme de commerce électronique telle qu'un site pervers anti-escalade, dont les agents peuvent assurer la stabilité pendant plus de 8 heures sans interruption de la ligne.

Le temps de l'assurance qualité : les pièges les plus courants pour les débutants

Q：Que dois-je faire si mon IP proxy ne fonctionne pas lorsque je l'utilise ?
R : Cette situation est due à 80 % à l'utilisation d'un proxy indésirable. Choisissez ipipgo de tels fournisseurs de services professionnels, leur taux de survie IP est garanti, mais aussi avec la fonction de commutation automatique.

Q : Que dois-je faire si le crawl est ralenti ?
R : Vérifiez l'emplacement géographique du serveur proxy, choisissez un nœud proche du site cible. ipipgo a plus de 30 nœuds nationaux parmi lesquels choisir, Hong Kong, Singapour, ces nœuds asiatiques accélèrent les vols.

Q : Échec de l'exploration d'un site web HTTPS ?
R : Ajoutez ces deux phrases aux paramètres cURL :

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false) ; curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false) ;
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false) ; curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false).

Une dernière chose : les IP proxy valent chaque centime. Les proxys gratuits sont beaux à regarder, mais ils peuvent vous faire pleurer quand vous les utilisez. Comme ipipgo ce service payant, la stabilité est beaucoup plus fiable, surtout pour faire des projets sérieux, n'économisez pas cet argent.