PHP web crawling : Guide de collecte de données sur les sites web en PHP

A. Pourquoi les données d'exploration sont-elles toujours bloquées ? Essayez cette méthode stupide

Les copains qui ont fait du crawling sur le web savent tous que le plus grand casse-tête est le mécanisme anti-crawl du site cible. Hier encore, un bon script fonctionnait, aujourd'hui c'est soudain 403, et on a envie d'écraser le clavier en colère. En ce moment, ne vous précipitez pas pour changer le langage de réécriture, essayez de donner aux scripts PHPPortez un gilet.-- Déguiser votre identité réelle avec une IP proxy.

Comme si vous alliez au supermarché pour essayer de manger, en portant les mêmes vêtements rouges tous les jours, le vendeur ne vous arrête pas pour arrêter qui ? L'IP proxy, c'est comme changer de veste de couleur tous les jours, pour que le site web ne puisse pas vous reconnaître comme une vieille connaissance. Nous vous recommandons d'utiliseripipgodes services proxy, leur pool d'adresses IP est aussi grand que l'océan Pacifique et ils peuvent simplement choisir une nouvelle identité et continuer à travailler.

Deuxièmement, la main pour t'apprendre à faire des scripts PHP, ensemble de gilets

Tout d'abord, le code complet à voir (n'oubliez pas d'installer l'extension curl) :

$proxy = '123.123.123.123:8888' ; // adresse proxy fournie par ipipgo
$targetUrl = 'https://目标网站.com' ;

$ch = curl_init() ;
curl_setopt($ch, CURLOPT_URL, $targetUrl) ;
curl_setopt($ch, CURLOPT_PROXY, $proxy) ; curl_setopt($ch, CURLOPT_PROXY, $proxy) ;
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ; curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ;
curl_setopt($ch, CURLOPT_TIMEOUT, 30) ; curl_setopt($ch, CURLOPT_TIMEOUT, 30).

// Important ! Définir l'authentification par proxy (disponible dans le backend ipipgo)
curl_setopt($ch, CURLOPT_PROXYUSERPWD, "username:password") ; // Important !

$response = curl_exec($ch) ;
if(curl_errno($ch)){
    echo 'Crawling error:'.curl_error($ch) ;
}
curl_close($ch) ; }

centreValidation du mandataireC'est là que le bât blesse ! Beaucoup de débutants oublient de définir le paramètre CURLOPT_PROXYUSERPWD, ce qui les empêche de se connecter. Le compte proxy d'ipipgo se trouve dans l'historique de l'utilisateur, dans le "Guide d'accès", alors ne soyez pas stupide et utilisez un compte enregistré pour vous connecter.

Troisièmement, le type d'IP proxy comment choisir de ne pas marcher sur la fosse

Il existe trois types d'agents sur le marché, si vous les confondez, vous vous exposez à des problèmes :

En se concentrant sur les agents à forte marge de manœuvre, cet agent devraComplètement cachéVotre véritable IP et les caractéristiques de votre proxy. La grande réserve de nœuds d'ipipgo remplace aléatoirement les en-têtes HTTP et traite même les champs cachés comme X-Forwarded-For proprement.

IV. guide pour éviter les pièges sur le terrain

1. Politique de commutation IPN'attendez pas d'être bloqué pour changer d'IP, il est recommandé de changer automatiquement toutes les 5 à 10 pages. L'API d'ipipgo permet d'obtenir la liste des IP disponibles en temps réel.

2. réglage du délai d'attenteCertains proxies gratuits sont aussi lents qu'un escargot, n'oubliez pas de définir le paramètre CURLOPT_TIMEOUT, et abandonnez si vous n'obtenez pas de réponse pendant plus de 10 secondes !

3. Gestion des exceptionsLes règles suivantes s'appliquent : ne lancez pas d'exception lorsque la connexion est interrompue, enregistrez-la et réessayez trois fois.

// Exemple de réessai intelligent
$retry = 0 ;
while($retry < 3){
    $result = curl_exec($ch) ; if(!curl_errno($ch)) break ; if( !
    if(!curl_errno($ch)) break ;
    $retry++ ;
    sleep(2) ; // attendez 2 secondes et réessayez
}

V. Six questions à poser absolument

Q1 : Est-il légal d'utiliser un proxy IP ?
R : Tant que vous ne crawlez pas de données sensibles, vous ne causez aucun dommage, tout comme le fait de couper des légumes avec un couteau de cuisine n'est pas un crime. ipipgo toutes les IP proviennent de canaux réguliers !

Q2 : Pourquoi recommandez-vous ipipgo ?
R : Sa famille a deux taureaux : le premier est la durée de survie de la PI jusqu'à 72 heures (contre 4 heures habituellement pour les autres), le second est de fournir des soins de santé à la population.l'en-tête de la requête se fait passer pourSupport technique

Q3 : Que dois-je faire en cas d'authentification par CAPTCHA ?
A : Combinaison de trois coups : ① réduire la fréquence des demandes ② utiliser un navigateur sans tête ③ changer l'IP mobile d'ipipgo

Q4 : Dois-je maintenir mon propre pool d'adresses IP ?
R : Ce n'est pas nécessaire ! ipipgo dispose d'une fonction de "programmation intelligente" en arrière-plan, qui élimine automatiquement les nœuds défaillants, ce qui représente 10 fois moins d'efforts que votre propre maintenance !

Q5 : Comment puis-je savoir si un agent est un "high stash" ?
R : Visitez http://httpbin.org/ip, si l'adresse IP renvoyée est la même que l'adresse IP du proxy défini et qu'il n'y a pas d'informations d'en-tête telles que X-Proxy-Id, il s'agit d'une véritable cachette haute.

Q6 : Comment l'acquisition asynchrone est-elle gérée ?
R : Utilisez Guzzle's Concurrent Requests + Proxy Pool Polling, vous pouvez consulter la documentation du développeur sur le site web d'ipipgo pour le code spécifique.

VI. dire la vérité

S'engager dans la collecte de données revient à mener une guérilla, et la clé de la réussite réside dans le fait qu'il est possible de collecter des données à partir d'une base de données.flexibles et modifiables. Ne vous attendez pas à ce qu'un seul ensemble de paramètres s'applique à tous les domaines, car ce qui fonctionne bien aujourd'hui ne fonctionnera peut-être pas demain. Il est conseillé d'utiliser davantage les fonctions d'ipipgoDemande de randomisation de l'en-têtela fonction User-Agent, Accept-Language ces paramètres dans un tableau de rotation aléatoire, de sorte que le système anti-escalade ne puisse pas ressentir les règles.

最后提醒新手朋友，千万别在采集脚本里用sleep(1)这种固定，聪明点的网站会通过请求间隔时间识别爬虫。随机+动态代理才是王道，这方面ipipgo的SDK已经封装好了相关方法，直接调用就行，比自己造轮子靠谱多了。