Web Crawling with PHP : CURL Efficient Data Collection Tutorial (en anglais)

Si votre IP est bloquée pour l'exploration de données, essayez cette astuce qui vous sauvera la vie !

Faire la collecte de données de l'ancien fer devrait avoir rencontré cette situation : il suffit de saisir deux pages de données, le serveur vous donnera l'IP noir. À ce moment-là, nous devons sortir le proxy IP ce tueur, en particulier comme ipipgo ce fournisseur de service fiable, peut vous permettre comme open plug-in collecte de données en continu.

// Configuration de base de curl
$ch = curl_init() ;
curl_setopt($ch, CURLOPT_URL, "site de destination") ;
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ;

// Chargement du proxy ipipgo
curl_setopt($ch, CURLOPT_PROXY, 'proxy IP:port') ; // par exemple 1.2.3.4:8080
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'Account:Password') ; // ex. 1.2.3.4:8080

$result = curl_exec($ch) ;

Proxy IP real combat trois axes

Premier mouvement :Coupes aléatoires pour les gilets. N'utilisez pas toujours la même IP, le pool d'IP d'ipipgo est suffisamment grand pour changer aléatoirement d'IP à chaque demande, de sorte que le site cible pense être visité par un utilisateur normal.

Deuxième mouvement :Soyez flexible avec les paramètres du délai d'attente. Il est recommandé de fixer le délai d'attente entre 3 et 8 secondes, trop court pour faciliter les erreurs d'appréciation et trop long pour être efficace.

// Exemple de configuration du délai d'attente
curl_setopt($ch, CURLOPT_TIMEOUT, 5) ; curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 3) ; // Exemple de configuration du délai d'attente
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 3) ; curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 3) ;

Troisième mouvement :Faux en-tête de navigateur. De nombreux sites détectent les en-têtes de requête et il est plus sûr d'utiliser l'AU des navigateurs courants.

Scène de renversement courante AQ

Q：Pourquoi le site est-il toujours bloqué alors que j'ai utilisé un proxy ?
R : trois situations peuvent se présenter : 1. la qualité de l'IP du proxy n'est pas bonne 2. la fréquence des demandes est trop élevée 3. les caractéristiques de la demande sont trop évidentes. Il est recommandé d'utiliser la réserve importante de proxies d'ipipgo avec la fonction de délai aléatoire.

Q : Que dois-je faire si je ne parviens pas souvent à me connecter à l'adresse IP du proxy ?
R : Cela arrive plus souvent qu'autrement avec les proxies gratuits. Le taux de survie d'ipipgo peut atteindre 99%, et il est également doté d'une fonction de commutation automatique des IP non valides.

Conseils essentiels pour les joueurs avancés

1. L'acquisition simultanée devrait être limitéeBien qu'ipipgo prenne en charge une concurrence élevée, il est recommandé de ne pas dépasser 50 threads, car il est trop difficile d'être la cible d'un robot anti-crawler.

2. Protocole de commutation intelligent：根据目标网站情况选择http/https代理，ipipgo的代理支持多协议自动适配。

3. Réessai automatique anormalLes fonctions suivantes sont disponibles : Réessayer automatiquement en cas de fluctuations du réseau ; ne pas oublier de définir le nombre maximum de tentatives afin d'éviter une boucle d'arrêt.

// Exemple d'un mécanisme de relance intelligent
$retry = 3 ; while($retry--) {
while($retry--) {
    $result = curl_exec($ch) ; if(!curl_errno($ch)) break ; if( !
    if(!curl_errno($ch)) break ;
    sleep(1) ; // réessaie après un intervalle d'une seconde
}

Pourquoi recommandez-vous ipipgo ?

Après avoir testé sept ou huit services proxy sur le marché, ipipgo présente trois avantages décisifs :

1. 全国30+机房节点，基本在50ms以内
2. pool IP exclusif sans numéro de série, collecte de données plus propre
3. un support technique professionnel en ligne 7 × 24 heures, une deuxième réponse en cas de problème

En particulier pour la comparaison des prix du commerce électronique, le suivi de l'opinion publique de ces projets qui nécessitent une collecte à long terme, avec des agents ordinaires trois jours hors du problème, ipipgo peut épargner beaucoup de soucis. L'enregistrement d'un nouvel utilisateur donne lieu à l'envoi d'un dossier d'expérience, ce qui vous permet d'essayer avant d'acheter.

Guide pour éviter la fosse

Une dernière remarque à l'attention des débutants :
1) N'essayez pas d'utiliser un proxy gratuit, la sécurité des données n'est pas garantie.
2. toujours acheter des forfaits commerciaux pour les articles importants ; les forfaits mensuels d'ipipgo sont plus rentables que la facturation au volume
3. vérifier régulièrement l'anonymat des adresses IP des serveurs mandataires afin d'éviter les retours en arrière

La maîtrise de ces techniques, avec l'aide d'ipipgo, peut essentiellement répondre aux besoins de collecte de 90%. La prochaine fois que vous rencontrerez un site web difficile, n'oubliez pas de changer l'IP du proxy en premier lieu pour essayer, mais pas durement, le site cible.