Exemple de crawler PHP : Proxy IP pour résoudre le problème de blocage des requêtes

Utilisation de crawlers PHP pour contourner le blocage des sites

Récemment, de nombreux frères engagés dans l'exploration de données se sont demandé pourquoi le site cible était masqué pendant l'exploration. C'est franchement comme aller au supermarché pour essayer de manger - si vous essayez de manger une douzaine de fois de suite et que vous n'achetez rien, les gardes de sécurité voudront certainement vous chasser. Le serveur a constaté qu'une certaine IP demandait fréquemment, naturellement, de démarrer le mécanisme de protection. C'est le moment d'utiliser notreméthode de l'IP proxyEn haut.

Comment le proxy IP est-il devenu un talisman ?

Les IP proxy sont l'équivalent de la préparation de votre crawler pour leD'innombrables cascadeurs.. Lorsque l'IP principale est bloquée par le site, les autres IP peuvent continuer à se connecter. C'est comme jouer à un jeu avec un nombre illimité de résurrections, tant que le pool d'IP est assez grand, le site ne peut tout simplement pas s'en emparer.

// Exemple de code de crawler de base (la version qui est bloquée)
$url = 'https://target-site.com/data' ;
$html = file_get_contents($url) ;

// Version sécurisée avec proxy ipipgo
$proxy = '123.123.123.123:8888' ; // indiquez ici l'adresse du proxy fourni par ipipgo
$context = stream_context_create([
    'http' => [
        'proxy' => "tcp://$proxy",
        'request_fulluri' => true
    ]
]) ;
$html = file_get_contents($url, false, $context) ;

Guide pratique pour éviter la fosse

De nombreux débutants ont tendance à tomber dans ces pièges :

1. la mauvaise qualité de la représentationLes proxies gratuits sont mauvais dans 9 cas sur 10, utilisez l'interface de détection de survie d'ipipgo pour les passer au crible en premier lieu !
2. fréquence de commutation incorrecteIl est recommandé de changer d'adresse IP toutes les 5 à 10 requêtes, en fonction de la sensibilité du site web cible.
3. l'en-tête n'est pas déguiséN'oubliez pas de changer aléatoirement l'agent utilisateur pour que le site ne se rende pas compte qu'il s'agit de la même personne.

Kit de premiers secours QA

Q : Que dois-je faire si mon IP proxy ne fonctionne pas ?
R : C'est pourquoi nous recommandons d'utiliser le pool de proxy dynamiques d'ipipgo, qui rafraîchit automatiquement un lot de nouvelles IP toutes les 5 minutes, ce qui est beaucoup moins stressant que de les maintenir soi-même.

Q : Comment vérifier si l'agent est disponible ?
R : Écrivez un script de test pour visiter httpbin.org/ip afin de vérifier si l'IP renvoyée est la même que l'IP du proxy. ipipipgo est également doté d'un système de surveillance de la disponibilité en arrière-plan.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Cela signifie que la fréquence de changement d'IP est encore trop élevée, il est recommandé de : 1. réduire la fréquence des demandes 2. augmenter le nombre de pools d'IP 3. sur les paquets d'IP exclusifs d'ipipgo

Pourquoi ipipgo ?

Les leçons tirées de plus de deux ans d'utilisation :
1. faible temps de latence des nœuds nationaux (moyenne mesurée : 80 ms)
2. l'IP exclusif prend en charge l'achat à l'heure
3. mécanisme de réessai automatique en cas de défaillance
4. une réponse du service clientèle plus rapide que celle d'un livreur
Ils ont récemment mis en place une nouvelleFonction de routage intelligentqui recherche automatiquement les itinéraires les plus rapides, équivaut à mettre un turbocompresseur sur un robot d'exploration.

Enfin, un cas réel : avant qu'un ami ne fasse un site web de comparaison de prix, avec un proxy ordinaire chaque jour était bloqué 200 + fois, remplacé par un proxy résidentiel ipipgo, a fonctionné pendant 15 jours sans déclencher le blocage. C'est comme une guérilla, tant que vos "troupes" (nombre d'IP) sont assez nombreuses, le site ne peut tout simplement pas être défendu.