Laravel Simple Crawler Application : Mise en oeuvre d'un framework PHP

I. Pourquoi les crawlers sont-ils toujours bloqués ? Essayez cette astuce !

Le vieux fer engagé dans le crawler comprend, le plus effrayé de rencontrer le site cible vous donne soudainement uneOffre groupée de blocage d'IP. Il y a quelques jours, un ami qui fait du commerce électronique s'est plaint d'avoir utilisé Laravel pour faire le crawler de comparaison de prix, et d'avoir été identifié comme un robot en l'espace de deux jours. Cette fois-ci, nous devrions offrir notre tueur - le service de proxy IP !

Et c'est là que le bât blesse.ipipgoServices à domicile (eau du robinet absolue recommandée), leur pool d'IP dynamique est particulièrement adapté au besoin de scénarios de changement d'IP fréquents. Pour donner un marronnier, avec leur API pour obtenir l'adresse IP, chaque requête peut automatiquement changer de gilet, le site ne peut tout simplement pas faire la différence entre une personne réelle ou un programme en fonctionnement.

Deuxièmement, il s'agit d'apprendre à manipuler un crawler avec des agents.

Tout d'abord la version de base du framework crawler de Laravel, ici avec l'optionGuzzleHttpC'est le moins de travail possible pour créer une bibliothèque de demande :

// Installer les bibliothèques nécessaires
composer require guzzlehttp/guzzle

// Créer le contrôleur du crawler
php artisan make:controller SpiderController

Le code clé est le suivant (n'oubliez pas de remplacer la configuration du proxy par l'adresse fournie par ipipgo) :

public function fetchData(){
    $client = new GuzzleHttpClient([
        'proxy' => 'http://username:password@gateway.ipipgo.com:端口号'
    ]) ;

    $response = $client->get('Target URL') ;
    // Traiter les données explorées...
}

Configuration de l'IP proxy pour éviter le guide des puits

C'est là que le bât blesse.réglage du délai d'attenteC'est un piège ! Beaucoup de débutants oublient de définir le paramètre timeout et le programme reste bloqué. Il est recommandé de l'ajouter dans la configuration de Guzzle :

timeout' => 30, // en secondes
'connect_timeout' => 10

IV. session pratique d'AQ

Q : Ne puis-je pas utiliser un proxy gratuit ? Pourquoi dois-je acheter ipipgo ?
R : Neuf proxies gratuits sur dix ne fonctionnent pas ! Des tests antérieurs ont montré que la durée moyenne de survie des IP gratuites est inférieure à 15 minutes, tandis que les pools d'IP commerciaux d'ipipgo ne fonctionnent pas.Disponibilité 98%En outre, une assistance technique professionnelle est assurée.

Q : Comment puis-je vérifier que le proxy fonctionne ?
R : Ajoutez une interface de débogage dans le code pour renvoyer l'adresse IP actuellement utilisée. Ou utilisez directement l'ipipgo fourniInterface de détection IPSi vous entrez la commande, vous pouvez voir l'IP d'exportation réelle.

V. Jeu de haut niveau : architecture distribuée des robots d'exploration

Lorsqu'il est nécessaire d'effectuer des recherches à grande échelle, il est recommandé d'utiliser l'optionLaravel Queue + Multi-Proxy IPLa combinaison. Diviser la tâche d'exploration en plusieurs sous-tâches, chaque sous-tâche étant assignée à un canal proxy ipipgo différent, de sorte que l'efficacité est directement doublée !

Remarque lors de la configuration de la distribution des tâches :
1. utilisation de configurations d'agents distinctes pour chaque processus de file d'attente
2) Mise en place d'un mécanisme de réessai en cas d'échec
3. n'oubliez pas de le configurer dans le backend d'ipipgo.Liste blanche d'adresses IPPrévenir la caducité des autorisations

Une dernière tirade sur l'importance d'être un crawlers'arrêter avant d'aller trop loin (idiome) ; s'arrêter tant qu'on le peutLa première chose à faire est de définir un intervalle de demande raisonnable. Grâce à la fonction de planification intelligente d'ipipgo, les deux parties peuvent accomplir leur tâche sans causer de problèmes. En cas de problème technique, n'hésitez pas à laisser un message pour en discuter, nous reviendrons ~ !