Laravel proxy IP crawler source code : Laravel proxy crawler source code analysis

Apprenez à utiliser Laravel pour obtenir un proxy IP crawler !

Récemment, beaucoup de vieux fer a demandé comment utiliser Laravel entière proxy IP crawler, aujourd'hui, nous prenons les gars disque cette question. Nous allons nous concentrer sur la façon d'utiliser l'IP proxy d'ipipgo pour résoudre le problème du crawler a été interdit, certainement plus que ces tutoriels en ligne sont vraiment les mêmes.

Pourquoi faut-il utiliser une adresse IP proxy pour les robots d'indexation ?

Par exemple, si vous prenez votre propre IP pour accéder au site web, c'est comme si vous portiez un costume fluorescent pour vous cacher - vous êtes démasqué en quelques minutes. L'IP proxy d'ipipgo équivaut à vous donner une cape d'invisibilité, et chaque fois que vous demandez à changer de gilet, le site web ne peut tout simplement pas reconnaître qui vous êtes.

// Configuration de base du crawler (sans proxy)
$html = file_get_contents('Target site') ;
// Se faire bannir en quelques minutes !

Construction de base du crawler Laravel

Tout d'abord, l'ensemble du cadre du crawler simple, ici avec la démonstration de GuzzleHTTP :

utiliser GuzzleHttpClient.

$client = new Client([['timeout' => 10, 'timeout' => 10, 'timeout' => 10)
    'timeout' => 10, 'headers' => [
    'headers' => [
        'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64)'
    ]
]).

// Méthode de requête originale
$response = $client->get('Target URL') ;

Intégration du service proxy ipipgo

C'est là que le bât blesse ! Utilisez l'API d'ipipgo pour extraire l'IP du proxy, n'oubliez pas de l'obtenir sur le site officiel !Clé API: :

// Interface pour obtenir l'IP du proxy
$proxyApi = 'https://api.ipipgo.com/proxy?apikey=你的密钥' ;

// Obtenir la liste des IP de proxy
$proxyList = json_decode(file_get_contents($proxyApi), true) ;

// Choisir un proxy aléatoire
$randomProxy = $proxyList['data'][array_rand($proxyList['data'])] ;

// Demande de configuration avec proxy
$client = new Client([[
    'proxy' => [
        'http' => "http://{$randomProxy['ip']}:{$randomProxy['port']}",
        'https' => "http://{$randomProxy['ip']}:{$randomProxy['port']}"
    ],
    'auth' => [$randomProxy['username'], $randomProxy['password']]].
]) ;

Techniques de prévention des interdictions dans le monde réel

Il ne suffit pas de faire appel à des agents, il faut être stratégique :

Foire aux questions QA

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Il est recommandé d'activer la fonction de changement automatique d'IP d'ipipgo ou de passer à un forfait résidentiel dynamique de niveau entreprise (9,47 $/GB).

Q : Vous n'arrivez pas à augmenter la vitesse du crawler ?
R : Essayez ces astuces :
1. requêtes parallèles avec des pools multithreads + proxy
2. sélection d'agents de centres de données à faible latence
3. contacter ipipgo technology pour un programme 1v1 personnalisé

Q : Comment choisir un forfait avec un budget limité ?
R : La priorité est donnée à la Dynamic Residential Standard Edition ($7.67/GB), la facturation du trafic ne nuit pas. Si vous avez besoin d'une IP fixe, passez à la version statique.

Dites quelque chose qui vient du cœur.

S'engager dans l'exploration de cette chose, la qualité de l'IP proxy détermine directement le succès ou l'échec. J'ai utilisé sept ou huit fournisseurs de services, ipipgo'sLigne TKEst vraiment résistant à construire, spécialisé dans les sites web difficiles. Leur client est aussi un voleur pratique, les blancs peuvent démarrer en trois minutes.

Enfin, je voudrais rappeler que si les crawlers sont bons, il ne faut pas être trop gourmand ! Un contrôle raisonnable de la fréquence des requêtes, avec un proxy IP de haute qualité, afin d'obtenir un long flux de données. Ce que je ne comprends pas, c'est qu'à tout moment, sur le site officiel d'ipipgo, on trouve un service clientèle tatillon, un enthousiasme de petit frère voleur de technique.