PHP curl GET Request : Exemple de code de collecte de données

Apprenez à utiliser PHP pour capturer des données sans bloquer l'IP !

Récemment, un certain nombre d'amis spécialistes du commerce électronique m'ont demandé d'utiliser PHP pour écrire un crawler qui serait toujours le site cible pour bloquer l'IP. Cette question revient en fait à jouer le jeu de l'ouverture d'un petit nombre de raisons.Gardez quelques IP proxy supplémentaires en rotationC'est la bonne solution. Prenons aujourd'hui php curl pour donner un marronnier, vous apprendre à utiliser le service proxy d'ipipgo pour récupérer les données correctement.

Code de base de la requête GET

Commencez par le modèle de requête curl le plus simple et complétez-le par la suite :

$url = 'https://目标网站.com/api' ;
$ch = curl_init() ;
curl_setopt($ch, CURLOPT_URL, $url) ;
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ;
$response = curl_exec($ch) ;
curl_close($ch) ; echo $response ; echo $response ; curl_exec($ch)
echo $response ;

Ce code s'exécute avec le nu comme, le site cible dans une minute pour attraper votre IP réel. Comme aller au marché prix de coupe sans porter un masque, le propriétaire de l'étal s'est souvenu de vous la prochaine fois directement le prix vers le haut.

Mettre un gilet de procuration sur la demande

C'est là que le bât blesse ! Nous devons intégrer la configuration du proxy dans le code. Voici un exemple utilisant le service proxy d'ipipgo, qui fournit un format d'API pratique pour les voleurs :

$proxy = 'http://用户名:密码@gateway.ipipgo.com:端口' ;
// Un vrai marron de la vie ↓
// $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028' ; // $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028' ; // $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028'

curl_setopt($ch, CURLOPT_PROXY, $proxy) ;
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP) ; curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP) ;

Attention aux nids-de-poule :

• N'oubliez pas de coder les mots de passe avec des symboles spéciaux.
• Le type de proxy doit correspondre à celui donné par le fournisseur de services.
• Réglez le délai d'attente sur une durée plus longue, plus de 15 secondes sont recommandées.

Plateau de codes complets

Sauvegarder tout ce qui a été dit précédemment dans un morceau de code qui peut être utilisé dans la pratique tout au long du processus :

function crawlWithProxy($targetUrl){
    $ch = curl_init() ;

    // Configuration du proxy
    $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028' ;
    curl_setopt($ch, CURLOPT_PROXY, $proxy) ;
    curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP) ; curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP) ;

    // Configuration de la requête
    curl_setopt($ch, CURLOPT_URL, $targetUrl) ; // Configuration de la requête.
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ; curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ; // Configuration de la requête.
    curl_setopt($ch, CURLOPT_TIMEOUT, 20) ; curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ;
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false) ; // sauter l'authentification https

    $result = curl_exec($ch) ;
    if(curl_errno($ch)){
        echo 'Error : '.curl_error($ch) ; }
    }
    curl_close($ch) ; return $result ; }
    return $result ; }
}

// Appel du monde réel
$data = crawlWithProxy('https://目标网站.com/products') ;

Scène de renversement fréquente chez les conducteurs âgés

Pourquoi recommandez-vous ipipgo ?

Je n'ose le recommander que si je l'ai utilisé chez moi, et ces points sont top :

1. Pool IP exclusif sans plantage
2. Contrôle de la vitesse de réponse dans les 200 ms
3. Un service clientèle professionnel et technique est chargé d'éteindre les incendies
4. Soutenir le paiement par répartition sans gaspillage

Triple AQ effectif

Q : Combien de fois dois-je utiliser l'IP proxy avant qu'elle n'expire ?
R : Il est recommandé de changer d'adresse IP pour chaque demande. L'API d'ipipgo prend en charge la commutation automatique, il suffit d'ajouter une interrogation du pool d'adresses IP dans le code.

Q : La collecte se fait à un rythme d'escargot ?
R : Quatre-vingt pour cent du serveur proxy n'est pas puissant, remplacé par les nœuds d'entreprise d'ipipgo, la vitesse peut être plus que triplée.

Q : Comment puis-je prévenir l'anti-escalade ?
R : En plus de changer d'adresse IP, n'oubliez pas d'ajouter User-Agent dans l'en-tête de la requête, et utilisez la grande réserve de proxys d'ipipgo pour plus d'assurance.

Enfin, la collecte des données est une question derapide, précis et stableLa première chose à faire est de choisir le bon fournisseur de services proxy pour vous épargner beaucoup de problèmes. Choisir le bon fournisseur de services proxy peut sauver une grande partie du cœur, ipipgo notre équipe a testé, des millions de demandes à transporter, les nouveaux utilisateurs peuvent également whoring test quota, spécifique au site officiel pour jeter un coup d'œil à elle.