IP proxy combinée à un crawler PHP cURL : IP proxy intégrée à PHP cURL

Apprenez à utiliser PHP cURL pour trouver facilement l'adresse IP d'un proxy

Faire de la capture de données de l'ancien fer a dû rencontrer l'IP a été bloqué mauvaise chose, cette fois l'IP proxy est votre paille de sauvetage. Nous n'avons pas tout un faux aujourd'hui, directement sur les marchandises sèches pour vous enseigner comment utiliser PHP cURL avec proxy IP, garanti de voir la fin de l'opération pratique.

Pourquoi dois-je utiliser une adresse IP proxy ?

Par exemple, si vous allez au marché tous les jours pour acheter de la nourriture, et que le marchand voit que vous venez tous les jours et commence à augmenter le prix (IP bloqué). À ce moment-là, changez de gilet (proxy IP) et retournez acheter, le prix est tout de suite normal. L'IP par procuration peut vous aider :
1. éviter les sites web ciblésIdentifier le véritable IP
2. les percéesLimitation de la fréquence d'accès
3. traiter certains domainesProblèmes de blindage du réseau

Paramètres de base de PHP cURL

Tout d'abord, il faut comprendre comment utiliser cURL pour envoyer des requêtes, c'est la base. Regardez ce code :

$ch = curl_init() ;
curl_setopt($ch, CURLOPT_URL, 'http://目标网站.com') ;
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ;
$response = curl_exec($ch) ;
curl_close($ch) ;

C'est comme si vous vous promeniez nu sans gilet, et vous serez vite repéré par le site cible. Ensuite, mettons une IP proxy sur la cape d'invisibilité.

Proxy IP Access 3-Pack

C'est là que le bât blesse ! Ces trois paramètres doivent être mis en place :

// Prenons l'exemple du proxy HTTP d'ipipgo
curl_setopt($ch, CURLOPT_PROXY, '123.45.67.89:8080') ; // adresse du proxy + port
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'username:password') ; // informations d'authentification
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP) ; // type de proxy

Notez qu'il y a un piège ici : les différents types de mandataires doivent modifier le paramètreCURLPROXY_TypeLe proxy SOCKS5, par exemple, doit utiliser l'optionCURLPROXY_SOCKS5Le proxy d'ipipgo prend en charge plusieurs protocoles, n'oubliez pas de vérifier le type de protocole en arrière-plan.

Cas pratique : saisir le prix des marchandises

Supposons que nous voulions récupérer des données d'une plateforme de commerce électronique, le code complet ressemble à ceci :

function fetchData($proxy){
    $ch = curl_init() ;
    curl_setopt_array($ch, [
        CURLOPT_URL => 'https://目标电商.com/api/prices',
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_TIMEOUT => 30,
        CURLOPT_PROXY => $proxy,
        CURLOPT_PROXYUSERPWD => 'ipipgo_user:your_password',
        CURLOPT_HTTPHEADER => [
            'User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64)'
        ]
    ]) ;
    $result = curl_exec($ch) ;
    if(curl_errno($ch)){
        echo 'Crawl failed : '.curl_error($ch) ; }
    }
    curl_close($ch) ; }
    return json_decode($result, true) ; }
}

// Rotation à travers plusieurs IP de proxy fournies par ipipgo
$proxies = ['111.222.333.4:8080','112.113.114.5:3128','123.123.123.123.6:8888'];
foreach($proxies as $proxy){
    $data = fetchData($proxy) ;
    if($data) break ;
}

Foire aux questions QA

Q : Que dois-je faire si l'adresse IP de mon proxy est toujours dépassée ?
R : Vérifiez d'abord l'adresse et le port du proxy, puis utilisez telnet pour mesurer la connectivité. Si vous utilisez les proxys d'ipipgo, ils disposent d'une surveillance de la disponibilité en temps réel en arrière-plan.Disponibilité >95%Les nœuds du

Q : Que dois-je faire si la vitesse d'exploration ralentit soudainement ?
R : Il se peut que l'adresse IP actuelle du proxy soit limitée. Il est recommandé d'activer la fonctionMode de commutation intelligentLe système passe automatiquement au nœud le plus rapide.

Q : J'ai besoin de traiter le CAPTCHA, mais l'IP proxy ne peut pas ?
R : Pas nécessairement, mais les proxys à forte réserve réduisent la probabilité de déclencher un CAPTCHA. ipipgo'sAgents résidentiels dynamiquesLe programme est de premier ordre à cet égard et son efficacité a été testée personnellement.

Les détails du choix d'un fournisseur de services proxy

Il existe une grande variété de fournisseurs de services d'agences sur le marché, c'est pourquoi il convient de se concentrer sur ces indicateurs :

Rappel spécial : n'essayez pas d'utiliser un proxy gratuit, le léger est une fuite de données, le lourd est bloqué par le mécanisme anti-escalade. ipipgo fournitEssai gratuit pour les nouveaux utilisateurssuffisamment pour tester l'effet de substitution.

Enfin, j'aimerais dire quelques mots : l'IP Proxy n'est pas une panacée, mais il devrait être utilisé avec les techniques d'UA aléatoire et d'intervalle de requête. Les problèmes techniques peuvent être directement résolus par le service clientèle technique d'ipipgo, leur réponse 7 × 24 heures est vraiment fiable, beaucoup plus forte que celle des services clientèle robotisés.