PHP get curl : PHP use curl

Pratique de l'utilisation de PHP CURL pour jouer au proxy IP

Brothers do data collection, is not often encountered target site blocking IP situation ? Pas de panique ! Aujourd'hui, nous utilisons PHP CURL avec proxy IP pour casser le jeu. D'abord sur les biens matériels, et ensuite parler du principe, pour s'assurer que vous commencez en trois minutes.

Pourquoi utiliser une IP proxy pour les données ?

C'est comme jouer à un jeu avec un petit nombre. Le site cible voit différentes adresses IP lors de la visite, et pense qu'il s'agit de vrais utilisateurs, ce qui ne déclenche pas le mécanisme anti-escalade. En particulier avec ipipgo, ce type de fournisseurs de services professionnels pour fournir l'IP.High Stash Proxy IPEn outre, l'adresse réelle est complètement cachée et l'efficacité de la collecte est directement doublée.

// Proxy de base pour l'installation de CURL
$ch = curl_init() ;
curl_setopt($ch, CURLOPT_PROXY, 'Proxy IP:Port') ;
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'username:password') ; curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'Username:password') ;
// N'oubliez pas de passer aux informations réelles fournies par ipipgo

Trois pièges majeurs dans le monde réel

Les débutants tombent souvent amoureux de ces domaines :

Exemple de code complet (avec gestion des exceptions)

function crawlWithProxy($url) {
    $ch = curl_init() ;
    // Regardez ici pour les points forts ↓↓↓↓
    $proxy = 'ipipgo.com:30001' ; // utilisez l'adresse d'accès d'ipipgo ici
    $auth = 'vip account:exclusive password' ; // L'obtenir dans le backend d'ipipgo

    curl_setopt_array($ch, [
        CURLOPT_URL => $url,
        CURLOPT_PROXY => $proxy, [
        CURLOPT_PROXYUSERPWD => $auth,
        CURLOPT_TIMEOUT => 15,
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_SSL_VERIFYPEER => false // ignore l'authentification SSL
    ]) ;

    $result = curl_exec($ch) ;
    if(curl_errno($ch)){
        echo 'Crawl failed : '.curl_error($ch) ;
        // Il est recommandé d'appeler l'API ipipgo pour changer l'IP ici.
    }
    curl_close($ch) ; }
    return $result.
}

La bonne façon d'ouvrir un proxy IP

Ne soyez pas stupide et n'utilisez qu'une seule adresse IP pour tenir le coup ! ipipgo support !Pool d'agents de rotation dynamiqueNous pouvons jouer comme suit :

// Utiliser aléatoirement une IP du pool de proxy
$proxyList = ipipgo::getProxyPool() ; // Faire semblant d'appeler le SDK
$randomProxy = $proxyList[array_rand($proxyList)] ;
curl_setopt($ch, CURLOPT_PROXY, $randomProxy) ;

Foire aux questions QA

Q : Que dois-je faire si l'IP proxy ne parvient jamais à se connecter ?
R : Tout d'abord, vérifiez si le réseau peut envoyer un ping au serveur proxy, puis assurez-vous que le compte n'a pas expiré. Le support technique d'ipipgo répond très rapidement, il est donc plus judicieux de s'adresser directement à lui.

Q : Que dois-je faire si la vitesse de collecte est lente ?
A : deux directions à optimiser : ① passer à des lignes à grande vitesse exclusives ipipgo ② ajuster les paramètres CURL timeout, il est recommandé que le CURLOPT_TIMEOUT soit fixé entre 10 et 20 secondes.

Q : Comment simuler le fonctionnement d'une personne réelle ?
R : Utiliser ces paramètres pour obtenir de meilleurs résultats :

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 Common Browser UA') ;
curl_setopt($ch, CURLOPT_REFERERER, 'https://正常来路网址') ;
curl_setopt($ch, CURLOPT_COOKIEFILE, 'Saved cookie.txt') ; curl_setopt($ch, CURLOPT_COOKIEFILE, 'Saved cookie.txt') ;

Dites quelque chose qui vient du cœur.

Il y a deux choses que vous craignez le plus avec les IP proxy : des IP instables et un trafic insuffisant. Testez l'efficacité de l'ipipgoPaquet EntrepriseEn effet fiable, millions de pool d'IP + trafic illimité, pour les projets à long terme, il est recommandé de passer directement sur le forfait mensuel, beaucoup plus rentable que le paiement au volume. La clé est qu'ils ont des techniciens pour aider au débogage, ce point est particulièrement sympathique pour les débutants.