Proxy ip get api : proxy API get interface development practice

Apprentissage pratique du développement de l'interface de l'API proxy

Récemment, beaucoup de développement reptile vieux fer demandé, comment obtenir un proxy stable interface d'accès IP. Aujourd'hui, nous allons utiliser la langue vernaculaire, prendre ipipgo service familial pour donner un marron, vous apprendre à commencer à partir de zéro l'ensemble du travail.

L'arrimage à l'API n'est pas aussi difficile que vous le pensez

Tout d'abord, il faut un fournisseur de proxy fiable. Comme ipipgo, qui fournit une documentation API prête à l'emploi. Le format de retour de leur interface ressemble à ceci :

{
  "code" : 0,
  "data" : [
    "103.88.46.1:8000",
    "201.15.32.2:8080"
  ]
}

se concentrer surcode d'état de la réponseet une liste d'adresses IP. En Python, l'ensemble du code de la requête tiendrait en cinq ou six lignes :

demandes d'importation

api_url = "https://api.ipipgo.com/getips?key=你的密钥"
response = requests.get(api_url).json()

si response['code'] == 0.
    proxies = [f "http://{ip}" for ip in response['data']]

Évitez les nids-de-poule.

Pendant le test, il y avait trois endroits où il était particulièrement facile de rouler :

Comment se déroulent les scénarios d'entreprise réels

Pour donner un exemple de projet de crawler, voici comment il doit être configuré :

def crawl_with_retry(url).
    pour proxy dans proxies.
        try.
            return requests.get(url, proxies={"http" : proxy}, timeout=10)
        except : continue
            return None
    return None

Soyez attentifs.réglage du délai d'attenteNe prenez pas plus de 10 secondes, et changez la suivante si vous êtes bloqué. L'IP résidentielle dynamique d'ipipgo peut changer plus de 20 IP par seconde, ce qui est tout à fait suffisant.

Foire aux questions QA

Q : Il fonctionne bien lors des tests, mais tombe lorsque vous l'utilisez officiellement ?
R : 80% du pool IP est trop petit, il est recommandé de passer à la version entreprise du package résidentiel dynamique, plus de 9 yuans de trafic 1G suffisant pour construire la plupart de la journée.

Q : Certains sites web reconnaissent toujours que j'utilise un proxy ?
R : Changez leur IP résidentielle statique, l'IP mensuelle à 35 $, comme pour un réseau domestique normal.

Q : Que dois-je faire si l'API renvoie soudainement des données vides ?
R : Vérifiez d'abord si la clé n'a pas expiré, puis vérifiez le solde du compte. L'utilisation est contrôlée en temps réel en arrière-plan. N'attendez donc pas d'être à court de clés pour penser à les recharger.

Choisissez le bon paquet pour économiser beaucoup d'argent

ipipgo Ces paquets sont les plus pratiques :

• Pour commencer, la sélection deDynamique résidentielle (standard)C'est plus de 7 dollars pour 1G de trafic.
• Pour les studiosNouvelles de l'édition EntreprisePrise en charge des demandes à forte concurrence
• L'ouverture d'un compte doit se faire surMaisons statiquesLa période d'enquête peut être maintenue pendant une longue période.

Enfin, n'utilisez pas de proxies gratuits pour économiser de l'argent. J'ai vu des gens qui essayaient d'économiser de l'argent, mais les données qu'ils montaient étaient toutes fausses. Les canaux réguliers pour acheter un proxy, la qualité des données est garantie, sans compter que le problème peut également trouver le service client pour déchirer (bien que la réponse du support technique d'ipipgo est assez rapide, fondamentalement ne peut pas utiliser cette astuce).