Exemples de bibliothèques de requêtes Python : tutoriels sur les requêtes GET/POST

Tout d'abord, pourquoi votre crawler est-il toujours attiré par le site ?

Les crawlers rencontrent souvent 403 interdites, parfois juste saisir deux pages de données sur l'IP bloquée. cette fois, l'IP proxy est votre bouée de sauvetage. C'est comme jouer à un jeu pour ouvrir un petit numéro, avec une adresse IP d'accès différente, le site ne vous reconnaîtra pas comme la même personne.

Par exemple, accéder avec une IP native, c'est comme entrer dans un parc d'attractions avec une carte d'identité, et vous êtes sûr d'être remarqué si vous la glissez des dizaines de fois par jour. Si vous changez à chaque fois de point d'entrée (IP proxy), l'administrateur ne pourra pas vous repérer. Voici une bonne idéeipipgoHome proxy service, leur pool d'IP est si profond qu'ils obtiennent un nouveau gilet à chaque demande.

Deuxièmement, pratique des requêtes GET : avec l'exploration du web par un proxy

Commençons par les bases. Lorsque vous envoyez des requêtes GET avec des requêtes, n'oubliez pas d'indiquer la configuration du proxy dans le paramètre proxies. Notez que le format du proxy estProtocole://nom d'utilisateur:mot de passe@adresse:portIl est facile de tomber amoureux de ce lieu.

demandes d'importation

proxies = {
    'http' : 'http://user123:pass456@proxy.ipipgo.io:8000',
    'https' : 'http://user123:pass456@proxy.ipipgo.io:8000'
}

resp = requests.get('https://目标网站.com', proxies=proxies, timeout=10)
print(resp.text)

Mettez-le en évidence trois fois :Le paramètre timeout doit être ajouté ! Doit être ajouté ! Doit être ajouté ! Certains nœuds de proxy peuvent être saccadés et bloquer votre application sans délai d'attente. Si vous utilisez le proxy d'ipipgo, vous pouvez raccourcir le délai d'attente correctement, et leurs nœuds répondent avec une vitesse solide.

Troisièmement, la demande POST : comment jouer le proxy ?

Les requêtes POST sont configurées de la même manière que les requêtes GET, sauf qu'elles gèrent un paramètre de données supplémentaire. Voici un piège à éviter :Quel que soit le protocole utilisé par le site cible, le proxy doit s'y conformer.. Par exemple, si le site est https, le proxy doit prendre en charge la redirection https.

data = {'username' : 'test', 'password' : '123456'}
headers = {'Content-Type' : 'application/json'}

resp = requests.post(
    'https://登录接口.com',
    json=data,
    proxies=proxies,
    headers=headers, verify=False
    verify=False Désactive temporairement la vérification des certificats lors du débogage.
)

Avec le proxy d'ipipgo, il est recommandé de garder verify=True, leur proxy est livré avec un certificat SSL, il n'est pas nécessaire de désactiver la vérification de sécurité. Lorsque vous avez besoin de vous connecter au site, n'oubliez pas d'apporter le cookie, sinon il est facile d'être saisi par le mécanisme anti-escalade.

Guide de sélection du type d'IP proxy

Il existe trois types d'agents communs sur le marché, comparons-les à l'aide du tableau :

La famille ipipgo est une grande réserve d'agents, particulièrement adaptée à la nécessité d'une collecte stable à long terme de la scène. Lors du test réel, le site cible n'a pas déclenché le mécanisme de vérification à la suite d'une demande continue de 100 fois par leur proxy.

V. Lignes directrices en matière de premiers secours pour les situations de renversement les plus courantes

Q：Pourquoi ne puis-je pas me connecter lorsque mon agent est jumelé ?
A：先检查代理格式，特别注意特殊字符要用%转义。比如密码里有@符号的话，得改成%40。

Q : Que se passe-t-il si les données renvoyées sont brouillées ?
A : Ajoutez 'Accept-Encoding' : 'identity' dans l'en-tête de la requête pour forcer la désactivation de la compression. Ou utilisez resp.content.decode('correct encoding') pour décoder manuellement.

Q : Comment puis-je vérifier si l'agent est en fonction ?
R : Visitez http://httpbin.org/ip pour vérifier si l'IP renvoyée est une IP proxy. Il est recommandé d'utiliser l'interface de vérification fournie par ipipgo, qui peut renvoyer directement des informations sur le nœud proxy.

VI. jeu de mise à niveau : remplacement automatique du pool d'agents

L'utilisation d'un seul proxy est facile à détecter, vous devez obtenir un pool de proxies à faire tourner. Utilisez l'API d'ipipgo pour obtenir des proxies de manière dynamique, en choisissant une nouvelle IP au hasard pour chaque requête :

import random

def get_proxy() : proxy_list = requests.get('').json()
    proxy_list = requests.get('https://api.ipipgo.com/get_proxy').json()
    return random.choice(proxy_list)

for _ in range(10) : current_proxy = get_proxy()
    current_proxy = get_proxy()
    resp = requests.get(url, proxies=current_proxy)
     Traitement des données de réponse

La vitesse de retour de l'API d'ipipgo est très rapide, avec une réponse mesurée en millisecondes, ce qui n'affecte pas l'efficacité de la collecte.

VII. Conseils pour prévenir les nids-de-poule

1. erreur de certificat SSL, ne pas se précipiter pour vérifier = Faux, vérifier d'abord si le proxy supporte HTTPS
2. accès à haute fréquence : ne pas oublier de fixer un délai aléatoire, ne pas envoyer une demande comme une mitrailleuse.
3. il est recommandé aux projets importants d'acheter le pack proxy exclusif d'ipipgo, dont la stabilité est plusieurs fois supérieure à celle du proxy partagé.
4. vérifier régulièrement la disponibilité de l'agent et supprimer les nœuds défaillants en temps utile.

Enfin, j'aimerais dire que le choix du bon fournisseur de services proxy peut vous épargner la moitié des problèmes. J'ai utilisé sept ou huit services proxy, ipipgo dans la pureté IP et la stabilité de la connexion de ce peut vraiment jouer, faire des projets à long terme frère peut se concentrer sur l'examen de leurs forfaits.