Implémentation Python de Google Search : Implémentation de l'agent Google Search

Il n'est pas nécessaire de tourner autour du pot pour en venir au fait : pourquoi utiliser une adresse IP proxy pour la recherche sur Google ?

Le vieux fer à repasser engagé dans la collecte de données comprend, directement prendre leur propre IP pour balayer Google qui est un vœu de mort. Le léger est de limiter le flux du lourd est scellé, en particulier lors de l'interrogation par lots.Les IP proxy sont votre bouée de sauvetage.C'est comme aller au supermarché et essayer la même nourriture une douzaine de fois. C'est comme si vous alliez au supermarché pour essayer de manger, vous ne pouvez pas attraper le même comptoir pour manger une douzaine de fois, n'est-ce pas ? Cette fois-ci, vous devez changer de gilet - la propriété intellectuelle par procuration est le gilet.

Choisir le bon outil moins de pas dans la fosse : ipipgo proxy test experience

Il existe toutes sortes de services proxy sur le marché, mais le véritable test est le suivantipipgoIl y a deux avantages plus réels : le premier est le support complet du protocole (HTTP/HTTPS/Socks5 peut être), le second est d'être capable de docker directement le code. La semaine dernière, pour aider un ami à mettre au point un crawler, avec leur package résidentiel dynamique, il a fonctionné pendant trois jours sans déclencher la validation, la stabilité peut en effet.

demandes d'importation

def get_proxy().
     Ici, nous utilisons l'API d'ipipgo pour extraire le proxy (n'oubliez pas de remplacer les paramètres de votre compte)
    api_url = "https://api.ipipgo.com/getproxy?type=dynamic&count=1"
    resp = requests.get(api_url)
    return f "http://{resp.text}"

Travaux pratiques : implémentation Python de la recherche par procuration

Le fait est que le code doit être écrit de manière à être à la fois débloqué et efficace :

from googlesearch import search
import random

proxies = {
    "http" : get_proxy(), appelle la fonction get_proxy écrite précédemment
    "https" : get_proxy()
}

try.
     Il est important de contrôler la fréquence de la recherche, plus de 5 secondes sont recommandées
    résultats = recherche(
        "Dernière version de python",
        num=10, pause=5.5, un délai aléatoire est plus sûr
        pause=5.5, un délai aléatoire est plus sûr
        proxies=proxies
    )
    for res in results.
        print(res)
except Exception as e.
    print(f "Frère d'erreur : {e}")
     Suggérer d'ajouter une logique de remplacement de proxy ici

Porte d'entrée pour la sélection des paquets : ne pas regarder le prix pour voir la scène

Guide pour éviter le gouffre : 3 erreurs courantes commises par les débutants

1. Le nombre d'agents est trop faible :Ayez au moins 50 PI en rotation et ne soyez pas avare de votre budget.
2. La tête demandeuse n'a pas de déguisement :N'oubliez pas de changer de User-Agent de manière aléatoire, n'utilisez pas l'en-tête de requête par défaut de Python.
3. Le délai d'attente est trop court :Il est recommandé de prévoir plus de 10 secondes pour les lignes internationales, en particulier lorsque l'on fait appel à des agents étrangers.

Le temps de l'AQ : ce que vous pourriez vouloir demander

Q : Que dois-je faire si je ne parviens pas souvent à me connecter à l'adresse IP du proxy ?
A : Priorité à la ligne TK d'ipipgo, leur ligne d'Asie du Sud-Est est vraiment stable, le taux de perte de paquets mesuré est inférieur à la ligne ordinaire 40%.

Q : Que se passe-t-il si je dois ouvrir plusieurs fils de recherche en même temps ?
R : Créez plusieurs clés API dans le backend d'ipipgo, des threads différents utilisent des clés différentes pour récupérer les proxies afin d'éviter la duplication des IP.

Q : Comment résoudre le problème de l'apparition du CAPTCHA dans les résultats de recherche ?
R : deux possibilités : ① changer l'IP résidentielle statique ② ajouter le traitement automatisé de Selenium dans le code, mais ce dernier est plus gourmand en ressources.

D'après mon expérience personnelle, voici les détails auxquels il faut prêter attention

Récemment, pour aider les clients à déployer un projet de collecte à long terme, avec le paquet résidentiel statique ipipgo, 35 yuans / IP / mois semblent chers, mais la réduction réelle inférieure à la facturation de flux pour économiser 20%. Il y a aussi une opération émeutière : l'IP proxy et l'utilisation mixte de l'IP locale (ratio 3:1), peut effectivement réduire la probabilité de contrôle du vent.

Enfin, pour dire la vérité : ne croyez pas ces agents libres, l'année dernière j'ai essayé de gagner du temps pour utiliser une période de temps, les résultats du crawler a été injecté avec un code malveillant, la fuite de données. Les choses professionnelles ou à ipipgo ce genre de fournisseurs de services sérieux, au moins hors du problème peut trouver quelqu'un pour traiter avec.