DuckDuckGo Search API : Appels de l'API proxy de DuckDuckGo

Recherche DuckDuckGo avec des IP proxy

Récemment, beaucoup d'amis qui font de la capture de données ont demandé à Lao Zhang, en disant que l'utilisation de l'API de DuckDuckGo est souvent bloquée IP comment faire. En fait, cette question est juste comme jouer le jeu abandonné comme, changer le canal de réseau pour résoudre le problème. Aujourd'hui, nous allons voir comment utiliser le proxy IP pour appeler l'interface de DuckDuckGo de manière régulière.

Pourquoi dois-je utiliser une adresse IP proxy ?

Par exemple, si vous allez au supermarché pour acheter des œufs, si vous courez dix fois par minute jusqu'à la caisse, les agents de sécurité vous surveilleront certainement. L'interface de DuckDuckGo a également la même raison, la même IP les requêtes fréquentes seront limitées. Cette fois-ci, vous devez utiliser une IP proxy pourDécentralisation de la pression des demandesIl s'agit de l'ouverture de dix files de caissiers pour passer à la caisse en même temps.

Trois étapes pour une configuration réelle

Ici pour utiliser ipipgo proxy service pour démontrer, leur interface API est vraiment sauver la peine. Tout d'abord, le code Python complet à voir :

demandes d'importation

def ddg_search(query) :
    proxies = {
        "http" : "http://用户名:密码@gateway.ipipgo.com:端口",
        "https" : "http://用户名:密码@gateway.ipipgo.com:端口"
    }

    response = requests.get(
        "https://api.duckduckgo.com",
        params={
            "q" : query,
            "format" : "json"
        },
        proxies=proxies
    )
    return response.json()

 Exemple d'appel
print(ddg_search("weather"))

Concentrez-vous sur le paramètre proxy dans leNom d'utilisateur et mot de passerépondre en chantantadresse de la passerelleIls sont tous facilement disponibles dans le backend d'ipipgo. Ils prennent en charge les doubles protocoles HTTP/HTTPS, sans qu'il soit nécessaire de lancer des certificats et tout le reste.

Il existe un moyen de choisir un paquet

Il y a trois paquets principaux pour ipipgo, et Lao Zhang en donne une liste compréhensible aux gars :

Si vous débutez, nous vous conseillons de commencer par la rubriqueNorme dynamiqueLa première chose à faire est de commencer, et d'utiliser autant que possible sans douleur. Faites du batch crawler brother directement sur la version entreprise, le pool d'IP est plus grand et plus résistant à la fabrication.

Questions fréquemment posées sur le déminage

Q：Pourquoi ai-je été bloqué alors que j'ai utilisé un proxy ?
R : 80% des IP sont réutilisées, dans le code pour ajouter un remplacement automatique de la logique du proxy. L'API d'ipipgo peut retourner à la liste des IP disponibles, n'oubliez pas d'effectuer une rotation.

Q：Que dois-je faire si les données de retour sont toujours brouillées ?
A：Vérifiez le paramètre Accept-Encoding dans l'en-tête de la requête, nous suggérons de le régler sur "gzip, deflate". Si cela ne fonctionne pas, adressez-vous au support technique d'ipipgo, ils sont très réactifs.

Guide pour éviter la fosse

Récemment, j'ai vu des gens essayer d'utiliser des agents libres à bon marché, et le résultat est que les données sont toutes fausses. Un ami qui compare les prix du commerce électronique a été piégé, et les données sur les prix sont fausses. Plus tard, il a changé la ligne TK d'ipipgo qui est stable, ce type d'activité transfrontalière ou doit être un joueur professionnel.

Enfin, j'aimerais dire que l'ajustement de l'API est comme la pêche, vous devez trouver le bon étang à poissons (proxy IP) et aussi savoir comment atteindre le nid (stratégie de requête). Le contexte d'ipipgo que la fonction de statistiques d'utilisation est assez pratique, vous pouvez voir la consommation de chaque IP, il est donc commode d'ajuster la stratégie.