Récupérer les données de Craigslist avec les numéros de téléphone : Récupération par proxy des données téléphoniques de Craigslist

Pourquoi ai-je besoin d'un proxy pour crawler mon numéro de téléphone ?

Récemment, un ami m'a demandé comment extraire des données de Craigslist avec un téléphone, ce n'est pas aussi simple que d'acheter de la nourriture au marché. Tout d'abord, vous devez comprendre que le site dispose d'un mécanisme anti-escalade, l'aversion directe sera certainement bloquée IP. Le mois dernier, un ami avec son propre haut débit a grimpé trois jours d'affilée, les résultats de leur propre brosse de courtes vidéos sont coincés dans PPT - IP directement être tiré noir.

Il est temps de s'appuyer sur les IP proxy pourmener une guérillaC'est comme aller dans différents quartiers pour distribuer des tracts. Par exemple, si vous voulez aller dans différents quartiers pour distribuer des tracts, vous ne pouvez pas attraper le même gardien tous les jours pour entrer par effraction, n'est-ce pas ? L'utilisation d'une IP proxy revient à changer l'entrée de quartier à chaque fois que le gardien est en service, de sorte qu'il n'est pas facile de se faire prendre et que vous pouvez continuer à travailler.

 Pour donner un exemple de crawler configurant un proxy (version Python)
import requêtes

proxies = {
    "http" : "http://用户名:密码@gateway.ipipgo.net:端口",
    "https" : "http://用户名:密码@gateway.ipipgo.net:端口"
}

response = requests.get("https://craigslist.org", proxies=proxies)

La porte d'entrée pour choisir une IP Proxy

Il y a des millions d'agents sur le marché, mais il faut être stratégique quand il s'agit de Craigslist. Voici un tableau clé pour les gars :

C'est là que le bât blesse :IP résidentielle dynamiqueDe manière plus appropriée, le changement d'IP réelles dans différents quartiers pour chaque requête est le plus difficile à détecter pour le système de contrôle des vents d'un site web. C'est comme utiliser le réseau WiFi de différents voisins pour se relayer, ce qui est beaucoup plus sûr que d'utiliser le réseau de l'entreprise.

Configuration pratique du proxy ipipgo

Prenons l'exemple d'ipipgo, qui est utilisé par des conducteurs chevronnés du secteur. Son pool d'adresses IP résidentielles dynamiques est profond, avec des ressources d'opérateurs dans plus de 200 pays à travers le monde, ce qui est particulièrement adapté pour manipuler la version internationale des données de Craigslist.

Méthode de configuration en trois étapes :
1) Après vous être enregistré sur le site officiel, allez dans la console pour obtenir la clé API.
2. réglage de l'intervalle d'extraction (il est recommandé de modifier l'intervalle d'extraction de 5 à 10 minutes)
3. le code pour connecter les paramètres d'authentification du proxy

 Exemple de configuration pratique (avec changement automatique d'adresse IP)
from ipipgo_client import IPPool

pool = IPPool(api_key="votre clé", plan="dynamic_standard")
for page in range(1,100) : current_ip = pool.
    current_ip = pool.get_ip()
    proxies = {"https" : f "http://{current_ip.ip}:{current_ip.port}"}
     Ecrivez ici la logique de votre crawler...

Conseils contre l'interdiction

Ne pensez pas que l'agent suspendu est bien, ces fosses interviennent comme d'habitude renversées :
- La fréquence des demandes ne doit pas être comparable à celle d'une pile électrique. Suggestion.3-5 secondes/répétition
- Randomiser le User-Agent, ne pas utiliser toujours les mêmes empreintes de navigateur
- Ne vous acharnez pas sur les CAPTCHA, utilisez une plateforme de codage !
- La surveillance d'un site de 2 à 5 heures du matin n'est pas obligatoire, vous savez.

Foire aux questions QA

Q : Serai-je tenu légalement responsable ?
R : Concentrez-vous sur l'utilisation des données, s'il s'agit d'une revente commerciale, c'est la mort absolue. Il est recommandé de ne monter que des informations publiques, et de se conformer à l'accord sur les robots du site web.

Q : Comment choisir un forfait pour l'IP dynamique et l'IP statique ?
R : la capture à court terme a choisi la version standard dynamique (7,67 $ / Go), la surveillance à long terme avec la version résidentielle statique (35 $ / IP), les entreprises trouvent directement des solutions personnalisées auprès du service clientèle.

Q : Que dois-je faire si je rencontre une erreur 403 ?
R : Solution à trois volets : 1. remplacer immédiatement l'IP 2. effacer les empreintes digitales du navigateur 3. réduire la fréquence des requêtes. Le client ipipgo est doté d'une fonction de fusion automatique, la détection des anomalies sera active sur la ligne de commutation.

Soyons réalistes.

L'IP Proxy n'est pas une panacée, la clé est encore de voircombinaison stratégique. J'ai récemment aidé un ami à se procurer un système à chenilles, avec l'IP résidentielle dynamique d'ipipgo + le chemin d'accès aléatoire + la simulation de l'empreinte digitale de l'appareil, il a fonctionné de manière stable pendant trois mois sans se retourner. N'oubliez pas qu'il ne faut pas être trop gourmand et ruminer, le contrôle du rythme de la collecte est le roi.

Enfin, pour rappeler aux néophytes : ne croyez pas ces 9,9 proxy mensuel bon marché, ces IP ont été marquées par les principaux sites dans une liste noire. Les choses professionnelles aux outils professionnels, gagner du temps pour étudier la logique d'entreprise plus rentable.