Yelp Web Crawl : les agents résidentiels obtiennent des avis d'entreprises

Pourquoi faut-il faire appel à un agent résidentiel pour grimper sur Yelp ?

Les personnes engagées dans l'exploration du web connaissent bien le mécanisme anti-escalade de Yelp, une plateforme aussi importante, et le contrôle de la porte d'entrée de la cellule est également strict. L'année dernière, avec l'IP du centre de données pour grimper, juste envoyé quelques demandes sur le bloc IP, en colère, j'ai presque écrasé le clavier. Plus tard, j'ai découvertLes agents résidentiels sont la voie à suivreLa première chose à faire est de consulter les avis des commerçants, surtout si vous devez simuler les actions d'une personne réelle.

En tant que marron, vous voulez parcourir 500 avis sur un certain restaurant de plats chauds. Si vous utilisez un proxy normal, Yelp détectera un grand nombre de visites provenant du même segment IP et vous enverra directement le code de vérification. Mais avec le proxy résidentiel d'ipipgo, chaque demande provient d'un véritable réseau domestique, tout comme les différents clients qui utilisent leur propre wifi pour balayer les avis, la plateforme ne peut pas dire s'il s'agit d'une personne réelle ou d'un programme.

Comment choisir le bon type d'agent ?

Les agents sur le marché sont divisés en trois catégories, le tableau comparatif est plus clair :

L'agence résidentielle d'ipipgo se concentre sur l'aspect unique de son activité.Rotation automatique des numéros ASNCette fonction est très utile lors de l'exploration de commentaires, car elle se déguise en un FAI différent pour chaque demande.

Étapes de configuration

Installez d'abord l'environnement Python, voici une démonstration avec la bibliothèque requests. Supposons que vous souhaitiez recueillir des avis sur les restaurants chinois de San Francisco :

Importation de requêtes
from time import sleep

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口', 'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
}

for page in range(1, 11) : url = f "{page}".
    url = f "https://www.yelp.com/biz/xxxx/review_feed?page={page}"

    try : response = requests.get(url, proxies=proxies, timeout=10)
        response = requests.get(url, proxies=proxies, timeout=10)
         N'oubliez pas d'ajouter un délai aléatoire ici, pas trop régulier
        sleep(1.5 + random.uniform(0, 2))
        print(response.json())
    except Exception as e.
        print(f "Erreur sur la page {page} : {str(e)}")

Points clés à noter :

1. L'obtenir dans le backend d'ipipgoInformations d'authentification dynamiqueLeurs méthodes d'authentification sont automatiquement mises à jour chaque semaine.
2. Ne réglez pas le délai d'attente à plus de 15 secondes, ou vous serez facilement repéré par le système anti-escalade.
3. Il est recommandé de prévoir des délais aléatoires à intervalles irréguliers, par exemple entre 1,5 et 3,8 secondes.

Scène de renversement courante AQ

Q：Pourquoi ai-je été bloqué alors que j'ai utilisé un proxy ?
R : 80% de la session n'est pas gérée correctement, chaque demande apportant un nouveau cookie.fonction de maintien de la sessionIls disposent d'un paramètre d'en-tête X-Session-ID qui répond spécifiquement à ce problème.

Q : Que se passe-t-il si la vitesse d'exploration est trop lente ?
R : Vous pouvez ouvrir ipipgoPaquet de chaînes simultanéesIl prend en charge jusqu'à 50 requêtes IP simultanées. Mais attention à bien contrôler l'intervalle entre les requêtes, afin de ne pas bloquer l'autre serveur.

Q : Comment casser le CAPTCHA lorsque je le rencontre ?
R : C'est le moment d'offrir les services d'ipipgo.Solutions de validation homme-machineIls disposent d'un système de reconnaissance intelligent qui bascule automatiquement entre les IP à haute réputation et, si cela ne fonctionne pas, ils font une pause d'une demi-heure pour permettre au pool de proxy de se rafraîchir.

Dites quelque chose qui vient du cœur.

L'année dernière, j'ai utilisé un proxy gratuit pour escalader Yelp et j'ai été averti par la plateforme avec une lettre d'avocat. J'ai alors opté pour ipipgo et j'ai découvert que ce service professionnel me sauvait vraiment la mise. Leur service clientèle a une fonction cachée...Services de personnalisation des scénariosSi vous souhaitez explorer un site web, indiquez-leur le type de site web que vous souhaitez explorer et l'équipe technique vous aidera à ajuster les paramètres du proxy.

Enfin, un rappel : bien qu'il ne soit pas illégal d'explorer des données publiques, ne vous engagez pas dans des attaques DoS de ce type d'opération naïve par lots. Utilisez la fonctionFonction intelligente de contrôle du débitLes données peuvent être consultées de manière sûre et constante dans le temps en fixant une limite de requête par minute.