Le rendu frontal expliqué : Pyppeteer Headless Browser Solution

I. Pourquoi ai-je besoin d'un navigateur sans tête pour l'analyse syntaxique du web ?

Aujourd'hui, de nombreux sites sont engagés dans le rendu frontal, les robots d'indexation ordinaires ne peuvent tout simplement pas attraper les données souhaitées. Cette fois, il est nécessaire de sacrifier Pyppeteer, une telle aubaine, il peut être comme une personne réelle pour faire fonctionner le navigateur pour charger la page complète. Cependant, lorsque vous l'utiliserez, vous constaterez queL'IP est bloquée au point que l'on ne connaît même pas sa propre mère.--C'est pourquoi il est important d'avoir une IP proxy.

Pour donner un exemple, vous voulez attraper les données de prix d'un site de commerce électronique, le système anti-escalade a trouvé que la même visite IP 50 fois de suite, directement à votre noir. À ce moment-là, si vous pouvez utiliser l'agent résidentiel dynamique d'ipipgo, chaque visite pour changer l'IP de différentes régions, tout comme jouer à cache-cache, le site ne peut tout simplement pas vous attraper.

Deuxièmement, Pyppeteer + le partenaire en or de Proxy IP

Commençons par la manière de remplir un agent dans Pyppeteer, le code clé ne comporte que trois lignes :

browser = await pyppeteer.launch(
    args=['--proxy-server=http://user:pass@ipipgo-proxy.com:8888']
)

Notez que vous devez ici utiliser l'ipipgo fourni.Format d'authentification du proxy Socks5L'avantage du pool d'IP exclusif d'ipipgo est que chaque IP peut avoir jusqu'à 3 connexions simultanées, de sorte qu'il n'est pas facile de déclencher le contrôle du vent.

III. cinq détails faciles à mettre en œuvre

1. Erreur d'agent d'utilisateur: Ne pensez pas que tout ira bien si vous utilisez un proxy, l'empreinte digitale du navigateur doit également être modifiée. Il est recommandé d'utiliser la bibliothèque fake_useragent pour générer aléatoirement l'empreinte du navigateur.

2. Délai d'attente trop courtCertains sites se chargent lentement, il est recommandé que page.goto() plus timeout = 60000, ne laissez pas le timeout tuer la requête par erreur !

3. Se tromperL'adresse proxy d'ipipgo doit être écrite en respectant scrupuleusement le format "nom d'utilisateur:mot de passe@adresse de la passerelle", les débutants oublient souvent le symbole @ !

4. Contrôle inadéquat de la concurrenceMême si vous avez 100 IP proxy, n'ouvrez pas 50 instances de navigateur en même temps, il est recommandé de ne pas dépasser 10.

5. Protection des empreintes digitales ignoréeLes fonctions d'automatisation sont masquées par le paramètre -disable-blink-features=AutomationControlled : N'oubliez pas d'ajouter le paramètre -disable-blink-features=AutomationControlled !

IV. extraits de code pratiques

Cette configuration est testée pour fonctionner, n'oubliez pas de la remplacer par votre propre compte ipipgo :

from pyppeteer import launch

async def crawl().
     Récupère la dernière adresse proxy d'ipipgo
    proxy = "user123:pass456@gateway.ipipgo.cc:1080"

    browser = await launch(
        headless=True,
        args=[
            f'--proxy-server=socks5://{proxy}',
            
            '--disable-setuid-sandbox'
        ]
    )
    page = await browser.newPage()
    await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) ...')
    await page.goto('https://target-site.com', {'timeout' : 60000})
     Votre logique d'analyse est la suivante...

V. Foire aux questions AQ

Q : Que dois-je faire si mon IP proxy ne fonctionne pas ?
R : Dans ce cas, il est recommandé d'utiliser la fonctionCommutation automatique des pools de serveurs mandatairesSi vous souhaitez utiliser leur API pour renvoyer les IP disponibles en temps réel, il vous suffit d'ajouter une logique de rafraîchissement temporisé à votre code.

Q : Que dois-je faire en cas de vérification humaine ?
R : L'importante réserve de proxies d'ipipgo et le camouflage des empreintes digitales du navigateur fonctionnent en tandem pour réduire la probabilité d'une vérification par 90%. Vous pouvez essayer d'ajuster la trajectoire de la souris pour simuler l'opération d'une personne réelle.

Q : Comment puis-je savoir si une procuration est en vigueur ?
A : Ajouter une logique de détection dans le code, visiter https://ip.ipipgo.com/checkip, peut renvoyer l'IP du proxy signifie que la configuration est réussie !

Enfin, ne soyez pas trop gourmand avec Pyppeteer et contrôlez la fréquence des requêtes. Avec la fonction de routage intelligent d'ipipgo, il peut automatiquement faire correspondre le nœud de proxy optimal, ce qui est beaucoup plus inquiétant que de lancer soi-même. Si vous rencontrez des problèmes techniques, la réponse de leur service client technique est assez rapide, beaucoup plus fiable que certains fournisseurs de services proxy.