Crawling von Instagram-Kommentaren: Wohnungsvermittler erhalten IG-Daten

So machen es die älteren Datentreiber.

Kürzlich kamen mehrere Freunde, die grenzüberschreitendes Marketing betreiben, auf mich zu, um sich darüber zu beschweren, dass sie versuchten, den Instagram-Kommentarbereich nach Nutzerfeedback zu durchsuchen, und dass ihre Konten auf Schritt und Tritt blockiert wurden. Letzte Woche erhielt ein Freund von mir, der für eine trendige Marke arbeitet, eine Warn-E-Mail von IG, nachdem er gerade 200 Kommentare gecrawlt hatte. Es gibt tatsächlich eineunlautere PraktikenWohnungsvermittler als Deckmantel für ein "Katz- und Mausspiel" mit der Plattform nutzen.

Warum muss es ein Wohnungsvermittler sein?

Es gibt drei Arten von Agenten auf dem Markt, um die Wahrheit zu sagen:

Das Windkontrollsystem von IG ist so intelligent, dass das IP-Segment des Serverraums seit langem als schwarze Liste markiert ist. Nehmen Sie unsere eigene ipipgo's Wohn-Agent, hinter jeder IP ist ein echtes Zuhause Breitband, Crawling die Daten ist wie ein gewöhnlicher Benutzer Swiping ein Handy, kann das System nicht sagen, ob es eine echte Person oder eine Maschine ist.

Sie können ohne Weiteres ein falsches System bauen.

Hier wird ein Python-Beispiel angeführt, wobei drei wichtige Punkte zu beachten sind:

importiert Anfragen
from random import randint

 Proxy-Einstellungen für ipipgo (Fokus hier)
proxy = {
    "http": "http://user:pass@gateway.ipipgo.com:9020",
    "https": "http://user:pass@gateway.ipipgo.com:9020"
}

headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 wie Mac OS X) AppleWebKit/605.1.15 (KHTML, wie Gecko) Mobile/15E148"
}

 Zufallsanforderung alle 5-15 Sekunden
for comment_id in target_list.
    Antwort = requests.get(
        f "https://www.instagram.com/comments/{comment_id}/",
        proxies=proxy,
        kopfzeilen=kopfzeilen
    )
    time.sleep(randint(5,15)) Diese Wartezeit ist wichtig!

Beachten Sie im Code dieZufällige Wartezeitim Gesang antwortenMobile UADie beiden können perfekt mit Wohn-Proxys getarnt werden. Zuvor hat ein Kunde nicht zufällig warten, die Ergebnisse der Nutzung des Proxys wie gewohnt blockiert wurde, ist dies die Details nicht vorhanden sind.

Ein Leitfaden zur Vermeidung des Abgrunds (eine Zusammenfassung der durch Blut und Tränen gewonnenen Erkenntnisse)

1. Setzen Sie niemals einen freien Mitarbeiter ein.Letztes Jahr gab es ein Datenüberwachungsteam, das billig freie IPs benutzte, und die Daten, auf die sie kamen, waren 80% Spam.
2. Der IP-Pool sollte tief genug seinEs wird empfohlen, ein Unternehmen wie ipipgo zu wählen, das Folgendes anbietetDutzende Millionen IP-PoolsDienstanbieter, maximal 2 Stunden pro Tag für eine einzelne IP
3. Beachten Sie den ProtokolltypIG prüft jetzt das Socks5-Protokoll streng, es wird empfohlen, das HTTP-Protokoll zu verwenden, das stabiler ist!

Ich bin sicher, dass Sie sich darüber wundern.

F: Wie viele Balken kann ich an einem Tag klettern, ohne blockiert zu werden?
A: Der aktuelle Test mit der Rotationsstrategie von ipipgo zeigt, dass ein einziges Konto mit 5.000 Einträgen pro Tag so stabil wie ein alter Hund ist. Es gibt einen Kunden, der die öffentliche Meinung überwacht und sich auf 20 Konten stützt, die 100.000 Daten pro Tag abfragen.

F: Was sollte ich tun, wenn ich auf ein CAPTCHA stoße?
A: Der Wohn-Proxy selbst kann die CAPTCHA-Auslöserate reduzieren. Wenn Sie wirklich begegnen, ist es empfehlenswert, für 30 Minuten zu pausieren, ändern Sie die Stadt IP und versuchen Sie es erneut. ipipgo Hintergrund kann die regionale IP angeben, diese Funktion ist sehr nützlich!

F: Was ist, wenn ich nicht alle Daten erfassen kann?
A: 80% von ihnen sind geschwindigkeitsbegrenzt, fügen Sie einen Request-Header zur"Accept-Language: en-US"Probieren Sie es aus. Das letzte Mal, als ein Kunde diesen Parameter hinzufügte, hat sich die Hebeeffizienz direkt verdoppelt!

Seien wir realistisch.

Proxy-Service Wasser ist sehr tief, einige Geschäftsleute verkaufen den Serverraum Proxy als Wohn. Ich werde Sie lehren eineein Verfahren zur EchtheitsprüfungÜberprüfen Sie die ASN-Nummer der IP. Die ASNs von Wohnagenten werden den Telekommunikationsanbietern zugeordnet, während bei Serverraumagenten die Nummer des Rechenzentrums angezeigt wird. Wie bei ipipgo werden die ASN-Informationen im Hintergrund direkt angezeigt, was zuverlässiger ist.

Abschließend möchte ich Sie daran erinnern, dass Wohn-Proxys zwar das Risiko verringern können, die Häufigkeit der Abholung aber dennoch kontrolliert werden sollte. Schließlich ist IG nicht vegetarisch, stürzen Sie nicht ihre Server ab. Bedingte Empfehlungen für die verteilte Sammlung, mehrere Konten + Multi-Region IP Kombination, die die langfristige Lösung ist.