Tipps für Multi-Header-Anfragen: cURL Bulk Data Processing

Das ist ein toller Trick! Kopfzeilentarnung mit cURL!

Ältere Fahrer, die sich an der Datenerfassung beteiligen, wissen, dass der Anti-Climbing-Mechanismus der Ziel-Website wie ein Radar ist und Ihre echte IP in wenigen Minuten sperrt.lit. paint holding two brushes (idiom); fig. to work on two tasks at the same timeSowohl die Verwendung von Proxy-IP-Stealth, sondern auch zu lernen, um die Anfrage Header (Header), um die Haut zu ändern. Nehmen Sie cURL, werden viele Menschen nur -A-Parameter verwenden, um den User-Agent zu ändern, in der Tat, das ist gerade erst begonnen.

Kürzlich half ich einem Freund, ein Skript zu debuggen, und fand einen bösen Fall: eine E-Commerce-Plattform hat offensichtlich eine Proxy-IP eingeschaltet, aber sie wurde trotzdem mit einer zufälligen UA gesperrt, und dann fügte ich einen Request-Header mitAccept-Language: zh-CN,zh;q=0.9Dieser kalte Parameter verdoppelt direkt die Erfolgsquote. Dies bedeutet, dass das Anti-Climbing-System nunKombinierte 20+ Kopfzeilenfelderum den Maschinenverkehr zu identifizieren.

Ich zeige Ihnen, wie Sie gefälschte Identitäten in großen Mengen herstellen können.

Bereiten Sie zunächst eine Datei headers.txt vor und schreiben Sie in jede Zeile eine andere Kombination von Header, um ein Beispiel für die Konfiguration in einem echten Projekt zu geben:

Verbindung: keep-alive
Akzeptanz: text/html,anwendung/xhtml+xml
Akzeptieren-Verschlüsselung: gzip, deflate, br
Cache-Kontrolle: max-age=0

Verbindung: close
Akzeptieren: /
Accept-Encoding: identity
Cache-Kontrolle: no-cache

Beachten Sie die bewusste Verwendung vonGroß- und Kleinbuchstaben verwechseln(z. B. Keep-Alive geschrieben als keep-alive), einige ältere Systeme unterscheiden zwischen Groß- und Kleinschreibung. Wenn Sie den Wohn-Proxy von ipipgo verwenden, denken Sie daran, diese drei Zeilen in das Skript einzufügen:

-x http://用户名:密码@gateway.ipipgo.com:9021
--proxy-anyauth
--connect-timeout 20

Die Aufzeichnung der geschmacklosen Operation in der eigentlichen Schlacht

Letzte Woche mit dieser Methode zu greifen begrenzte Turnschuhe, fand eine metaphysische Phänomen: die gleiche Header-Kombination, mit verschiedenen Regionen des Proxy-IP-Erfolgsrate Unterschied von drei Mal. Später sah ich im Hintergrund von ipipgoServerraum IP-Segmentim Gesang antwortenHeim-Breitband-IP-Segmentder Überlebensratenvergleiche, entscheidend auf den Pool der Wohnungsvermittler ein.

Das ist der springende Punkt:Kopfzeilen nicht in zyklischer Reihenfolge umschalten! Am besten verwenden Sie einen Zufallszahlengenerator, um die Reihenfolge zu unterbrechen, oder einen Algorithmus für die Gewichtung. Ich war einmal faul und habe eine sequenzielle Schleife verwendet, die alle 30 Anfragen blockiert wurde, regelmäßig wie ein Wecker.

Ein Leitfaden zur Vermeidung von Fallstricken (Ausgabe für den Blutunterricht)

In der QA-Sitzung werden einige häufige Minen genannt, auf die Neulinge treten:

F: Warum wird er nach dem Hinzufügen des Referenten immer noch erkannt?
A: 80% der Referer Domain-Namen und die aktuelle Anfrage nicht übereinstimmen, zum Beispiel von Taobao Sprung zu Jingdong aber nicht den Referer ändern. ipipgo IP-Location-Funktion, automatisch die Proxy-Region entsprechend der Mainstream-Website Domain-Namen.

F: Sollten Cookies willkürlich geändert werden oder nicht?
A: Das hängt von der jeweiligen Website ab! Einige Plattformen speichern CookiesGeräte-FingerabdruckEine plötzliche Änderung löst stattdessen eine Validierung aus. Es wird empfohlen, den Kurzzeit-Proxy von ipipgo zu verwenden, um zunächst verschiedene Strategien zu testen.

F: Was sollte ich tun, wenn ich auf den Schutz von Cloudflare stoße?
A: Das ist wirklich schwer zu bekommen, aber es gibt einen Joker: Fügen Sie in der KopfzeileUpgrade-Insecure-Anfragen: 0und dann mit ipipgo'sHochgradig anonyme Agenten(Beachten Sie, dass Sie einen Knoten auswählen müssen, der das HTTP/2-Protokoll unterstützt).

Warum empfehlen Sie ipipgo?

Nachdem ich ein Dutzend Proxy-Dienste ausprobiert hatte, entschied ich mich aus drei Gründen langfristig für ipipgo:
1. ihr Zuhausedynamische Port-ZuordnungTechnologie zur automatischen Umgehung gängiger Blockierungstaktiken
2) Die Reaktionszeit des Kundendienstes ist wie bei einem Henker: Das letzte Mal, als ich um 3 Uhr morgens einen Arbeitsauftrag erteilte, erhielt ich innerhalb von 5 Minuten eine Lösung.
3. das Preissystem ist für kleine und mittlere Projekte geeignet, im Gegensatz zu einigen der großen Unternehmen, die ab 100.000 $ pro Jahr zahlen müssen

Das Wichtigste ist die UnterstützungHeader-Whitelist-AuthentifizierungWenn Sie diese Funktion nutzen möchten, können Sie Ihr Kontopasswort direkt in die Kopfzeile der Anfrage schreiben, was viel sicherer ist als die herkömmliche Authentifizierungsmethode. Spezifische Verwendung der offiziellen Dokumentation, ist es nicht bequem, hier im Detail.

Und schließlich: Verschwenden Sie Ihre Zeit nicht mit kostenlosen Proxys! Letztes Jahr hat ein Freund versucht, mit einer kostenlosen IP Ärger zu sparen, und musste am Endeinjizierter bösartiger CodeDie gesamte Datenbank ist obsolet. Professionelle Dinge werden nach wie vor von der regulären Armee wie ipipgo zuverlässig erledigt.