Indeed Job Crawl: Tool zur Erfassung von Stellenangeboten

Erstens: Wo genau steckt die Erfassung von Einstellungsdaten fest?

Kürzlich beschwerte sich eine Menge Freunde, die HR-System zu tun, um mich, sagen, dass der Crawler zu Indeed Job-Informationen zu fangen ist immer Verbot. ein Kumpel ist noch schlimmer, für drei Tage in Folge, das Unternehmen IP-Segment wurde geschwärzt, und jetzt das ganze Büro auf Indeed haben, um Handy-Verkehr zu verwenden. In der Tat ist diese Angelegenheit offen die Website Anti-Climbing-Mechanismus in der seltsamen, vor allem wie Indeed so eine große Plattform, die Häufigkeit der Besuche und IP-Eigenschaften der empfindlichen sehr empfindlich.

Es gibt nur drei Schlaglöcher, in die der durchschnittliche Entwickler zu tappen pflegt:
1. hochfrequente Single-IP-Besuche (20 Fänge in 10 Sekunden)
2. der Request-Header ist zu ausgeprägt
3. der Anmeldestatus bleibt zu lange unaktualisiert

 典型作死代码示例
import requests
for page in range(1,100):
    response = requests.get(f"https://indeed.com/jobs?q=developer&start={page10}")
     不加不换IP，等着被封吧...

Zweitens: Wie wurde die Proxy-IP zu einem Lebensretter?

Im Klartext heißt das, einen "Doppelgänger" zu finden, der einen Antrag für Sie stellt. Es ist, als ob man in der Schlange steht, um einen Milchtee zu kaufen, und jedes Mal, wenn man an das Fenster kommt, wird man ausgetauscht, und der Angestellte erkennt einen überhaupt nicht wieder. Aber hier gibt es einen Ausweg - die Qualität der Proxy-IP auf dem Markt variiert, verwenden Sie die falsche, anstatt schneller zu sterben.

Ich muss das hier aus dem Wasser pusten.Dynamischer Wohnsitz-Proxy für ipipgoDas letzte Mal, als ich ihren Dienst getestet habe, habe ich Indeed 8 Stunden lang erwischt, ohne eine Sperre auszulösen. Das Geheimnis liegt in der automatischen Umschaltung der ASN-Nummern für jede Anfrage, die die Website glauben lässt, dass es sich um einen echten Nutzer handelt, der in einer anderen Region surft.

Drittens, die Hand, um Ihnen beizubringen, den Agenten Sammlung Programm entsprechen

Bei Python zum Beispiel ist nicht die Komplexität des Codes entscheidend, sondern dass die Proxy-Konfiguration vorhanden ist. Denken Sie an die drei wichtigsten Punkte:
1. die Änderung der IP-Adresse für jede Anfrage
2. die Randomisierung der Benutzer-Agenten
3. angemessene Zeitabstände für Anfragen festlegen

import random
import time
from itertools import cycle

 ipipgo提供的代理格式
proxies_pool = [
    'http://用户:密码@gateway.ipipgo.com:8001',
    'http://用户:密码@gateway.ipipgo.com:8002',
     ...至少准备20个入口
]
proxy_cycle = cycle(proxies_pool)

headers_list = [
    {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36'},
    {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 12_4)'},
     ...准备10组不同浏览器头
]

for page in range(1, 51):
    proxy = next(proxy_cycle)
    headers = random.choice(headers_list)
    
    try:
        response = requests.get(
            url=f"https://indeed.com/jobs?q=developer&start={page10}",
            proxies={"http": proxy, "https": proxy},
            headers=headers,
            timeout=10
        )
        time.sleep(random.uniform(1.5, 3.5))   随机很重要
    except Exception as e:
        print(f"第{page}页抓取出错: {str(e)}")

IV. häufige Fallstricke QA

F: Zeitüberschreitung der Proxy-IP, wenn ich sie verwende?
A: 80% verwenden einen Rechenzentrums-Proxy, Sie müssen zu einer privaten IP wechseln. ipipgo wird empfohlen.Dynamisches Paket für WohnungsvermittlerSie verfügen über einen automatischen IP-Ersatzmechanismus, so dass Sie den IP-Pool nicht mehr manuell pflegen müssen.

Q：Warum ist der Code immer noch gesperrt, obwohl die IP geändert wurde?
A: Überprüfen Sie drei Stellen:
1) Gibt es einen zufälligen Wechsel der Accept-Language in der Kopfzeile der Anfrage?
2. die Cookies sind nicht sauber
3. ob die TLS-Fingerabdrücke zufällig sind oder nicht

F: Wie viel IP-Volumen ist pro Tag erforderlich, um ausreichend zu sein?
A: Nach unseren Messdaten fangen Sie in der Tat dann:
- ≤ 120 Anfragen pro Stunde → 50 IP-Rotationen erforderlich
- Hält 8 Stunden pro Tag → Wir empfehlen den Kauf des 500-IP-Pakets von ipipgo!

V. Sprich die Wahrheit

Proxy IP dieses Ding, billig kann wirklich nicht verwendet werden. Ich habe ein 9,9 Monatsabonnement vor gekauft, und die IP-Duplikation Rate war so hoch wie 80%, so könnte ich auch nicht verwenden. Später bin ich auf den exklusiven Proxy-Pool von ipipgo umgestiegen, der zwar teurer ist, dafür aber stabil läuft. Besonders dieIP Survival Monitoring SystemDie Tatsache, dass verfallene Knoten automatisch entfernt werden, ist eine echte Erleichterung.

Schließlich, um den Neuling zu erinnern: schreiben Sie nicht eine tote Proxy-IP in den Code! Gute Service-Provider sollten APIs, um dynamisch die neuesten Proxy-Adresse, wie ipipgo's Client-SDK ist direkt mit einem guten automatischen Ersatz der Logik, viel stärker als ihre eigene blinde Faltung integriert zu erhalten.