Recommender System Large Language Models: LLM Training Data Agent Acquisition

Wenn ein Empfehlungssystem auf ein großes Modell trifft, wie kann man dann Daten sammeln, um sicher zu sein?

Die Empfehlung System Brüder haben ein Kopfzerbrechen vor kurzem - große Sprache Modell Ausbildung auf die Menge der Daten wie ein Fass ohne Boden, direkt auf der Website schwer zu klettern, Minuten, um blockiert werden IP. letzten Monat ein Freund zu tun Film Empfehlung Modell, kletterte gerade 3000 Kommentare auf der Website gezogen werden schwarz, so wütend, dass er fast auf die Tastatur fiel.

Wie wurden Proxy-IPs zur Rettung für die Datenerfassung?

Stellen Sie sich vor, Sie sind ein Supermarkt Käufer, wenn Sie die gleiche Kleidung jeden Tag tragen, um die Waren zu gehen, muss der Wachmann verdächtig sein. Proxy-IP ist der gleiche Grund, jedes Mal, wenn Sie Daten sammeln, um eine "Weste" zu ändern, wird die Website nicht als die gleiche "Käufer" in der Arbeit erkannt werden.

Hier ist eine.Fatale MissverständnisseViele Leute denken, sie könnten einfach einen kostenlosen Proxy finden und ihn benutzen. Tatsächlich sind diese öffentlichen Proxys seit langem von großen Websites in einem kleinen Buch aufgezeichnet worden, und sie zu benutzen ist gleichbedeutend damit, sich in den Fuß zu schießen. Zuverlässige kommerzielle Proxy-Dienste wie ipipgo, die über Hunderttausende vonexklusiver IP-PoolDie Tatsache, dass jede IP eine Spur von echten Nutzern hat, macht es möglich, mit "Overalls" durchzukommen.

Praktische Übungen mit ipipgo zum Aufbau einer Sammlungspipeline

Hier ist ein praktisches Beispiel für Python (haben Sie keine Angst, den Code zu lesen, folgen Sie einfach):

importiert Anfragen
von itertools importieren Zyklus

 Liste der von ipipgo zur Verfügung gestellten Proxys (denken Sie daran, sie durch Ihr eigenes Konto zu ersetzen)
proxy_liste = [
    '12.34.56.78:8888',
    '98.76.54.32:8888', ...
     ... Weitere IPs
]

proxy_pool = cycle(proxy_list)

für Seite im Bereich(1, 101):
    try.
         Jedes Mal einen zufälligen Proxy auswählen
        current_proxy = next(proxy_pool)
        Antwort = requests.get(
            f'https://example.com/reviews?page={page}',
            proxies={'http': current_proxy},
            timeout=10
        )
         Hier werden die gesammelten Daten verarbeitet...
    except Exception as e.
        print(f "Seite {Seite} konnte nicht erfasst werden, versuche nächste IP")

Das ist der springende Punkt.: Denken Sie daran, dieAbfragezeitraum! Selbst wenn Sie die IP ändern, wenn Sie 100 Anfragen pro Sekunde senden, weiß ein Narr, dass die Maschine in Betrieb ist. Schlagen Sie eine zufällige Verzögerung vor, etwa so:

Zeit importieren
Zufallszahlen importieren

 Jedes Mal eine Zufallszeit von 2-5 Sekunden abwarten
time.sleep(random.uniform(2, 5))

QA Time: Die häufigsten Fallstricke, in die Neulinge tappen

F: Warum ist die Website auch nach der Verwendung eines Proxys noch gesperrt?
A: 80% der IP-Qualität ist nicht gut. Einige Agenten auf dem Markt verkaufen die gleiche IP an mehrere Personen, diese Art von gemeinsam genutzter IP steht schon lange auf der schwarzen Liste. Wählen Sie ipipgo, das Folgendes bietetExklusiv-Agents, jede IP ist für Sie allein.

F: Muss ich einen eigenen IP-Pool unterhalten?
A: Niemals! Ich habe gesehen, wie Leute ihre eigenen Proxy-Server gebaut haben, und am Ende kostete die Wartung mehr als der Kauf des Dienstes. Überlassen Sie das professionelle Zeug Dienstleistern wie ipipgo, die überAutomatischer IP-Ersatzim Gesang antwortenÜberlebenstestsMechanismen.

Sammlung von geschmacklosen Geschäften aus der realen Welt

Es gab einen Kunden, der E-Commerce-Überweisungen tätigte, und er fand es einfach, mit einem festen User-Agent identifiziert zu werden. Später mit ipipgo'sGeotargetingFunktion, die Beijing IP mit Android UA, Shanghai IP mit Apple UA, die Sammlung Erfolgsquote ist direkt verdoppelt.

Und hier ein weiterer Trick: Fügen Sie dem Erfassungsskript Folgendes hinzuRealitätsnahe Betriebssimulation. Besuchen Sie z. B. zuerst die Startseite und klicken Sie auf ein paar zufällige Elemente, bevor Sie schließlich zur Zielseite springen. Das erfordert zwar ein paar Zeilen mehr Code, aber mit dem Hochgeschwindigkeits-Proxy von ipipgo kann die Website nicht erkennen, ob es sich um eine echte Person oder eine Maschine handelt.

Warum gehen alte Vögel mit ipipgo?

Nennen Sie ein paar wichtige Indikatoren, die Ihnen wichtig sind:

• Überlebensrate 95%+Ihr IP verfügt über einen automatischen Wiederauferstehungsmechanismus.
• Millisekunden-AntwortMehr als 3-mal schneller als ein normaler Agent
• landesweite Abdeckung200+ Stadtknoten zur Auswahl

Die Quintessenz ist diese.Service nach dem VerkaufDas letzte Mal, als eine Abholaktion plötzlich fehlschlug, hat uns der Techniker von ipipgo innerhalb von 10 Minuten eine neue Planungslösung geliefert.

Schließlich eine große Wahrheit sagen: engagieren in der Datenerhebung ist wie Guerilla-Krieg zu kämpfen, sowohl genau zu treffen und gut verstecken. Die Wahl des richtigen Agenten-Dienstleisters kann Sie wirklich dazu bringen, einen Umweg für drei Jahre weniger zu nehmen.