Système de recommandation Grands modèles de langage : formation LLM Données Acquisition d'agents

Lorsque le système de recommandation rencontre un modèle de grande taille, comment glaner des données pour être sûr ?

Les frères du système de recommandation ont eu un mal de tête récemment - un grand modèle de langage de formation à la quantité de données comme un puits sans fond, directement au site difficile à escalader, des minutes pour être bloqué IP. le mois dernier, un ami pour faire un modèle de recommandation de film, juste escaladé 3000 commentaires sur le site à être tiré noir, si en colère qu'il a presque tombé sur le clavier.

Comment les adresses IP proxy sont-elles devenues une bouée de sauvetage pour la collecte de données ?

Imaginez que vous êtes un acheteur de supermarché, si vous portez les mêmes vêtements tous les jours pour aller chercher les marchandises, le garde de sécurité doit se méfier. L'IP proxy a la même raison, chaque fois que vous collectez des données pour changer un "gilet", le site ne sera pas reconnu comme le même "acheteur" dans le travail.

En voici une.Idées fausses et fatalesLe proxy public : Beaucoup de gens pensent qu'il suffit de trouver un proxy gratuit et de l'utiliser. En fait, ces proxys publics sont depuis longtemps enregistrés par les principaux sites web dans un petit livre, et les utiliser revient à se tirer une balle dans le pied. Des services de proxy commerciaux fiables comme ipipgo, qui détiennent des centaines de milliers de noms de domaine, sont également disponibles.pool IP exclusifC'est le fait que chaque IP dispose d'une trace d'utilisateurs réels qui permet de s'en tirer avec des "combinaisons".

Utilisation d'ipipgo pour construire un pipeline de collecte

Voici un exemple concret pour Python (n'ayez pas peur de lire le code, suivez simplement) :

importation de requêtes
from itertools import cycle

 Liste des proxys fournis par ipipgo (n'oubliez pas de les remplacer par votre propre compte)
proxy_list = [
    '12.34.56.78:8888',
    '98.76.54.32:8888', ...
     ... Plus d'IP
]

proxy_pool = cycle(proxy_list)

for page in range(1, 101) :
    try.
         Choisir un proxy aléatoire à chaque fois
        current_proxy = next(proxy_pool)
        response = requests.get(
            f'https://example.com/reviews?page={page}',
            proxies={'http' : current_proxy},
            timeout=10
        )
         Ici, les données collectées sont traitées...
    except Exception as e.
        print(f "Échec de la capture de la page {page}, essayer l'IP suivante")

Voici le point essentiel.: N'oubliez pas de paramétrer l'optionintervalle de demande! Même si vous changez l'IP, si vous envoyez 100 requêtes par seconde, un imbécile sait que la machine fonctionne. Suggérez un délai aléatoire, comme ceci :

Importation du temps
import random

 Attendre un temps aléatoire de 2 à 5 secondes à chaque fois
time.sleep(random.uniform(2, 5))

Le temps de l'assurance qualité : les pièges les plus fréquents pour les débutants

Q : Pourquoi le site est-il toujours bloqué après l'utilisation d'un proxy ?
R : 80% des adresses IP ne sont pas de bonne qualité. Certains agents du marché vendent la même adresse IP à plusieurs personnes, et ce type d'adresse IP partagée est depuis longtemps sur la liste noire. Choisissez ipipgo qui fournitAgent exclusifchaque IP est pour vous seul.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Jamais ! J'ai vu des gens construire leurs propres serveurs proxy et leur entretien finit par coûter plus cher que l'achat du service. Laissez le travail professionnel à des fournisseurs de services comme ipipgo qui ontRemplacement automatique des adresses IPrépondre en chantantTest de survieMécanismes.

Recueil d'opérations douteuses dans le monde réel

Un client qui faisait des références en matière de commerce électronique a constaté que l'utilisation d'un User-Agent fixe était facile à identifier. Plus tard, avec l'applicationciblage géographiquele taux de réussite de la collecte est directement doublé pour les IP de Pékin avec Android UA, et pour les IP de Shanghai avec Apple UA.

Et voici une autre astuce : ajoutez au script de captureSimulation opérationnelle en situation réelle. Par exemple, visitez d'abord la page d'accueil et cliquez sur quelques éléments au hasard avant de passer à la page cible. Cela nécessite quelques lignes de code supplémentaires, mais avec le proxy à grande vitesse d'ipipgo, le site ne peut pas savoir s'il s'agit d'une personne réelle ou d'une machine.

Pourquoi les vieux oiseaux vont-ils avec ipipgo ?

Citez quelques indicateurs durs qui vous tiennent à cœur :

• Taux de survie 95%+Leur IP dispose d'un mécanisme de résurrection automatique.
• Réponse en millisecondesPlus de trois fois plus rapide qu'un agent normal
• couverture nationalePlus de 200 nœuds urbains à choisir

La conclusion est la suivante.le service après-venteLa dernière fois qu'une tâche de collecte a soudainement échoué, le technicien d'ipipgo nous a proposé une nouvelle solution de planification en 10 minutes.

Enfin, il faut dire une grande vérité : s'engager dans la collecte de données, c'est comme faire de la guérilla, il faut à la fois frapper avec précision et bien se cacher. Choisir le bon prestataire de services d'agent peut vraiment vous faire faire un détour pour trois ans de moins.