
La construction d'un canal SOCKS exclusif est à la portée de tous !
Les amis du réseau savent que l'on a parfois besoin d'un intermédiaire pour aider à transmettre les données. Le proxy SOCKS est comme un coursier fiable, qui vous aide à envoyer la demande de réseau à la destination. Contrairement aux proxys HTTP ordinaires, il peut transmettre n'importe quel protocole, ce qui convient particulièrement aux scènes qui nécessitent une transmission stable.
Récemment, de nombreux amis qui font de la collecte de données me trouvent en train de me plaindre, disant que l'agent sur le marché laisse toujours tomber la chaîne. Ici pour vous apprendre à construire votre propre serveur SOCKS, et ensuite avec un agent fiable des ressources, garanti de faire voler votre crawler.
Ingrédients de la préparation : serveur + proxy IP
Tout d'abord, en ce qui concerne la configuration matérielle, il convient d'utiliser un serveur étranger comme station de base. Le système Ubuntu est recommandé, il est facile à utiliser et permet de gagner du temps. Une mémoire de 512 Mo suffit, un disque dur de 20 Go à l'état solide, une bande passante d'au moins 100 Mbit/s. Ne soyez pas trop gourmand en choisissant ces petits fournisseurs, les fluctuations du réseau peuvent vous mettre en colère et vous faire cracher du sang.
C'est là que le bât blesse - les sources d'IP par procuration. Ces sources doivent être accessiblesipipgoLe forfait résidentiel statique, 35 yuans par mois d'IP exclusive. Leurs IP sont de véritables IP domestiques à large bande, beaucoup plus stables que les IP des salles de serveurs. Avant d'avoir des amis pratiquant le commerce électronique transfrontalier, j'ai utilisé son IP pour comparer les prix des produits de base. Le taux de réussite de la collecte est passé directement de 60% à 92%.
Mettez d'abord à jour le système
sudo apt-get update && sudo apt-get upgrade -y
Installer les outils essentiels
sudo apt-get install build-essential
Sur le terrain : Configuration du serveur Dante
Recommandé pour l'utilisation de Dante, cet outil open source, la configuration est aussi simple que des blocs de construction. Suivez les étapes ci-dessous, dix minutes pour y parvenir :
Installation de Dante
sudo apt-get install dante-server
Sauvegarder la configuration originale
sudo cp /etc/danted.conf /etc/danted.conf.bak
Créer un nouveau fichier de configuration
sudo nano /etc/danted.conf
Concentrez-vous sur la modification de ces éléments dans le fichier de configuration :
Modifiez le port d'écoute en fonction de vos besoins (par exemple, 1080).
interne : eth0 port = 1080
La méthode d'authentification recommandée est le nom d'utilisateur et le mot de passe
méthode : username none
utilisateur privilégié : root
user.notprivileged : nobody
Segments IP clients autorisés
client pass {
from : 0.0.0.0/0 to : 0.0.0.0/0
}
N'oubliez pas de redémarrer le service après l'avoir modifié :sudo systemctl restart danted
Mélange d'épices : stratégie de rotation de la propriété intellectuelle
Il ne suffit pas d'avoir un serveur, il faut pouvoir jouer avec la rotation d'IP. Voici une astuce pour vous - utilisezAPI pour ipipgoChangement dynamique d'IP. Le format de retour de leur API est particulièrement rafraîchissant, il n'y a pas besoin de manipuler l'analyse syntaxique :
demandes d'importation
def get_proxy() : url = "
url = "https://api.ipipgo.com/dynamic"
params = {
'key' : 'votre clé API',
'protocol' : 'socks5',
'count' : 1
}
res = requests.get(url, params=params)
return res.json()['data'][0]
Après avoir obtenu l'IP, configurez le client avec ce format :nom d'utilisateur:mot de passe@ip:port
Questions fréquemment posées Trousse de premiers secours
Q : La connexion à l'agent est-elle particulièrement lente ?
R : Vérifiez d'abord la bande passante du serveur, puis utilisez la fonctiontracerouteCela dépend de la direction du routage. S'il s'agit du backbone international, il est recommandé de modifierligne transfrontalière ipipgoLe temps de latence de leur ligne spécialisée Chine-États-Unis peut être réduit à moins de 150 ms.
Q : L'échec de l'authentification est-il toujours signalé ?
R : 80% du nom d'utilisateur et du mot de passe comportant des symboles spéciaux, il est recommandé de n'utiliser que des combinaisons alphanumériques.sudo dpkg-reconfigure dante-serverRéinitialiser le mot de passe
Q : Que se passe-t-il si je dois gérer plusieurs agents en même temps ?
A : Vers le hautOutils clients de l'ipipgoIl prend en charge l'importation par lots de listes de serveurs mandataires. Vous pouvez également définir des règles de commutation automatique, telles que le changement d'adresse IP en cas d'erreur 403.
Guide de sélection des paquets
| Type d'entreprise | Paquets recommandés | Scénarios applicables |
|---|---|---|
| l'acquisition de données | Dynamique résidentielle (standard) | Chenilles de taille petite à moyenne, 7,67 $/GB très parfumées |
| Gestion des comptes | Maisons statiques | IP fixe à long terme requis, 35 $/mois |
| Commerce transfrontalier | Dynamique d'entreprise | Demande de concurrence élevée, à partir de 9,47 $/GB |
La dernière phrase qui fâche : le serveur SOCKS auto-construit n'oublie pas de mettre régulièrement à jour le patch du système, à condition de respecter les règles d'incendie. Si vous rencontrez des problèmes techniques, adressez-vous directement au service d'assistance technique d'ipipgo ; leurs ingénieurs sont toujours en ligne à deux heures du matin, et la vitesse de réponse est absolue.

