socks5 proxy network speed : solution d'optimisation de la vitesse du réseau de proxy SOCKS5

Ne vous laissez pas freiner par la vitesse de l'internet ! Pratique de l'ajustement des agents SOCKS5 !

Les amis engagés dans le crawler réseau doivent comprendre que le proxy SOCKS5 est le plus grand casse-tête pour pomper la vitesse du réseau. Parfois, il est clair que le proxy est connecté, mais le chargement des données est comme une vieille vache tirant une charrette cassée. Aujourd'hui, nous allons vous expliquer comment faire fonctionner l'agent plus vite qu'un lapin, en particulier avec les services à domicile d'ipipgo, ceux que vous ne connaissez peut-être pas les astuces de vitesse.

Choisir un nœud, c'est comme choisir une pastèque : il faut pouvoir taper deux fois dessus.

Beaucoup de gens pensent qu'il suffit de choisir un nœud au hasard pour que cela fonctionne, et ils finissent par se faire avoir par la latence. Voici une astuce pour vous :Ne choisissez pas ces nœuds étrangers de haut vol，特别是做国内业务时。ipipgo的国内中转节点实测比直连快3倍不止，为啥？因为走了加密隧道+专线代理ip啊！

N'utilisez pas les valeurs par défaut pour les paramètres du protocole, c'est la meilleure façon de procéder.

De nombreux outils sont conservateurs dans leur configuration par défaut, nous devons donc le faire nous-mêmes. Essayez d'ajouter ces lignes au fichier de configuration :

 Paramètres de maintien de la connexion SOCKS5
proxy_set_header Connexion "keep-alive" ;
proxy_connect_timeout 15s ; proxy_send_timeout 30s ; proxy_send_timeout 30s
proxy_send_timeout 30s ; proxy_read_timeout 60s ; proxy_read_timeout 60s
proxy_read_timeout 60s.

 Activer l'ouverture rapide de TCP
net.ipv4.tcp_fastopen = 3

faire attention àAjustement des temps morts en fonction du type d'entrepriseLe panneau de contrôle d'ipipgo permet d'ajuster ces paramètres directement, sans devoir modifier le code à chaque fois.

La mise en cache est une arme à double tranchant : lorsqu'elle est utilisée correctement, elle peut prendre son essor.

Beaucoup de gens ne réalisent pas que les proxys peuvent aussi jouer avec la mise en cache ! En particulier lors de requêtes répétées, la mise en place d'un cache local peut faire gagner beaucoup de temps. Mais attention.Ne pas mettre en cache aveuglément des données dynamiquessinon il récupérera des données périmées. Cette combinaison est recommandée :

 Mise en cache des requêtes avec redis
import redis
cache = redis.StrictRedis(host='localhost', port=6379)

def get_data(url).
    cached = cache.get(url)
    if cached.
        return cached
    else : data = requests.get(url, proxies=ipgo_proxy)
        data = requests.get(url, proxies=ipgo_proxy)
        cache.setex(url, 300, data) cache pendant 5 minutes
        retour des données

Le temps de l'assurance qualité : les pièges que vous avez pu rencontrer

Q : Pourquoi la connexion au proxy est-elle plus lente ?
R : 80% des nœuds ne sont pas sélectionnés correctement ! Utilisez l'outil de mesure de la vitesse d'ipipgo pour déterminer d'abord le délai, puis choisissez celui dont le temps de réponse est le plus court. Et n'oubliez pas d'éteindre le système en cas d'incendie.

Q : Comment affecter des agents à des robots d'exploration multithreads ?
R : Ne rejetez pas tous les threads sur la même IP ! Utilisez la fonction de rotation dynamique d'ipipgo pour changer automatiquement l'IP de sortie pour chaque demande, de sorte qu'elle ne soit pas bloquée et qu'elle puisse utiliser toute la bande passante.

Q : Quelle est la meilleure façon de tester la vitesse des nœuds ?
R : Ne soyez pas stupide et n'utilisez pas la commande ping ! C'est la vitesse de téléchargement réelle qui est déterminante. Il est recommandé d'utiliser l'outil de test de vitesse en arrière-plan d'ipipgo, en tirant directement un fichier de test de 1 Mo pour voir la vitesse de transfert réelle.

Enfin, l'optimisation de la vitesse de l'internet est une tâche technique et patiente. Vous serez parfois surpris si vous changez la version du protocole (par exemple, essayez SOCKS5 par rapport à TLS) ou si vous ajustez la valeur du MTU. Si vous n'y arrivez vraiment pas, le service clientèle technique d'ipipgo est en ligne 24 heures sur 24 et 7 jours sur 7, il vous suffit de les contacter et de leur demander la mort !