curl download file : récupération de fichiers en ligne de commande

Quand les téléchargements sont au ralenti ? Essayez cette astuce cachée

La programmation a dû rencontrer cette situation : utiliser curl pour télécharger des ressources étrangères, lorsque la barre de progression d'une demi-journée ne bouge pas, on a hâte de fracasser le clavier. Cette fois-ci, ne vous précipitez pas pour changer d'outil de téléchargement, il vous manque peut-être tout simplement le proxy IP, cette arme secrète. Tout comme la conduite dans un embouteillage pour prendre un détour, la demande de réseau doit également trouver un barItinéraires sans circulation.

Récemment, j'ai aidé un collègue à traiter un cas particulièrement typique : leur équipe devait utiliser curl pour télécharger par lots un paquet miroir AWS, le résultat étant de 10 fichiers en moins de 3 heures. Après avoir basculé sur l'IP proxy d'ipipgo, la même opération a été réalisée.Sept minutes.Le secret consiste à ajouter un paramètre -proxy à la commande curl. Le secret est d'ajouter un paramètre -proxy à la commande curl, d'y insérer l'adresse du proxy, et la vitesse décollera.

Apprentissage pratique de la "cape d'invisibilité" sur les boucles.

Examinons d'abord l'utilisation la plus élémentaire :

curl -x http://username:password@proxy.ipipgo.com:8080 https://目标文件地址

En voici quelques-unsFacile à piétinerLe lieu :
1) N'oubliez pas d'utiliser % pour échapper à tout symbole spécial dans le mot de passe.
2. le type de proxy doit être le même que celui indiqué par le fournisseur de services (http/https/socks5)
3. ne pas se tromper de numéro de port.

Que faire lorsque vous rencontrez des problèmes dans le monde réel ? Regardez ici

QA 1 : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
Dans ce cas, il est recommandé d'ajouter une logique de remplacement automatique dans le script. L'API d'ipipgo prend en charge le mode de facturation à l'usage, ce qui vous permet d'obtenir de nouvelles IP en temps réel. n'oubliez pas de définir le nombre de tentatives, afin de ne pas laisser le programme se bloquer.

AQ 2 : Comment puis-je vérifier si la procuration est efficace ?
Utilisez d'abord cette commande pour tester : curl -x proxy address http://ip.ipipgo.com/ip, l'IP de retour si le serveur proxy signifie le succès. Ne soyez pas paresseux et n'utilisez pas Baidu pour vérifier l'IP directement, certains sites web bloqueront la demande de proxy.

QA 3 : Le téléchargement de fichiers volumineux est-il toujours interrompu ?
Essayez ces deux combinaisons de paramètres :

curl -C - -L -O --retry 3 --retry-delay 5

-C supporte le transfert intermittent, -retry set auto retry, pro-test peut résoudre le problème de pompage du réseau du 90%.

Pourquoi choisir ipipgo ?

Il existe un grand nombre de fournisseurs de services proxy sur le marché, mais si l'on veut vraiment être stable, il faut aussi se tourner vers les acteurs professionnels. J'ai utilisé un proxy inconnu auparavant, et le pic de latence ne dépassait pas les 2000 ms. Après avoir changé pour ipipgo, j'ai pu en tirer le meilleur parti, et j'ai pu en tirer le meilleur parti :

• Vitesse de réponse moyenne80 ms ou moins
• Soutenir le paiement à l'utilisation sans gaspiller d'argent
• Un service clientèle technique professionnel est toujours disponible

En particulier, leurPool IP résidentiel dynamiqueJe ne suis pas sûr de pouvoir le faire, mais je vais pouvoir l'utiliser pour télécharger des ressources à l'étranger. La dernière fois que j'ai aidé un ami à télécharger une image Docker, la vitesse de connexion directe était de 20 Ko / s, coupé à ipipgo Japan node directement exécuter toute la bande passante.

Enfin, un rappel : n'oubliez pas de respecter les lois et réglementations locales lorsque vous utilisez des proxys, et ne les utilisez pas pour des choses bizarres. Utiliser les outils à bon escient est le meilleur moyen d'obtenir deux fois plus de résultats avec deux fois moins d'efforts, n'est-ce pas ?