
Apprendre à utiliser Nginx/Apache pour construire des serveurs proxy
Les vieux ferrailleurs engagés dans le développement web ont dû rencontrer cette situation : leurs serveurs pour arrimer des interfaces tierces, les résultats des interfaces d'autres personnes pour limiter la fréquence d'accès. Cette fois sur le serveur pour accrocher un proxy IP peut être une solution parfaite, aujourd'hui nous allons nag comment utiliser le plus commun Nginx et Apache l'ensemble du travail.
Pourquoi dois-je installer un proxy sur mon serveur ?
Voici un scénario réel : vous avez un crawler qui fonctionne sur AliCloud, et le site web cible a occulté tous les segments IP d'AliCloud. À ce moment-là, par le biais de la demande de transfert de serveur, avec un accès IP proxy au site cible, tout comme le Roi Singe soixante-douze changements, il est facile de contourner les restrictions.
J'aimerais vous présenter les nôtres.Service proxy ipipgoLes ressources IP de plus de 200 pays dans le monde prennent en charge les protocoles HTTP/HTTPS/Socks5, et il est facile pour les voleurs de s'y connecter.
Configuration du proxy Nginx en pratique
Ouvrez le fichier de configuration nginx.conf et ajoutez ces lignes au bloc serveur :
location /api {
proxy_pass http://目标网站域名 ; proxy_set_header Host $host ; proxy_set_header
proxy_set_header Host $host ; proxy_set_header X-Real-IP $remote_addr ; proxy_set_header
proxy_set_header X-Real-IP $remote_addr ; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for ; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for
C'est là que le bât blesse ! Définissez l'IP du proxy ici
resolver 8.8.8.8 valid=30s ;
set $proxy_server "http://用户名:密码@gateway.ipipgo.com:端口" ;
proxy_pass $proxy_server ;
}
Veillez à mettreID de l'utilisateurrépondre en chantantcryptographiqueRemplacez-les par les informations du compte que vous avez enregistré auprès d'ipipgo et indiquez le numéro de port correspondant au type de forfait que vous avez acheté. N'oubliez pas denginx -s reloadRedémarrer le service.
Conseils pour le paramétrage du proxy Apache
Trouvez le fichier httpd.conf et activez les deux modules :
LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_http_module modules/mod_proxy_http.so
Ajoutez-le ensuite dans le segment de configuration VirtualHost :
ProxyRequests Off
ProxyPass "/api" "http://目标网站域名"
ProxyPassReverse "/api" "http://目标网站域名"
Étapes clés de la configuration de l'IP proxy
ProxyRemote "http://目标网站域名" "http://用户名:密码@gateway.ipipgo.com:端口"
Il y a un piège à éviter : le système ApacheProxyRemoteLa commande n'est pas très favorable au support HTTPS, il est recommandé d'utiliser directement le protocole Socks5 fourni par ipipgo qui est plus sûr.
Guide de sélection de l'IP Proxy
Voici un tableau comparatif des forfaits ipipgo pour les gars, choisissez le bon en fonction des besoins de votre entreprise :
| Type d'emballage | Scénarios applicables | prix |
|---|---|---|
| Dynamique résidentielle (standard) | Collecte de données, surveillance des prix | 7,67/GB/mois |
| Dynamic Residential (Entreprise) | Vérification des annonces, gestion sociale | 9,47 RMB/GB/mois |
| Maisons statiques | Besoins fixes à long terme en matière de propriété intellectuelle | 35/IP/mois |
Foire aux questions QA
Q : Que dois-je faire si mon site web ralentit après la mise en place du proxy ?
R : Vérifiez l'emplacement géographique du serveur proxy, par exemple si vous faites des affaires en Europe et aux États-Unis, choisissez l'IP locale, avec le client ipipgo, qui peut être un nœud de sélection de la vitesse en temps réel.
Q : Comment puis-je vérifier si l'agent est en fonction ?
R : Exécuté sur le serveurcurl -x http://代理IP:端口 http://ipinfo.io/ippour voir si l'IP renvoyée est une IP proxy.
Q : Que se passe-t-il si j'ai besoin de plus d'un pays IP en même temps ?
R : Adressez-vous directement au service clientèle d'ipipgo pour demander des solutions personnalisées. Leur ligne transfrontalière prend en charge le changement automatique des nœuds nationaux, ce qui est plus rentable que l'achat individuel de plusieurs IP.
Conseils pour éviter les pièges
1) Lors de la mise en place d'un proxy HTTPS, n'oubliez pas d'ajouter ce qui suit à la configuration de Nginxproxy_ssl_server_name on.Dans le cas contraire, une erreur de certificat sera signalée.
2. erreur 403 interdite, peut être le site cible pour identifier les caractéristiques du proxy, changer pour ipipgo exclusif IP statique peut être résolu !
3) Lorsque la consommation de trafic est anormale, il convient de passer par l'arrière-plan d'ipipgo pour vérifier l'utilisation en temps réel, en prenant en charge l'affichage de la granularité horaire, afin d'éviter les déductions excessives.
Un dernier point :N'utilisez pas de proxies gratuits pour des raisons de coûtAuparavant, l'un de nos clients utilisait un proxy sauvage, ce qui a eu pour effet d'implanter des scripts d'exploitation minière dans la base de données. Avec ipipgo, ce type de fournisseur de services réguliers, il y a une équipe technique professionnelle pour faire du nettoyage d'IP, le coefficient de sécurité est plusieurs grades plus élevés.

