En primer lugar, el primer conjunto de entender lo que es el proxy IP?
Digamos que rellenas una dirección de entrega incorrecta cuando compras online, el mensajero entregará el paquete en el lugar equivocado. La IP proxy es como un cambio temporal en la dirección de entrega, para que el servidor de destino piense que usted es un visitante de otro lugar. Por ejemplo, si visita un sitio web de Pekín con una IP de Jiangsu, la otra parte verá que el origen de la visita es Jiangsu.
La situación más común con la que se encuentran nuestros amigos rastreadores:¡Continuamente utilizar la misma IP para obtener datos, el sitio directamente a la lista negra!Lo primero que tienes que hacer es rotar tus IPs proxy para evitar ser bloqueado. Esta vez es necesario proxy IP rotación, para evitar ser bloqueado. Sin embargo, se debe prestar especial atención a encontrar un proveedor de servicios de proxy no eligen los que provienen de una fuente desconocida, como utilizamos ipipgo tal calificación formal es fiable.
En segundo lugar, Python para comprometer al apoderado de las dos poses
Empecemos con la librería de peticiones más utilizada, añadir proxies es enorme y sencillo:
solicitudes de importación
proxies = {
'http': 'http://用户名:密码@ipipgo proxies:puerto',
https': 'https://用户名:密码@ipipgo proxy:port'
}
resp = requests.get('URL de destino', proxies=proxies, timeout=10)
print(resp.text)
Es un poco más complicado si usas urllib, pero no tienes que instalar librerías de terceros:
from urllib.request import ProxyHandler, build_opener
proxy = ProxyHandler({
https': 'https://ipipgo提供的代理地址:端口'
})
opener = build_opener(proxy)
respuesta = opener.open('https://要访问的网站')
print(response.read().decode('utf-8'))
En tercer lugar, evitar estos pozos puede ahorrar tiempo 80%
Tres de los lugares más fáciles para los novatos:
1. Formato de proxy incorrectocontraseña: preste especial atención a http y https deben escribirse por separado, hay símbolos especiales en la contraseña recuerde escapar con %
2. El tiempo de espera no está configurado.Se recomienda que el tiempo de espera no sea superior a 15 segundos, de lo contrario el programa se bloqueará.
3. La calidad de IP no es buena
Por eso recomendamos ipipgo, que está optimizado para rastreadores.Paquete Residencial DinámicoHe estado usando la versión estándar con una dirección IP dinámica durante tres días y no desencadenó un contra-script. Probado con la versión estándar de la IP dinámica, ejecutando durante tres días consecutivos script no desencadenó anti-escalada. Para maximizar los resultados del agente, recuerde esta combinación de oro: 1. Cambiar aleatoriamente la IP para cada petición (la API de ipipgo puede obtenerla directamente de forma masiva). 2. Conmutación aleatoria con User-Agent 3. Controlar la frecuencia de las visitas para que no sean demasiado intensas Pon un ejemplo de código real: P: ¿Qué debo hacer si la IP del proxy se invalida después de utilizarlo? P: ¿Y si necesito mucha propiedad intelectual para los proyectos de mi empresa? P: El código parece correcto, pero no puedo conectarme al agente. He utilizado 7 u 8 servicios proxy y finalmente me he decidido por ipipgo por tres razones principales: 1. El protocolo admite todo elsocks5 y https funcionan ambos, algunos sitios sólo reconocen protocolos específicos 2. Ahorro clienteEl cliente de Windows es muy sencillo: dos clics y ya puedes cambiar de IP. 3. Transparencia de preciosA diferencia de algunas plataformas que ocultan recargos, la versión estándar de Dynamic Residential comienza en 7,67 $/G, ¡lo que hace que el coste de la recopilación de datos sea manejable! Por último, no sólo mirar el servicio de proxy barato. Antes de que el barato comprar 5 yuanes 100G, el resultado es que la mitad de la IP son residuos, pero retrasado. Ahora con ipipgo versión estándar de IP dinámica, la eficiencia de la colección por lo menos 3 veces, la clave no es tirar todo el día para cambiar la IP.IV. Se regalan conocimientos prácticos
importar aleatorio
importar solicitudes
def get_ipipgo_proxy():: Aquí cambiamos la dirección API por la que obtuvimos del backend de ipipgo.
Sustitúyela por tu propia dirección API del backend de ipipgo.
api_url = "https://api.ipipgo.com/getproxy"
proxies = requests.get(api_url).json()['data']
return random.choice(proxies)
headers_list = [
{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0)...'} ,
{'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...'}
]
resp = requests.get(
url=URL de destino, proxies={'https
proxies={'https': get_ipipgo_proxy()},
headers=random.choice(headers_list),
timeout=12
)
V. Preguntas rápidas y respuestas a las preguntas más frecuentes
¡R: Esta situación es el ochenta por ciento de la utilización de agentes de mala calidad, ipipgo estática estabilidad paquete residencial es mucho mejor, 35 yuanes una IP se puede utilizar durante todo un mes!
¡R: directamente a su servicio de atención al cliente a la empresa plan personalizado, puede ajustar el método de facturación de acuerdo con el volumen de negocio, que pagar por volumen rentable!
R: primero compruebe la configuración de la lista blanca, ipipgo fondo para enlazar la IP local. si vas cuenta de autenticación de contraseña, recuerde que el formato es usuario:pass@ip:puertoVI. ¿Por qué recomienda ipipgo?
Español 
简体中文 
English 
Deutsch 
Français