Servidor proxy de rastreo: Tutorial del servidor proxy de rastreo

¡Manos a la obra con su propio grupo de agentes oruga!

Los hermanos que se dedican al rastreo saben que el mecanismo anti-subida del sitio es ahora cada vez más despiadado. Ayer se puede ejecutar el programa, hoy en día puede dar bloqueado a la muerte. Esta vez se necesita un servidor proxy paraIP real falsa, haciendo creer al sitio de destino que una persona diferente está operando en cada solicitud.

Hay muchos servicios de proxy ya creados en el mercado, pero crear el tuyo propio es más flexible y asequible. Aquí te enseñamos a usaripipgo Proxy Residencial DinámicoHaciendo una demostración en vivo, su reserva de recursos es lo suficientemente grande como para que la probabilidad de ser bloqueado sea mucho menor.

No seas descuidado con la preparación.

En primer lugar, preparar un servidor de nube (1 núcleo 2G suficiente), el sistema recomendado CentOS7. tenga en cuenta que la selección deNodos de ultramarLo más importante es recordar que los servidores domésticos son propensos a ser prohibidos por la asociación. Aquí hay un pozo para recordar: no compre esos alojamiento web IP compartida barato, debe utilizar servidor de la nube IP independiente.

 Instale las herramientas de base
yum install -y gcc python3-devel
pip3 install proxypool

Cuatro pasos para una construcción práctica

1. Vaya al sitio web oficial de ipipgo para registrarse y seleccionePaquete residencial dinámico (estándar), $7+ 1G de tráfico es suficiente para las pruebas. Encuentra el enlace de extracción de la API en el backend, se ve así:

https://api.ipipgo.com/get?key=你的密钥&count=20

2. Configure el programa proxy pool (aquí con la transformación proxypool de código abierto):

 Modificar config.py
API_URL = 'El enlace API que has obtenido arriba'
VALID_CHECK_INTERVAL = 60 comprobar disponibilidad cada minuto

3. Inicie el servicio recordando abrir el puerto del cortafuegos:

firewall-cmd --add-port=5032/tcp --permanent
systemctl restart firewalld
nohup python3 main.py > /dev/null 2>&1 &

4. Llame al grupo de proxy en el código del rastreador:

importar peticiones
def get_proxy(): return requests.get("").json().get("proxy")
    return requests.get("http://你的服务器IP:5032/get").json().get("proxy")

 Ejemplo de uso
resp = requests.get(url, proxies={"http":get_proxy()})

Consulte aquí los consejos de ajuste

- encontrarError 403Que no cunda el pánico. Ve a ipipgo y cambia de escenario.Protocolo Socks5probar
- En escenarios de alta liquidez se recomienda actualizar aEnterprise Edition Residencial dinámico9 más de 1G para soportar una mayor concurrencia
- Reinicie automáticamente los scripts del grupo de proxy a las 3 de la madrugada para evitar pérdidas de memoria.
- Al recopilar sitios web europeos y estadounidenses, añada el enlace API a la secciónPaíszona designada

Directrices sobre desminado de problemas comunes

P: ¿Qué debo hacer si el tiempo de supervivencia de la IP proxy es demasiado corto?
R: Ajuste el intervalo de detección a 30 segundos, y al mismo tiempo encienda el fondo ipipgoModelo a largo plazo(se requieren paquetes corporativos)

P: ¿Y si necesito una IP fija para iniciar sesión?
R: Cambia a 35 $/mesIP residencial estáticaLa IP puede utilizarse durante 30 días completos.

P: ¿La IP devuelta por la API no está disponible?
R: Primero compruebe la configuración de la lista blanca, ipipgo necesita vincular la IP del servidor para llamar a la API

¿Por qué ipipgo?

suAgente de línea TKHacer la recogida de datos de comercio electrónico transfronterizo es particularmente estable, antes de que un amigo para hacer la estación independiente, utilizando este programa para recoger 300.000 datos diarios no se ha cerrado. La clave es la respuesta rápida de servicio al cliente, el último encuentro de medianoche problemas técnicos, en realidad 10 minutos en la asistencia remota para hacerlo.

¡Por último, me gustaría recordar a los novatos: no ejecutar descargas de archivos de gran tamaño en los servidores proxy! Hay un amigo para tomar la piscina de proxy bajo la película, 1 hora para agotar el tráfico de paquetes, esta operación de pérdida de sangre. Do recoger para controlar la frecuencia de solicitud, con User-Agent al azar es el rey.