Go Crawler: Adquisición concurrente del marco Colly

En primer lugar, ¿por qué los rastreadores deben estar en la IP del proxy?

Los hermanos que se dedican al rastreo comprenden que el mecanismo antitrepa del lugar de destino es más estricto que el control de acceso de la comunidad. Como usted roza continuamente el control de acceso una docena de veces, los guardias de seguridad absolutamente tienen que comprobar su tarjeta de identificación. En este momento, el proxy IP es equivalente a un cambio diario de ropa en la comunidad, por lo que el sistema anti-escalada piensa que las visitas de los usuarios normales.

Pongamos un ejemplo real: una plataforma de comercio electrónico para controlar el precio de los productos, si no utiliza un proxy, la IP se bloqueará en menos de media hora. Si utilizaipipgoTras la puesta en común del agente, funcionó durante tres días consecutivos sin activar el control del viento, y la tasa de éxito de la recogida se disparó de 40% a 95%.

En segundo lugar, cómo pisar el acelerador de concurrencia del marco Colly

El control de concurrencia que viene con el framework Colly es como un coche manual, con sólo 1 hilo funcionando por defecto. Tenemos que ponerlo en marcha manualmente:

c := colly.NewCollector(
    colly.Async(true), // activar el interruptor asíncrono
)
c.Limit(&colly.LimitRule{
    Paralelismo: 10, // 10 concurrencias ejecutándose simultáneamente
    RandomDelay: 2time.Second, // pausa aleatoria
})

Tenga en cuenta que aquí hay dos baches:
1. Si no se establece el Retardo, la concurrencia es demasiado alta y se activa directamente el antiescalado.
2. La tolerancia de los diferentes sitios web no es la misma, tenemos que intentar poco a poco averiguar el número óptimo de concurrencia.

Guía práctica de acceso Proxy IP

Directamente a los productos secos, conipipgoEl ejemplo de acoplamiento de la API:

func getProxy() cadena {
    resp, _ := http.Get("https://api.ipipgo.com/proxy?format=text")
    defer resp.Body.Close()
    body, _ := ioutil.ReadAll(resp.Body)
    return "http://" + string(body)
}

c.SetProxyFunc(func(r http.Request) (url url.URL, err error) {
    return url.Parse(getProxy())
})

Recordatorio focalizado:
- Debe cambiar a una nueva IP antes de cada solicitud
- Para hacer frente a los fallos del proxy
- Recuerda establecer un tiempo de espera para evitar interferencias

Cuarto, la recogida del combate real para evitar el manual de foso

Hace poco pisé una mina mientras ayudaba a un cliente con un sistema de comparación de precios:
1. La biblioteca de IP de un agente tiene un alto índice de repetición, ya que 3 de cada 10 cambios de IP son iguales.
2. No aleatorizar la cabecera de la solicitud, y la estación de destino identifica las características del crawler.
3. Olvidar establecer un control de tiempo de espera, lo que provoca fugas de memoria

utilizar (algo diferente)ipipgoTras el pool exclusivo de IP, la tasa de duplicación de IP se reduce a 0,3%, con la siguiente configuración para obtener mejores resultados:

V. Preguntas frecuentes QA

P: ¿Qué debo hacer si no puedo conectarme a menudo a la IP del proxy?
R: Compruebe tres cosas: 1. Supervisión de la supervivencia IP 2. Sustituya el protocolo del puerto 3. Póngase en contacto con elipipgoLínea de cambio del Servicio de Atención al Cliente

P: ¿Qué debo hacer si no consigo ponerme al día con la adquisición?
R: En primer lugar confirmar si el proxy IP arrastrado detrás, utilice elipipgo的测速接口检测响应时间，优质代理应小于800ms

P: ¿Seguirá interviniendo el servidor si me bloquean la IP?
R: La mayor ventaja de usar IP proxy es aislar el riesgo, incluso si la IP es bloqueada, no afectará a la máquina local. Sin embargo, debe tener cuidado de no utilizar el servidor para iniciar peticiones directamente, y hacer un buen trabajo de aislamiento de la red.

Por último, un consejo: no trate de ser barato y utilizar un agente libre, antes de que un hermano subió los datos se filtró la clave API interna de la empresa, el resultado fue blanco, la pérdida puede ser mucho más caro que la cuota del agente. Cosas profesionales a los servicios profesionales.ipipgoEstos proveedores de servicios regulares tienen registros de auditoría de solicitudes, por lo que puede rastrear si algo va mal.