Golang HTML Parser: Análisis de HTML en Go

¿Qué ocurre cuando un rastreador se encuentra con un mecanismo antibloqueo?

Hacer la recopilación de datos del hierro viejo saber que el mecanismo anti-escalada del sitio de destino es como un mosquito de verano - indefendible. Ayer se puede visitar la página normalmente, hoy de repente te dan un código de verificación emergente, o directamente bloquear la IP, esta vez es necesario dar el programaPonte un chaleco.Y las IP proxy son el mejor manto de invisibilidad.

Por ejemplo, si usas Golang para escribir un crawler, si siempre usas la misma IP para hacer peticiones locas, el servidor te desconectará en un minuto. Es como ir a la cantina a comer, si te cuelas en la cola una docena de veces seguidas, seguro que la tía querrá coger la cuchara de arroz para golpearte la cabeza.

// Ejemplo de petición básica (escrita a muerte)
resp, err := http.Get("https://target-site.com/data")
// Esto hace que la IP entre en la lista negra al día siguiente

¡La forma correcta de analizar HTML en Go!

Se recomienda manejar el parseo HTML con la librería goquery, que es mucho más suave que el parseador oficial que viene con él. Igual que comer fideos con palillos, siempre es más fácil que cogerlos con las manos. La instalación es muy sencilla:

ir a github.com/PuerkitoBio/goquery

En la práctica, con el proxy IP uso mejor, aquí para demostrar cómo integrar ipipgo servicio de proxy en el código:

func fetchWithProxy(url string) (goquery.Document, error) {
    // Obtener la dirección proxy de ipipgo.
    proxyUrl, _ := url.Parse("http://user:pass@proxy.ipipgo.com:9023")

    cliente := &http.Cliente{
        Transporte: &http.Transporte{Proxy: http.ProxyURL(proxyUrl)},
        Tiempo de espera: 15 tiempo.
    }

    resp, err := client.Get(url)
    ¡si err ! = nil {
        return nil, err
    }
    defer resp.Body.Close()

    return goquery.NuevoDocumentoDesdeLector(resp.Cuerpo)
}

Manual práctico antibloqueo

He aquí una lista de algunos consejos para salvar la vida de los chicos:

Directrices sobre desminado de problemas comunes

P: ¿Cuántas veces tengo que utilizar la IP proxy antes de que caduque?
R: En este caso se recomienda utilizar el Proxy Residencial Dinámico de ipipgo, su pool de IPs se actualiza cada día con más de 200.000 IPs frescas, más frescas que las verduras del mercado.

P: ¿Falla la resolución del sitio web HTTPS?
R: Añada la configuración TLS en Transporte, así:

Transporte: &http.Transport{
    Proxy: http.ProxyURL(proxyUrl),
    TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
}

P: ¿Cómo puedo saber si un poder está en vigor?
R: Añade un paso de detección de IP en el código, por ejemplo, visita http://ip.ipipgo.com/checkip, la IP devuelta es la dirección proxy significa que tiene éxito.

Que el programa aprenda setenta y dos cambios

Una última sugerencia avanzada: conecta la API de ipipgo al mecanismo de reintento de error. Cuando el programa detecte un fallo en la petición, llame automáticamente a su interfaz para obtener una nueva IP, como un camaleón para cambiar de identidad en cualquier momento. De esta forma, aunque el sitio objetivo tenga ojos de fuego, tampoco podrá reconocer el cuerpo real de su crawler.

He aquí un pseudocódigo lógico para un crawler autorreparable:

for retry := 0; retry < 3; retry++ {
    doc, err := fetchWithProxy(url)
    if err == nil {
        if err == nil { break
    }
    // Cambiar automáticamente el nodo proxy de ipipgo
    updateProxy()
    time.Sleep(2 tiempo.Segundo)
time.Sleep(2) }

Recuerda, un buen rastreador aprende a luchar en una guerra de guerrillas, y el millón de IPs de ipipgo es tu arsenal. No utilices más proxies gratuitos, hace tiempo que se juega con esas IPs, como con un pinchazo de caballo en un baño público, cualquiera las ha utilizado, no pueden ocultar tu rastro.