Go Proxy IP HTML Parser: Biblioteca de análisis Go Proxy IP

Te enseñamos a utilizar el proxy IP de Go language pickpocket

Hacemos la recopilación de datos de los conductores de edad entender que no proxy IP es como conducir sin volante. Hoy en día, te voy a dar algunos bienes duros, utilizar el lenguaje Go para escribir un proxy IP resolver, y se centran en cómo extraer la dirección IP proxy de la página web.

// Como ejemplo: recoger IPs de una tabla web
func parseIPTable(html cadena) []cadena {
    re := regexp.DebeCompilar(`<td>(d+.d+.d+.d+)</td>.?<td>(d+)</td>`)
    coincidencias := re.FindAllStringSubmatch(html, -1)

    var proxies []cadena
    for _, coincidencia := rango coincidencias {
        proxies = append(proxies, fmt.Sprintf("%s:%s", match[1], match[2]))
    }
    return proxies
}

Esta expresión regular parece sencilla, pero hay variasbacheTenga cuidado: la estructura de la página web a menudo cambia, algunos sitios deliberadamente poner una IP falsa, la tabla puede ser mezclado con contenido publicitario. Este es el momento de utilizar ipipgo piscina proxy listo, que tirar de la página web por sí mismo para ahorrar un montón de problemas.

Autenticación de IP proxy

Es difícil bajar la IP, ocho de cada diez no se pueden utilizar ¿cómo hacerlo? Te voy a enseñar un truco:

Si es mucha molestia, usa el de ipipgo.Grupo de IP preverificadasLa empresa ya ha realizado tres rondas de filtrado por nosotros. Su API devuelve IPs que están básicamente listas para usar, ahorrándote la molestia de verificarlas.

Caso práctico: creación de un sitio web de información empresarial

Recientemente un hermano me pidió ayuda, dijo que su empresa para recopilar datos de la empresa, los resultados del sitio anti-escalada demasiado duro. Dar a todos un vistazo a cómo lo hacemos:

func main() {
    // Obtener 10 proxies de ipipgo
    proxies := ipipgo.GetProxies(10, "http")

    for _, proxy := rango proxies {
        cliente := &http.Cliente {
            Transporte: &http.Transporte{Proxy: http.ProxyURL(proxy)},
            Timeout: 8 tiempo.Segundo
        Tiempo de espera: 8 time.Second }

        // Recuerda manejar las excepciones aquí
        resp, _ := client.Get("sitio de destino")
        // Análisis de los datos...
    }
}

Utilizando este método, se logró eludir el mecanismo antitrepa. El punto clave esDiferentes proxies por solicitudEl pool de IPs de ipipgo es lo suficientemente grande como para que nos turnemos en su uso.

Old Driver QA Time

P: ¿Por qué no puedo utilizar la IP proxy que tengo?
R: Hay dos situaciones comunes: o el proxy falla (corto tiempo de supervivencia de su propia IP), o el sitio de destino bloqueado el segmento de proxy. ¡Se recomienda utilizar ipipgo tales proveedores de servicios profesionales, su actualización IP rápido, hay garantía de supervivencia de 24 horas!

P: ¿Cómo mejorar la velocidad de recogida?
R: tres trucos: 1. peticiones concurrentes con la piscina concurrente 2. establecer un tiempo de espera razonable 3. no coger un sitio feroz agarre, con proxy IP solicitud de dispersión

P: ¿A qué debo prestar atención al elegir un proveedor de servicios proxy?
R: céntrate en estos puntos: tamaño del pool de IPs (recomiendan ipipgo millones de pool), soporte de protocolos (HTTP/HTTPS/Socks5), velocidad de respuesta (miden ipipgo media de 200ms), si ofrecen una prueba (tienen un paquete de experiencia de 3$).