Rastreo web en lenguaje R: el paquete rvest combate la recogida de datos sobre comercio electrónico

Cuando los datos del comercio electrónico llegan al lenguaje R Old Iron

¡Recientemente un montón de amigos de comercio electrónico y me quejé de que el uso de Excel para recoger los datos es como usar palillos para comer carne - laborioso! Hoy vamos a fastidiar cómo utilizar el lenguaje R paquete rvest todo el punto de real. ¡Centrarse en esos sitios web mecanismo anti-escalada, y nuestro salvador!IP proxy¿Cómo demonios se usa sin darse la vuelta?

La trifecta anticrawl y la supervivencia de las IP proxy

Los sitios de comercio electrónico son tan listos hoy en día que se les ocurren estos trucos perjudiciales:
① Limitación del flujo IP-Como una muestra de supermercado, sólo se puede probar tres veces por persona;
②Bombardeo de captchas-que una novia registrándose;
③ Seguimiento del comportamiento-Dos movimientos de ratón y te están vigilando.

Es el momento de ofreceripipgoEl servicio proxy IP es ahora más fácil de manejar que cocinar fideos instantáneos:

Manos a la obra chalecos antibalas para rvests

¡Aquí está el punto! Configurar el agente para rvest con una pose guapo:

biblioteca(httr)
biblioteca(rvest)

 El código clave está aquí
proxy_settings %
  html_texto()

Esté atento a este espacio:El proxy residencial de ipipgo rotará automáticamente las IPs, mucho más estable que esos proxies gratuitos. La ultima prueba corrió por 8 horas seguidas sin ser baneado, los datos son correctos.

Guía práctica para evitar el pozo

¿Se ha encontrado con alguna de estas polillas?

• La página se bloquea a mitad de carga
• Los datos devueltos son como una escritura celeste confusa
• verificación hombre-máquina (HMI) emergente

Con ipipgo.Enrutamiento inteligenteque selecciona automáticamente el nodo más rápido. Junto con un User-Agent aleatorio, el sitio piensa que eres un usuario normal merodeando.

Tiempo de control de calidad blanco

P: ¿Qué puedo hacer respecto a la lentitud de la velocidad IP del proxy?
R: Intente cambiar de protocolo en el fondo de ipipgo, http a socks5 a veces tiene un efecto milagroso. Recuerde seleccionarnodo de baja latenciaNo sea tacaño y utilice los gratuitos.

P: ¿La ejecución del código informa de un error 403?
R: El 80% de la IP está marcada, añade un tryCatch en el código, cambia automáticamente la nueva IP de ipipgo. se recomienda establecer un retardo de 3 segundos, no sigas a los lobos hambrientos como una petición salvaje.

P: ¿Qué ha pasado con la captura de datos incompleta?
R: Comprueba que el selector CSS es correcto, utiliza las herramientas de desarrollo del navegador para confirmarlo. Abra ipipgo'spivote de datospara poder ver los detalles de la solicitud.

Metafísica de la selección de IP proxy

Existen tres tipos de agentes en el mercado:

• Agentes transparentes: no hay diferencia con correr desnudo
• Agentes anónimos ordinarios: caras con máscaras
• Agentes de Alto Alijo: ipipgo, de los que pueden hacer disfraces.

La última vez que utilicé un proxy determinado, se reconoció nada más iniciarse. Después de cambiar a la gran cantidad de proxies de ipipgo, recopiló datos durante 3 días seguidos como un perro viejo. SuTasa de supervivencia en PIDa en el clavo, imprescindible para hacer un seguimiento de los precios del comercio electrónico.

Una última perorata: la recogida de datos no es una carrera, controle la frecuencia de las solicitudes. Utilice elControl inteligente de la velocidadFunción, establecer un intervalo aleatorio de 20-30 segundos, el administrador del sitio no puede ver que usted está haciendo las cosas. Si usted no entiende nada, ir a su página web y echa un vistazo a la documentación, que está escrito con más detalle que una receta.