Captura de datos con R: Guía práctica para rvest Packets

La mejor manera de evitar el bloqueo de IP cuando se utiliza rvest para capturar datos

Recientemente, una gran cantidad de socios de análisis de datos y me escupió, con los datos de paquetes rvest siempre se encontró con IP bloqueada cosa rota. Al igual que la semana pasada, un amigo subió el precio del comercio electrónico, acaba de agarrar 200 páginas en la IP bloqueada, tan enojado que casi rompió el teclado. Hoy vamos a enseñar cómo utilizar proxy IP esta herramienta mágica para conseguir este mal problema.

No pise los fosos con rvest basics

En primer lugar, para llenar el vacío, los paquetes rvest funcionan bien como una navaja suiza. Pero mucha gente tiende a caer en estos baches:

 Ejemplos de errores comunes para los recién llegados
library(rvest)
url <- "https://example.com"
html <- read_html(url) acceso desnudo directo, ¡espera a ser bloqueado!

¡Aquí viene el punto!read_html() Esta función está en modo desnudo por defectoSi no te bloquean, el acceso continuo es como bailar el cuadrado ante los ojos del webmaster.

El trío salvavidas de Proxy IP

Es el momento de ofrecer nuestro trío de conservación de la vida:

 La forma correcta de abrir
biblioteca(httr)
proxy <- "http://username:password@gateway.ipipgo.com:9020"
response <- GET(url, use_proxy(proxy))
html <- read_html(respuesta)

Aquí hay una pequeña puerta que muchos tutoriales no dejan clara:El nombre de usuario debe cambiarse por la cadena de autenticación generada por el backend de ipipgo.De hecho, el campo de la contraseña puede dejarse en blanco. Una ventaja de usar su proxy es que puede cambiar automáticamente la IP de exportación, lo que es mucho menos problemático que cambiar la IP manualmente.

Caso práctico: control de precios en el comercio electrónico

Tomando un ejemplo de la vida real, supongamos que queremos captar el precio de un teléfono móvil en una tienda determinada:

biblioteca(httr)
biblioteca(rvest)

ipipgo_proxy <- "http://user-3k9d8s@gateway.ipipgo.com:9020"

for(i en 1:100){
  url <- paste0("https://item.taobao.com?page=",i)
  resp <- GET(url, use_proxy(ipipgo_proxy), timeout(30))
  if(status_code(resp)==200){
     Código para analizar los datos de precios...
  } else {
    print("Rastreo iniciado, cambio de IP automático.")
     La interfaz API de ipipgo rotará automáticamente las IPs
  }
  Sys.sleep(runif(1,1,3)) El sueño aleatorio es más realista
}

Mira esto.runif(1,1,3)El truco para que los intervalos de acceso sean irregulares. Combinado con el cambio automático de IP pool de ipipgo, es básicamente tan estable como un perro viejo.

Preguntas frecuentes QA

P: ¿Qué debo hacer si la IP del proxy no es válida después de utilizarla?
R: En esta situación se recomienda utilizar el proxy residencial dinámico de ipipgo, su pool de IP se actualiza cada día 200.000 + IP, ¡mucho más estable que un proxy estático!

P: ¿Crear un proxy o ser bloqueado?
R: Comprueba tres puntos: 1. si el proxy es altamente anónimo 2. si la cabecera de la petición tiene huellas del navegador 3. si la frecuencia de acceso es demasiado alta. Si utilizas ipipgo, recuerda activar la función "auto request header disguise".

P: ¿Qué puedo hacer con los proxies lentos?
R: Intenta elegir nodos cuando elijasSalas de servidores geográficamente próximasLa latencia de la línea BGP doméstica de ipipgo puede controlarse en 50 ms.

Por qué recomendar ipipgo

¡Utilizado siete u ocho proveedores de servicios de agente, el último uso a largo plazo de ipipgo en tres razones: 1. el precio es realmente (los estudiantes pueden permitirse el lujo de jugar) 2. línea optimizada específicamente para rastreadores 3. respuesta de servicio al cliente rápido, las dos últimas de la mañana para mencionar la orden de trabajo en realidad alguien de vuelta!

Por último, un consejo: no seas codicioso y utilizar un agente libre, o la fuga de datos, o rastreo inverso. Cosas profesionales a los profesionales a hacer, ahorrar tiempo para escribir unos cuantos más modelo de análisis de datos no huele?