Datos de Google Map: Recopilación de datos proxy de Google Map

¿Por qué necesito una IP proxy para los datos de mapas de Google?

Usted debe haber encontrado este tipo de situación: utilizar su propio ordenador para agarrar los datos del mapa, el resultado no es de unos minutos IP fue bloqueado. Esto es como ir al supermercado para tratar de comer, cogió un puesto para comer, la seguridad debe venir a conducir a la gente, el mecanismo anti-escalada de Google que los guardias de seguridad del supermercado puede ser mucho más potente, el usuario medio para visitar decenas de veces en una fila puede desencadenar las restricciones.

Es entonces cuandoIP proxySer un "actor doble". Por ejemplo, si utilizas un doble para rodar escenas de acción peligrosas, o si utilizas diferentes IPs para recoger datos, la plataforma no podrá reconocer que está operando la misma persona. La IP proxy residencial de nuestro propio producto ipipgo se utiliza en el entorno de red del usuario real, que es más difícil de identificar que la IP de la sala de servidores.

¿Cómo elegir una IP proxy para no pisar el foso?

Existen varios tipos de agentes en el mercado y he elaborado una tabla comparativa:

Se recomienda utilizar Google Maps paraIP residencialEspecialmente la de ipipgo.IP residencial estática de larga duraciónLa IP se puede utilizar durante 24 horas. La última vez que un cliente utilizó este programa, colección continua de 3 días no han sido bloqueados, más estable que la IP dinámica regular.

Le mostrará cómo hacerlo a mano

Como ejemplo, Python utiliza la biblioteca requests para implementar el acceso proxy:

solicitudes de importación

 Formato proxy para ipipgo usuario:contraseña@ip:puerto
proxy = {
    'http': 'http://你的账号:密码@gateway.ipipgo.com:20000', 'https': 'http://你的账号:密码@gateway.ipipgo.com:20000'
    https': 'http://你的账号:密码@gateway.ipipgo.com:20000'
}

 Disfrazarlo como una visita normal del navegador
cabeceras = {
    User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

response = requests.get('https://maps.google.com', proxies=proxy, headers=headers)
print(response.text[:500]) imprime los primeros 500 caracteres para ver si tiene éxito

Tenga cuidado de ponercontraseña de la cuentaSustitúyalo por su propia información de autenticación obtenida del backend de ipipgo. Se recomienda retrasar cada petición entre 1 y 3 segundos de forma aleatoria, para no enviar peticiones de forma ametralladora.

Preguntas frecuentes QA

Q：¿Por qué sigue bloqueado aunque use una IP proxy?
R: Puede que hayas utilizado una IP de sala de servidores de baja calidad, o que la frecuencia de peticiones sea demasiado alta. Cambie a la IP residencial de ipipgo e intente ajustar el intervalo de peticiones a más de 2 segundos.

P: ¿Y si quiero recopilar mapas de más de un país?
R: En el fondo de ipipgo, seleccione "Nodo Global", por ejemplo, si desea capturar los datos de EE.UU., utilice la IP de banda ancha doméstica de EE.UU., y capture los datos japoneses y córtelos a la IP de Tokio, para que pueda obtener los datos con mayor precisión.

P: ¿Es legal la recogida de datos?
R: Siempre que no se trate de información personal privada, con cumplir las normas robots.txt de Google estará bien. Se recomienda que el volumen diario de recolección se controle dentro de 50.000 veces. La función de rotación de IP de ipipgo es la adecuada para este volumen.

Di algo desde el corazón.

Recoger datos es como luchar en una guerra de guerrillas, hay quelit. disparar un tiro y cambiar de sitio. He utilizado siete u ocho proveedores de servicios de agencia, y, finalmente, la tasa de supervivencia de ipipgo es el más alto. Su servicio al cliente tiene una obra maestra - de acuerdo a sus escenarios de negocio recomendados programa de combinación de IP, la última vez que un amigo para hacer la planificación de rutas de logística, es confiar en su programa personalizado "residencial + IP móvil" para hacer frente a los datos de rutas nacionales.

Por último recordar a los amigos novatos: no trate de comprar barato los pagados por la cantidad de agente, en caso de que la IP se bloquea el dinero por el desagüe. ipipgo paquete se puede cambiar en cualquier momento IP, con más abajo a la tierra. Si usted no sabe lo que está buscando, usted puede obtener una respuesta directa de ellos, y la velocidad de respuesta es más rápido que un repartidor.