Datos federales: Guía para descargar conjuntos de datos abiertos del Gobierno de EE.UU.

¿Cómo obtengo datos federales? Averigüemos qué es una IP proxy.

Recientemente, muchos amigos me pidieron conjuntos de datos públicos del gobierno de EE.UU., lo que el censo, los registros climáticos, los datos de tráfico y así sucesivamente. Pero en la práctica, muchas personas están atrapadas en el primer paso - el sitio no se puede abrir o descargar límite de velocidad. Esta vez tenemos que salir de nuestro "motor de red" - IP proxy.

Por poner un ejemplo real, el año pasado un amigo que realizaba una investigación en ciencias sociales quiso bajar los datos sobre epidemias de los CDC, y durante tres días seguidos se quedó atascado en la página de validación. Más tarde, cambió aIP residencial dinámica para ipipgoes como estar encendido, los paquetes se caen. Aquí está la pizarra para golpear:Las IP fijas son fáciles de identificar, rotar las IP es el camino a seguir.

Los tres grandes pozos de la elección de proxy IP, 90% personas han caído a través de

Hay todo tipo de servicios proxy en el mercado, pero hay que tener cuidado con los datos gubernamentales. Empecemos con tres campos de minas comunes:

Como curiosidad, comparé 7 u 8 proveedores de servicios y acabé cerrandoipipgoLa razón es muy sencilla: su reserva de IP es lo suficientemente grande como para descargar 20 GB de imágenes de satélite de data.gov a una velocidad de 8 MB/s, es decir, más de tres veces más rápido que algunas de las llamadas "de clase empresarial".

Manos a la obra en la captura de datos federales con ipipgo

¿Cómo funciona? Hagámoslo en cuatro pasos:

1. Seleccione el paquete "US Residential IP" en el back office de ipipgo.
2. Introduce la clave API en el script de descarga (utiliza su cliente estándar si no sabes programar).
3. Configurar el cambio automático de IP cada 10 minutos
4. Abrir un hilo multihilo y sugerir no más de 5 concurrencias

Centrarse en el tercer paso, muchas personas sienten que el cambio frecuente de IP problemas. De hecho, con el modo de rotación inteligente de ipipgo, el sistema se ajustará automáticamente según la respuesta del sitio, mucho más estable que la operación manual. La semana pasada, yo estaba ayudando a un laboratorio de la universidad con los datos climáticos de la NASA, y la descarga se prolongó durante 48 horas sin descanso.

Preguntas frecuentes

P: ¿Qué debo hacer si me desconecto en mitad de la descarga?
R: Seleccione la herramienta que soporte transmisión continua, el cliente ipipgo viene con esta característica, pro-test desconecta y reconecta ¡hasta 3 segundos!

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: ¡No lo hagas sin más! Cambia inmediatamente de IP, la API de ipipgo soporta reintentos automáticos en caso de fallo, ¡10 veces más rápido que introducir manualmente el captcha!

P: ¿Y si quiero colocar varios conjuntos de datos al mismo tiempo?
R: Utilice pools de IPs para desviar diferentes tareas a diferentes IPs de salida. ipipgo soporta hasta 500 sesiones concurrentes, lo que es suficiente para hacer frente a proyectos pequeños y medianos.

¿Por qué los pájaros viejos adoran el ipipgo?

Por último, para ser sinceros, no se fije en los anuncios, fíjese en los resultados. ipipgo tiene tres características demoledoras:IP residencial real(Del tipo que comprueba WHOIS),Ancho de banda dedicado(No robará la velocidad de Internet a tus vecinos),Enrutamiento inteligente(Seleccionar automáticamente la línea óptima). Especialmente su nuevo paquete especial de recopilación de datos, directamente en los sitios web gubernamentales de uso común plantillas preestablecidas, blanco también puede ser una clave para empezar a jugar.

Al fin y al cabo, ponerse manos a la obra con los datos federales es un trabajo de resistencia. Una vez elegidas las herramientas adecuadas, sólo queda prepararse un café y esperar a que se depositen los datos. La próxima vez que te quedes atascado en el proceso de descarga, recuerda probar este truco: utiliza una buena IP proxy.