En primer lugar, ¿para qué sirven diez millones de datos proxy IP almacenados? ¿Por qué tenemos que optimizar? Hacemos rastreadores hermano entender, manos sin millones de proxy IP se avergüenzan de salir. Pero realmente guardado al nivel de diez millones, el problema viene - base de datos ordinaria directamente colapsar a usted. Hace dos días, un viejo hierro me dijo que utilizan M ...

Cuando la granja CAPTCHA cumple con el proxy IP: la ley de la supervivencia no puede ser eludida Hermanos comprometidos en el reconocimiento CAPTCHA de esta línea entender que la máquina está abierta, la inundación CAPTCHA. ¡Esta vez el más miedo de qué, IP está marcado! Por la mañana sólo la depuración de una buena interfaz, la tarde fue el sitio de destino negro, este dolor es como comer fideos sin condimentos paquetes. ...

En primer lugar, ¿por qué los rastreadores recursivos tienen que utilizar IP proxy? Participó en el rastreo de datos saben, enlaces de paginación y páginas profundas como muñecas rusas de anidación, una capa de una capa simplemente no puede parar. Si utiliza su propia IP local sólo duro, será el sitio de destino negro en cuestión de minutos - especialmente los datos de precios de la plataforma de comercio electrónico, ...

¿Cómo diablos gira esta cosa? El hierro viejo que ha participado en el rastreador todos entienden que la IP está bloqueado como comer se ahoga tan difícil. Distribuido sistema de rotación de IP es para decirlo sin rodeos al programa instalado un arma mágica para cambiar automáticamente la armadura de caballo, como jugar un juego para abrir la resurrección ilimitada colgar. Vamos a dividir el código fuente para ver el núcleo de las tres piezas principales: la gestión de la piscina IP ...

Cuando el rastreador golpea el mecanismo anti-escalada Haciendo amigos de rastreo de datos deben haber experimentado un escenario de este tipo: sólo tiene que ejecutar a través de la secuencia de comandos de rastreo, al día siguiente en el sitio de destino para recibir un error 403. El mecanismo anti-escalada es como un resorte, más usted es feroz, más fuerte es. En este momento, rastreador distribuido + proxy IP combo puñetazo, como al rastreador cargado con el Almirantazgo ...

Cuando el rastreador se encuentra con el fuego: ¿por qué su IP proxy de repente falló? Amigos que participan en el rastreo de datos han experimentado esta situación: obviamente cambiado una docena de IP de proxy, el sitio de destino todavía puede identificar con precisión su rastreador. ¡En este momento, usted puede maldecir: "Este sitio web roto defensa anti-reptil con la bóveda! &#82...

Las huellas del navegador son más difíciles de ocultar que el DNI. Todos sabemos que para vaciar el carrito de la compra, pero muchas personas no saben que cada vez que se abre una página web en el fondo para dejar un "DNI electrónico". Esta cosa llamada huellas dactilares del navegador, a través de las fuentes de su ordenador, zonas horarias, resolución de pantalla de estos veinte...

Cuando el grupo de proxy de repente minado, ¿qué debe hacer? Participó en la recopilación de datos amigos han experimentado este tipo de desesperación: tres de la mañana las secuencias de comandos funcionan bien, de repente todo el proxy huelga colectiva IP, al día siguiente el jefe miró a la base de datos vacía que decir. En este momento, si se conoce el mecanismo de fusión de proxy, es lo mismo que dar el programa sobre el seguro ...

Cuando el rastreador se encuentra con anti-escalada: ¿cómo romper este juego del gato y el ratón? Hacer amigos rastreo de datos han encontrado recientemente que las medidas anti-escalada del sitio cada vez más "ladrón de gallinas". En el pasado, con una IP fija todavía se puede mezclar durante unos días, y ahora sólo rastrear media hora para ser bloqueado. Esta vez tenemos que salir de nuestro asesino - proxy IP. pero ...