¿Qué diablos es la huella digital del navegador? Cuando navegamos por Internet, los sitios web no sólo recuerdan las direcciones IP, sino que también recopilan en secreto docenas de características del dispositivo. Por ejemplo, el tamaño de la ventana del navegador, la fuente del sistema, el modelo de tarjeta gráfica, etc., juntos pueden generar una huella digital única del dispositivo. Lo que es aún mejor es que Canvas y WebGL ...

¿Por qué se bloquea siempre el login state crawler? En primer lugar encontrar sus propios problemas Los que han participado en el rastreador de hierro viejo sabe que el mantenimiento del estado de inicio de sesión es un pozo sin fondo. Ayer fue una buena cookie, hoy de repente falló, acaba de construir un buen grupo de sesiones, media hora por la marca de control de viento sitio. En este momento no se apresure a regañar a la plataforma, la primera mirada a su propia es ...

¿Por qué necesito una IP proxy para las fuentes de datos que cumplen la ley? Hoy en día, las empresas se dedican a la recopilación de datos como si recogieran verduras frescas en el mercado, lo cual es rápido y preciso, y lo más importante es cumplir la ley. Aunque es bueno utilizar las API de bases de datos públicas, muchas plataformas han establecido restricciones de acceso: como los supermercados que limitan las compras, la misma IP accede con frecuencia a...

¿Por qué a los rastreadores siempre les dan pellizcos los sitios web? Crawler veteranos entienden que el mayor dolor de cabeza es el sitio de repente te dan una cara. Obviamente, el código está bien escrito, los resultados del registro de repente apareció un montón de 403, 429, esta vez es el momento de sacar una lupa para ver el registro. Pero comprobar manualmente el registro es como una aguja en un pajar, sobre todo con un I...

En primer lugar, cuando el posicionamiento de datos se encuentra con la piscina IP dinámica Las personas de hierro viejo que se dedican a la captura de datos saben que la estructura de la página web cambia todos los días como el temperamento de una novia. En este momento, el selector XPath y CSS es su pin, pero hay un problema lamentable - el mecanismo anti-escalada del sitio de destino recordará su IP. esta vez en el ipipgo...

Cuando el rastreador se encuentra con el atasco de tráfico: el salvador de solicitud asíncrona para participar en el rastreo hermanos y hermanas deben haber encontrado este escenario: obviamente para atrapar a millones de datos, los resultados del programa corrió como una vaca vieja tirando de un coche roto. En este momento es el momento de salir de la herramienta mágica asíncrono aiohttp, pero la herramienta no es suficiente, tenemos que coincidir con nuestra generación ipipgo ...

¿Qué hacer cuando proxy IP piscinas golpeó millones de datos? Los amigos que han participado en proxy IP piscinas deben entender que cada vez que la dirección IP se captura de nuevo como la col en el mercado - una gran cantidad de tubería suficiente, pero repitió más. La semana pasada, un anciano dijo que utilizó la base de datos tradicional de-duplicación, el resultado de millones de datos directamente pegado en el PPT. esta vez debe ser ...

Cuando el rastreador golpeó la actualización del sitio: los años cayeron a través del pozo Hacer el hierro viejo de captura de datos saben que el más aplastante no es escribir el código, pero para encontrar la actualización del contenido del sitio, su arduo trabajo para capturar los datos al instante se convierten en papel de desecho. La semana pasada, acaba de agarrar el precio del comercio electrónico, esta semana todo cambió, la colección de ayer de información de noticias, hoy...

Cuando el rastreador golpeó el anti-escalada: ¿por qué su interfaz SERP siempre se caen de la cadena? Zhang de edad, que hace la recopilación de datos, recientemente tuvo un dolor de cabeza especial, y el software de comparación de precios desarrollado por su empresa siempre fue pellizcado al llamar a la interfaz del motor de búsqueda. El mes pasado acaba de comprar 100.000 veces la cuota de la API, el uso real de menos de 30.000 veces para activar el control del viento, el dinero todo golpeó el agua ...