En primer lugar, no robots.txt como una configuración - primero averiguar las reglas de los hermanos del sitio que participan en el rastreo de rastreadores han visto que yacía en el directorio raíz del archivo txt sitio, pero realmente tomarlo en serio no pocos. Como ir a la casa de alguien como invitado, la manija de la puerta cuelga en el "por favor, cambie las zapatillas", usted tiene que usar zapatos de barro a la sala de estar, ...

¿Qué es un proxy inverso? Muchos amigos se han encontrado con esta situación: sus propios servidores se esconden detrás del cortafuegos de la empresa, la extranet no se puede conectar. En este momento, el proxy de conexión inversa es muy útil, en términos humanos, es dejar que el equipo de intranet para tomar la iniciativa de buscar el servidor de extranet "reconocer a sus familiares", el fuego no se detendrá ...

cURL to Python: Practical Tips to Make Web Requests Smarter Muchos amigos que se dedican al rastreo de datos se han encontrado con esta situación embarazosa: los comandos cURL depurados en la línea de comandos tienen que empezar de cero al integrarlos en un proyecto Python. Hoy vamos a hablar de cómo migrar estos comandos sin dolor, y desbloquear el proxy I...

Cuando un blanco toca por primera vez un agente SOCKS5, ¿qué puede hacer exactamente? Apuesto a que el cerebro de 80% se confundió la primera vez que oyó hablar del proxy SOCKS5. Esta cosa no es tan sencilla como un agente normal, pero utilizarlo en el lugar adecuado es sencillamente como ahorcarse. Para citar una castaña, hacer el seguimiento de precios de comercio electrónico Zhang San, comparación de precios manual cansado en ...

Agente de Letonia en el final ¿de qué sirve? Recientemente, un número de amigos de comercio electrónico transfronterizo me pidió que hacer negocios en la Unión Europea siempre se encontró con páginas web de carga lenta, sistema de pago problema de retraso. En este momento las ventajas del servidor de Riga salió - es como el Mar Báltico en el borde de la construcción de una estación de transferencia urgente, los datos de este que alrededor de...

Manos a enseñar a utilizar cURL colgando proxy chicos que participan en el desarrollo de la red debe haber encontrado la necesidad de depurar la interfaz de la situación, ¿verdad? Esta vez cURL es sin duda un buen ayudante que no puede prescindir. Pero si te encuentras con algunos sitios para limitar el acceso, o la necesidad de simular las diferentes regiones del acceso de los usuarios, tenemos que sacar nuestra arma secreta - ...

Le enseñará a utilizar plug-ins del navegador para cortar el proxy IP en cuestión de segundos Recientemente, siempre hay internautas me preguntó, ¿por qué utilizar algunos sitios siempre se le pedirá "no en el área de servicio"? De hecho, esto es igual que usted va en un viaje de negocios, desea utilizar el número de teléfono móvil local para agarrar un billete, esta vez el proxy IP plug-in es su "generador de número local ...

Agente de rotación residencial en el final ¿cuál es el uso? Recientemente, un amigo siempre me preguntó, ¿por qué la cuenta de comercio electrónico está siempre bloqueado? ¿Cómo puede un rastreador siempre ser bloqueado por un sitio web? De hecho, estas cosas se pueden resolver con el agente de rotación residencial. Esta cosa es como un ordenador instalado con una máscara automática, cada vez que visite el sitio para cambiar un...

¿Cómo se agarran los usuarios reales a los datos de los cursos de Coursera? Hace poco, un amigo que se dedica a la investigación educativa vino a quejarse diciéndome que quería analizar por lotes los datos de valoración de los cursos de Coursera, pero el resultado fue que le bloquearon justo después de coger dos páginas de IP. Esta escena te resulta familiar, ¿verdad? Para decirlo sin rodeos, las plataformas están equipadas con un radar de control de viento inteligente, la misma IP de alta frecuencia de acceso directo la...