Solución de bajo coste: VPS construir crawler proxy IP pool (Python práctica)

En primer lugar, ¿por qué debería lanzar mi propio grupo de IP proxy?

Comprometido en el rastreo de los conductores de edad entender, proxy IP libre es como un puesto de carretera aperitivo - comer fragante, pero fácil a la diarrea. O bien la velocidad está atascado en PPT, o cuando se utiliza, de repente se convierte encolgar (un teléfono)La mejor forma de hacerlo es crear su propia red de agentes, que es como tener una cocina en casa. Crear tu propio pool de agentes es como tener una pequeña cocina en casa, con costes controlados e ingredientes frescos.

Hace poco ayudé a un amigo a utilizarAliCloud 2-core 2G burst energy instance(La cuota anual es de menos de 300 yuanes) construido un funcionamiento estable de la piscina de proxy, la prueba real puede manejar 50.000 + solicitudes por día. La clave es que usted no tiene que ir en busca de IPs libres todos los días, y el tiempo que se ahorra a tirones un par de juegos no huele bien?

En segundo lugar, VPS compra anti-pit guía

No te fijes sólo en el precio a la hora de elegir un VPS, estos son los parámetros que debes vigilar:

Probado y comprobadoLos AngelesLa máquina es la más rentable, se recomienda elegir la arquitectura KVM, no toque los negocios serios sobrevendido. Aquí secretamente decir un truco: muchos comerciantes VPS primer mes precio especial, puede woolgathering en el cambio de número (no dicen que enseño).

III. Servicios prácticos de agente instalador

recomendadoCalamarAl tratarse de un servidor proxy, la configuración es tan sencilla como construir bloques:

 Instalar squid (Ubuntu como ejemplo)
sudo apt-get install squid -y

 Modificar el archivo de configuración
sudo nano /etc/squid/squid.conf
 Añade estas dos líneas
http_access allow all
http_puerto 3128

 Reinicie el servicio
sudo systemctl restart squid

En este punto tu VPS ya es un servidor proxy desnudo. Pero esto se expone directamente a la red pública, y usted será barrido en el aislamiento autoimpuesto en cuestión de minutos. Usted necesita agregar unAutenticación de listas blancas de IP::

 Creación de un archivo de contraseñas
sudo touch /etc/squid/passwd
sudo chown proxy /etc/squid/passwd

 Añadir usuario (sustituye tu_contraseña por la tuya)
sudo htpasswd /etc/squid/passwd ipipgo_user

 Modificar la configuración de squid para añadir:
auth_param basic programme /usr/lib/squid/basic_ncsa_auth /etc/squid/passwd
acl auth_users proxy_auth REQUERIDO
http_access allow auth_users

En cuarto lugar, Python crawler acceso al combate real

Para implementar el sondeo de proxy con la biblioteca requests, he aquí un métodoConsejos antiprohibiciónSelecciona aleatoriamente una IP de salida diferente para cada solicitud.

importar aleatorio
importar solicitudes

 Reemplace esto con la información de su propio VPS
proxies = [
    "http://user1:pass1@vps1_ip:3128", "http://user1:pass1@vps2_ip:3128", "http://user1:pass1@vps2_ip:3128",
    "http://user2:pass2@vps2_ip:3128", ...
    ... Añadir más proxies
]

def smart_request(url).
    probar.
        proxy = random.choice(proxies)
        response = requests.get(url,
            proxies={"http": proxy, "https": proxy}, timeout=10)
            timeout=10)
        return response.text
    except Exception as e.
        print(f"{proxy} colgado, ¡pasa al siguiente!")
        return smart_request(url) auto-retry

Si le resulta demasiado engorroso mantener su propio VPS, vaya directamente alServicios proxy para ipipgoMenos complicaciones. El acceso a su API es muy sencillo:

 Obtener proxy dinámico de ipipgo (recuerde sustituir API_KEY)
importar peticiones

def obtener_ipipgo_proxy():
    api_url = "https://api.ipipgo.com/get?key=YOUR_API_KEY"
    return requests.get(api_url).text

 Ejemplo de uso
proxy = get_ipipgo_proxy()
requests.get("url de destino", proxies={"http": proxy})

V. Manual de desminado de problemas comunes

P: ¿Cuánto cuesta construir mi propia piscina de agentes?
¡R: VPS cuota anual de alrededor de 300 + ipipgo suplemento IP (9,9 / 10.000 solicitudes), más barato que usar un proxy dedicado más de la mitad!

P: ¿Qué debo hacer si mi agente es lento?
R: ① comprobar si el ancho de banda del VPS se ejecuta completo ② utilizar ipipgo's.canal de alta velocidadnodo ③ Reducir el número de handshakes SSL.

P: ¿Qué debo hacer si me siguen bloqueando la IP?
R: tres trucos: ① User-Agent aleatorio por petición ② controlar la frecuencia de acceso ③ utilizar ipipgo's.agente comercial(incluye sustitución automática de IP)

VI. Mantenimiento de las operaciones de pacotilla del fondo de apoderados

1. Cada día por la mañana tempranoreinicio automáticoservicio squid (para evitar pérdidas de memoria)
2. Utilice crontab para comprobar la supervivencia de los agentes a intervalos regulares:

 Script de detección de supervivencia
¡! /bin/bash
if curl -x "http://你的代理" --retry 2 -m 10 ipipgo.com/check > /dev/null; then
    echo "Proxy vivo"
else
    echo "¡Proxy colgado!" | mail -s "Alarma" su buzón de correo
mail -s "Alarm" your mailbox

3. Cuando se encuentren centros de destino prioritarios, se recomienda llamarlos directamente.PI exclusiva para ipipgoLa estabilidad despega a medida que una IP se dedica a un servicio.

Por último, una gran verdad: mantener su propio fondo de agentes es como tener una mascota, lleva tiempo cuidarla. Si está haciendo mucho negocio, sigue siendo recomendable utilizaragentes de nivel comercial del ipipgoTienen un equipo profesional para mantener la piscina IP, sino también con la conmutación inteligente y las estadísticas de solicitud, que su propio plegamiento mucho más preocupación. Se aconseja a los novatos a utilizar suPaquete de prueba gratuitoExperimente lo suaves que pueden ser los servicios de una agencia profesional.