Etsy Crawler: Obtención automática de datos de productos de Etsy

No seas cabeza de hierro cuando se trata de datos de Etsy. Descubre por qué tu IP está siempre bloqueada.

Recientemente, una gran cantidad de amigos de comercio electrónico transfronterizo se quejó a mí, diciendo que el uso de secuencias de comandos para subir los datos de los productos básicos Etsy es como rebotar en un campo de minas, no se mueve para desencadenar la prohibición. De hecho, esta cosa realmente no culpar a la plataforma despiadada, pensar en ello, si alguien con un altavoz en frente de su tienda 24 horas gritando los precios, se puede soportar?

Aquí viene el punto:El mecanismo anti rastreo de Etsy se dirige específicamente a las IP de solicitud de alta frecuencia para poner las cosas en marchaObtendrás un error 403 en menos de media hora. Suponiendo que te bombardeen con la IP de tu propio servidor, te garantizamos que obtendrás un error 403 en menos de media hora. Lo que es peor, una vez que la IP es marcada, la cuenta puede ser restringida.

Elegir una IP proxy es como comprar marisco, vive bien y úsalo durante mucho tiempo.

Hay dos tipos principales de IP proxy en el mercado, utilicemos la analogía del mercado de alimentos:

Aquí tiene una presentación de nuestros productosProxy dinámico residencial para ipipgoSu reserva de IP se actualiza automáticamente todos los días, de forma similar a como se abastece un mercado de marisco a altas horas de la madrugada, para garantizar que cada solicitud se realiza con una IP limpia a nivel de usuario real.

Sin duda, puedes construir una oruga que no vuelque.

Para usar una castaña en Python, sólo hay tres cosas en el núcleo:Intervalo aleatorio + Encabezado de solicitud camuflado + Rotación del proxy. Mira la sección Configuración del proxy:

importar solicitudes
import random
from tiempo import dormir

proxies = {
    http: http://user:pass@gateway.ipipgo.io:8000, https: http://user:pass@gateway.ipipgo.io:8000
    https: http://user:pass@gateway.ipipgo.io:8000
}

headers_list = [
    {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0)...'} ,
    {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel...'}
]

def scrape_etsy(url): {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel...'} ]
    def scrape_etsy(url): try: response = requests.get()
        respuesta = requests.get(
            url, headers=random.choice(headers_list), headers_list
            encabezados=random.choice(lista_encabezados),
            headers=random.choice(headers_list), proxies=proxies,
            tiempo de espera=10
        )
        sleep(random.uniform(1.5, 3.5)) no usar intervalo fijo
        return respuesta.texto
    except Exception as e.
        print(f'Error de rastreo: {str(e)}')

Lo más destacado:
1. En la dirección del proxypasarela.ipipgo.ioEs su entrada exclusiva.
2. Seleccione aleatoriamente el User-Agent antes de cada petición, no utilice la librería fake_useragent (será el objetivo del anti-crawler).
3. 时间用浮点数，模拟真人操作节奏

Guía del conductor veterano para evitar trampas

Estas lecciones de sangre te vendrán muy bien:
- No recopile datos entre las 3 y las 6 de la mañana, cuando las anomalías del tráfico son más evidentes.
- No te pelees con CAPTCHA, desactiva la IP actual inmediatamente (el backend de ipipgo puede cambiar la IP con un click).
- El intervalo de rastreo de la página de detalles del producto es mayor que el de la página de lista 30%
- Cambie las combinaciones de parámetros del encabezado de la solicitud una vez a la semana, no utilice una configuración para todo el tiempo

Tiempo de control de calidad: lo que puede preguntar

P: ¿Utilizar una IP proxy reducirá la velocidad?
A：这得看代理质量，像ipipgo的节点自带智能路由，实测能控制在200ms以内，比某些免费代理快10倍不止。

P: ¿Se puede resucitar una IP bloqueada?
R: proxy residencial generalmente fresco 24 horas va a funcionar, pero se recomienda cambiar directamente la nueva IP. paquetes de ipipgo vienen con una función de reemplazo automático, que se bloquea inmediatamente cambiar.

P: ¿Tengo que mantener mi propio grupo de IP?
R: ¡Nunca! Hacer piscina IP por sí mismo es como mantener un tanque de peces tropicales, la temperatura y la calidad del agua son de qué preocuparse. Cosas profesionales a ipipgo este tipo de proveedor de servicios, su piscina IP actualiza automáticamente todos los días 20% IP arriba.

Un último comentario:Recoger datos es como una guerra de guerrillasNo utilices siempre rutinas fijas. Prepara algunas estrategias de captura más, con un servicio proxy IP fiable (como ipipgo), para reír el último en este juego del gato y el ratón. Si tienes alguna pregunta específica, no dudes en preguntar, ¡y nos vemos en la sección de comentarios!