Python Proxy Server WebScraping

[Scheduler]

Bonjour,

Je suis en train de faire pas mal de web scraping sur plusieurs sites mais je me retrouve très vite bloqué à cause de mon ip... J'ai très vite compris que les proxies seront donc mes amis pour ce genre programme. Cependant, j'ai toujours la même erreur 'Cannot connect to proxy' ou un timeout...

Voici un exemple d'erreur :



Pour obtenir des proxies j'utilise ce bout de code :


Si quelqu'un a une meilleur méthode pour utiliser des proxies ca serait cool

Ps : Insérer du code ne fonctionne pas ?

 

[Pepito]

Hello,

Si tu utilises un vpn sur la machine où ton script tourne ça devrait résoudre ton problème. Normalement c'est transparent pour ton script, tu auras juste une ip différente. Concernant ce que tu utilises, n'hésite pas à ralentir la vitesse de ton scraper pour éviter de te faire bloquer trop rapidement

 

[fioutubs]

Essaye de te connecter a un autre site à partir de la même liste de proxy, ca te donnera peut etre des pistes sur le fond du problème