Quelle solution pour scraper des données de sites sans se faire bloquer ?

[nono]

Salut à tous, je cherche une solution efficace pour scraper des données sur des sites e-commerce sans me faire ban. J'ai testé Scrapy mais je me fais détecter assez vite. Des retours d'expérience ?

[lucas59]

Perso j'utilise Puppeteer avec des proxies rotatifs. Ça marche plutôt bien mais faut ajuster les délais entre les requêtes. Et toi @42, t'as essayé avec des headers randomisés ?

[jules_du_31]

Je plussoie pour les proxies rotatifs. J'ajoute un petit script pour faire varier la résolution et le user-agent automatiquement. Par contre, niveau perf, c'est pas ouf...

[outboundking75]

Vous connaissez Octoparse ? C'est no-code et ça gère bien le bypass anti-bot. Un peu cher mais ça vaut le coup si t'as un gros volume.

[nono]

Merci pour les tips ! Je vais tester Puppeteer + proxies. @23 Octoparse j'y avais pas pensé, je regarde ça. Sinon pour le netlinking après, vous passez par Linkuma ou autre chose ?

[lucas59]

Linkuma clairement. Leur réseau est énorme et t'as pas besoin de t'embêter avec des abonnements. Pour du scrapping + netlinking propre, c'est le combo gagnant.