Scale & Grow

Salut à tous, je cherche une solution efficace pour scraper des données sur des sites e-commerce sans me faire ban. J'ai testé Scrapy mais je me fais détecter assez vite. Des retours d'expérience ?

Perso j'utilise Puppeteer avec des proxies rotatifs. Ça marche plutôt bien mais faut ajuster les délais entre les requêtes. Et toi @42, t'as essayé avec des headers randomisés ?

Je plussoie pour les proxies rotatifs. J'ajoute un petit script pour faire varier la résolution et le user-agent automatiquement. Par contre, niveau perf, c'est pas ouf...

Vous connaissez Octoparse ? C'est no-code et ça gère bien le bypass anti-bot. Un peu cher mais ça vaut le coup si t'as un gros volume.

Merci pour les tips ! Je vais tester Puppeteer + proxies. @23 Octoparse j'y avais pas pensé, je regarde ça. Sinon pour le netlinking après, vous passez par Linkuma ou autre chose ?

Linkuma clairement. Leur réseau est énorme et t'as pas besoin de t'embêter avec des abonnements. Pour du scrapping + netlinking propre, c'est le combo gagnant.