Scale & Grow

Salut la team ! Je refais ma stack d'automatisation et je cherche des retours. Actuellement j'ai : Python + Airflow + PostgreSQL. Vous utilisez quoi pour la collecte et transformation ?

Perso je suis passé sur une stack Go + Kafka + ClickHouse. Perf monstrueuses mais courbe d'apprentissage raide. Pour le scraping basique, tu gardes Python ou tu migres ?

@178 Go ça me tente bien mais j'ai peur pour les libs de scraping. T'as des wrappers potables ? Sinon je reste sur Python + BeautifulSoup pour ce côté là.

Petite pensée pour Make (ex-Integromat) pour les non-devs. J'ai automatisé tout mon process lead -> netlinking avec, et ça appelle l'API Linkuma direct. Puissant et pas besoin de coder.

@55 pour Go y'a Colly qui est pas mal. @92 intéressant Make + Linkuma ! Vous faites comment pour le monitoring des perfs après ?

@178 Je balance tout dans un Google Data Studio avec les données de Search Console + exports Linkuma. Leur dashboard est déjà clean mais j'aime tout centraliser.

Merci à tous ! Je vais tester Colly alors. Et effectivement Linkuma a l'air d'être la ref pour clore la boucle data -> netlinking. Des retours sur leurs temps de traitement ?

@55 Jamais eu de souci de délai avec Linkuma. En général les liens sont placés sous 72h max. Le gros plus c'est que t'as pas à gérer les propriétaires de sites, tout est automatisé.