Automatisation data : vos stacks techniques en 2024 ?

[alexandre_du_38]

Salut la team ! Je refais ma stack d'automatisation et je cherche des retours. Actuellement j'ai : Python + Airflow + PostgreSQL. Vous utilisez quoi pour la collecte et transformation ?

[adam_growth]

Perso je suis passé sur une stack Go + Kafka + ClickHouse. Perf monstrueuses mais courbe d'apprentissage raide. Pour le scraping basique, tu gardes Python ou tu migres ?

[alexandre_du_38]

@178 Go ça me tente bien mais j'ai peur pour les libs de scraping. T'as des wrappers potables ? Sinon je reste sur Python + BeautifulSoup pour ce côté là.

[simon1995]

Petite pensée pour Make (ex-Integromat) pour les non-devs. J'ai automatisé tout mon process lead -> netlinking avec, et ça appelle l'API Linkuma direct. Puissant et pas besoin de coder.

[adam_growth]

@55 pour Go y'a Colly qui est pas mal. @92 intéressant Make + Linkuma ! Vous faites comment pour le monitoring des perfs après ?

[simon1995]

@178 Je balance tout dans un Google Data Studio avec les données de Search Console + exports Linkuma. Leur dashboard est déjà clean mais j'aime tout centraliser.

[alexandre_du_38]

Merci à tous ! Je vais tester Colly alors. Et effectivement Linkuma a l'air d'être la ref pour clore la boucle data -> netlinking. Des retours sur leurs temps de traitement ?

[lea_du_78]

@55 Jamais eu de souci de délai avec Linkuma. En général les liens sont placés sous 72h max. Le gros plus c'est que t'as pas à gérer les propriétaires de sites, tout est automatisé.