coloscan - extraire la donnée du web, proprement
Une plateforme pour transformer des pages web en données structurées, exploitables par API : tu définis ce que tu veux extraire, coloscan s'occupe du reste (crawl, extraction, livraison).
La problématique
Le défi à résoudre
Récupérer de la donnée depuis le web - prix, annonces, catalogues - reste un travail d'ingénieur : scripts fragiles, pages qui changent, anti-bot, mise à l'échelle. Les équipes métier n'ont pas accès simplement à cette donnée.
Notre solution
Comment nous avons résolu le problème
coloscan est une plateforme complète d'extraction : 🕸️ Définition des extractions via une interface web (Next.js) ⚙️ Une API (Hono) et des workers asynchrones pour crawler et extraire à l'échelle 📤 Livraison de données structurées, prêtes à consommer 💳 Gestion des comptes et facturation intégrée (Stripe) 🚀 File d'attente et cache (Redis), notifications par email (Resend)
- ✓ Interface web pour définir les extractions (Next.js)
- ✓ API et workers asynchrones pour crawler à l'échelle (Hono)
- ✓ Livraison de données structurées prêtes à consommer
- ✓ Comptes, authentification et facturation (Stripe)
- ✓ File d'attente et cache (Redis), notifications (Resend)
- ✓ Architecture monorepo Turborepo, validation typée (Zod)
Résultats
Impact concret et mesurable
En développement - MVP en cours
Architecture scalable : web + API + workers découplés
Facturation SaaS intégrée dès la conception (Stripe)
Monorepo TypeScript moderne (Turborepo, Zod)
Valeur business
Création de valeur pour l'entreprise
- → Rend accessible aux équipes métier une donnée réservée aux développeurs
- → Modèle SaaS récurrent (abonnement à l'usage)
- → Marché large : veille tarifaire, agrégation, enrichissement de données
- → Démontre la capacité à concevoir une plateforme SaaS complète, de l'infra à la facturation
Découvrez également