Étude de cas - Refonte du système d'ingestion de données IoT

Le défi

Le système d’ingestion des données IoT de Taqt avait évolué rapidement au fil des besoins produit.
En quelques années, la multiplication des types de devices, des versions de firmware et des opérateurs réseau a introduit de nombreuses règles spécifiques, rendant l’ensemble plus complexe à maintenir et plus risqué à faire évoluer.

Les flux de données entrants présentaient des formats hétérogènes, avec une partie de la logique métier directement intégrée aux traitements. Cette approche limitait la lisibilité du code, compliquait les tests et freinait la capacité de la plateforme à absorber de nouveaux usages et des volumes croissants de données.

Notre approche

Nous avons repensé l’ingestion des données comme une chaîne de traitement modulaire, extensible et découplée, en nous appuyant sur des principes issus du Domain-Driven Design (DDD) et sur une séparation claire des responsabilités.

Chaque donnée entrante est d’abord normalisée et validée via des DataFrames typés, représentant des structures métier explicites. Elle est ensuite traitée par une chaîne de responsabilité composée de handlers spécialisés, sélectionnés dynamiquement selon le type de borne, la version du firmware et le contexte réseau.

L’ensemble du traitement repose sur une architecture asynchrone basée sur des messages et des files de traitement, garantissant la résilience du système et sa capacité à monter en charge.

La solution mise en place

• Architecture d’ingestion unifiée pour l’ensemble des devices IoT
• Chaîne de responsabilité modulaire pour le traitement des flux
• Séparation claire entre validation, parsing et logique métier
• Support du multi-firmwares avec des évolutions sans breaking changes
• Traçabilité complète des données et des événements générés

Les résultats

Cette refonte a permis de consolider le socle technique de la plateforme tout en la préparant à de nouveaux usages et à l’augmentation progressive des volumes de données IoT.

Les équipes disposent désormais d’un système lisible, testable et facilement extensible, capable d’intégrer de nouveaux devices et de nouvelles règles métier sans remise en cause globale de l’architecture.