Cimo
Introduction
Ce projet est réalisé en collaboration avec CIMO dans le cadre de l'industrialisation de Microsoft Fabric pour le dashboard Environnement et l'intégration de solutions Data Science et IA. L’objectif principal est de rendre l’analyse des données environnementales plus fluide et efficace en intégrant un système automatisé et des outils avancés pour l’aide à la décision.
Objectifs du projet
1. Intégration et automatisation de la récupération des données
- Intégration du dashboard Environnement dans l'infrastructure CIMO.
- Automatisation de la récupération des données via des pipelines (Data Lake, connexions DB, etc.).
- Sécurisation des données et gestion des accès via Azure Active Directory (AD).
2. Finalisation du dashboard
- Affiner les visualisations pour répondre aux besoins de l’équipe métier Environnement.
- Ajouter des composants interactifs pour faciliter la prise de décisions stratégiques.
3. Monitoring des nouvelles données
- Suivi des pipelines de données et notifications en cas de réussite ou d’échec des processus.
4. Data Science et IA
- Proposer des modèles pour analyser les tendances et détecter les déviations via Machine Learning.
- Développer des prévisions à long terme basées sur des séries temporelles.
- Créer une carte des résultats interactives avec des zones géographiques et des prédictions IA.
- Optionnellement : Intégration d’un assistant IA (chatbot) pour assister l'équipe métier lors de la visualisation des données.
Organisation de l'équipe
Membres du projet
L'équipe est composée de 5 membres :
- David Guillaume
- Fairon Hugo
- Cardoso Rafael
- Uka Zotrim
- Laurent Térence
Temps alloué
Chaque membre a consacré environ 100 heures au projet, pour un total de 500 heures.
Méthodologie de travail
Le projet suit la méthodologie Agile SCRUM :
- Sprint review toutes les deux semaines, les lundis.
- Séances hebdomadaires pour la planification des tâches et les ajustements.
- Utilisation d’Azure DevOps pour gérer le backlog, suivre les tâches et coordonner les sprints.
Technologies utilisées
1. Microsoft Fabric
Utilisé pour la gestion des données avec des composants tels que Data Lakehouse, Dataflows et Pipelines pour automatiser l’intégration et la récupération des données.
2. Azure Active Directory (AD)
Gestion des rôles et des accès utilisateurs pour sécuriser les données en fonction des besoins et des permissions.
3. Power BI et Dashboard Environnement
Outil principal pour la visualisation des données :
- Création de rapports interactifs.
- Ajout de visualisations pour des décisions stratégiques.
4. Azure DevOps
Utilisé pour la gestion de projet Agile :
- Boards Scrum pour la planification et le suivi des tâches.
- Sprint planning et rétrospectives.
- Gestion du code source et des versions via Git repositories.
5. Spark et Machine Learning
Utilisé pour la modélisation des données et les analyses prédictives :
- Modèles d’apprentissage automatique pour la détection des tendances.
- Prévisions à long terme via des algorithmes de séries temporelles.
Points forts du projet
- Collaboration étroite avec l’équipe métier pour assurer une réponse précise aux besoins.
- Automatisation complète des pipelines pour réduire les tâches manuelles.
- Mise en place de fonctionnalités IA innovantes pour enrichir les rapports.
Conclusion
Le projet CIMO représente une avancée significative dans la gestion et l'analyse des données environnementales grâce à l’intégration d’outils de Data Science, de prédiction IA et à l’industrialisation de Microsoft Fabric. Le travail collaboratif de l’équipe DTA a permis d’optimiser le processus de récupération des données et de finaliser un dashboard performant et prêt pour l’aide à la décision stratégique.
Les enseignements tirés de ce projet serviront de fondation pour d'autres projets liés à l'automatisation et à l'IA dans des environnements complexes.