Les chambres départementales d'agriculture des Pays de la Loire disposent de fortes compétences en géomatique liées à la nécessité d'analyser, de comprendre et de gérer au mieux les territoires ruraux. Dans cette optique la chambre régionale s'est dotée en interne d'une base de données spatiale centralisée fonctionnant sous PostgreSQL / PostGIS. Cette dernière est dédiée au stockage et au traitement des informations relatives aux différents projets métier intégrant une dimension spatiale (observatoires, diagnostics territoriaux, etc.)
Afin de coller au mieux avec les pratiques des utilisateurs finaux (conseillers, chargés d'étude, etc.), la chambre a décidé de déployer un dispositif de saisie/consultation basé sur l'utilisation du couple « Qgis / Spatialite » ; les contraintes étant les suivantes :
- Possibilité de saisie/consultation en mode itinérant sur un PC Portable
- Dispositif limitant le temps de préparation lors des phases de déploiement de nouveaux projets, l'objectif étant de consacrer du temps à l'analyse des données plutôt qu'aux tâches de paramétrage du dispositif
Atol Conseils et Développements à accompagné cet organisme dans la mise en place de ce dispositif en établissant des mécanismes de synchronisation génériques basés sur l'utilisation de l'ETL Pentaho Data Intégration. Ces derniers prennent notamment en charge :
La génération de « packages QGis » à la demande
Les traitements permettent la génération dynamique de bases de données SQLite / Spatialite à partir de données et de métadonnées stockées en base centrale PostgreSQL / PostGIS. Le modèle de données relationnel est entièrement reconstitué dans la base SQLite, la structure de la base locale étant modifiée dynamiquement afin d'intégrer les prérequis liés à la synchronisation (clefs locales, traçabilité, etc.)
- Les données des tables de référentiel sont transmises afin d'alimenter notamment les listes déroulantes proposées dans les formulaire de saisie
- Le traitement intègre également les fichiers projets et extensions QGis établis par les utilisateurs gestionnaires des chambres (développements internes des interfaces de saisie).
Après traitement, l'utilisateur final dispose d'un « Package» lui permettant d'être directement opérationnel dans Qgis pour une saisie ou une consultation de données en lors de ces déplacements.
La consolidation des informations en base centrale
- Seules les informations nouvelles ou modifiées sont remontées dans PostgreSQL
- Un mécanisme de gestion d'erreurs alerte par mél les administrateurs en cas d'anomalie
Une synchronisation entre bases assurée par l'ETL Pentaho Data Integration
Les tâches réalisées par Atol Conseils et Développement ont notamment conduit à :
- Concevoir et réaliser des mécanismes de transposition générique de modèles de données évolués entre les systèmes PostgreSQL/PostGIS et SQLite/Spatialite
- Développer des extensions pour l'ETL Pentaho Data Integration pour l'alimentation ou l’extraction de données vers ou depuis Spatialite
Le challenge principal pour les équipes d'Atol a consisté à permettre à l'ETL Pentaho d'être en mesure de gérer des flux dynamiquement tout en prenant en compte certaines limitations liées à l'absence de fonctionnalités de SQLite (fonctions SQL absentes, contraintes, etc.). Par nature, les traitements ETL sont réalisés à partir de structures connues
Des améliorations envisagées
Même si le dispositif déployé en production et opérationnel, la chambre d'agriculture envisage de le compléter afin de rendre son utilisation encore plus souple. En effet, les traitements de génération et de synchronisation des bases locales étant actuellement déclenchés manuellement, la chambre d'agriculture envisage de se doter d'une interface web de pilotage permettant :
- A l'utilisateur final d'être complètement autonome en générant directement des
- Aux administrateur de mieux visualiser les conflits éventuels pouvant survenir sur les données (Ex tentative de mise à jour d'une ligne qui n'existe plus en base centrale)