Qualité des données : définition, enjeux, techniques d'amélioration

Par tradition, les entreprises investissent sur des campagnes de qualité de leurs données.

Cette stratégie, même si elle s’avère momentanément payante, reste néanmoins une solution de court-terme. Elle ne permet pas d’identifier les causes profondes de la non-qualité. Ces campagnes de mise en qualité demeurent davantage des « campagnes de redressement de la qualité ». De plus, dans la plupart des cas, cette solution palliative désynchronise la source avec le reste du SI.

La majorité de ces entreprises ne présente de stratégie bien définie autour du management de la qualité de la donnée. Sans rôles et responsabilités, ces entreprises ne sont pas assez armées pour déterminer des stratégies de qualité de la donnée. In fine, ces entreprises risquent d’investir massivement et régulièrement (financièrement, techniquement et humainement) dans ces campagnes. Et ce, sans de réels gains garantis sur le long terme.

Il est impératif de repenser la qualité de la donnée en prenant en compte la chaine de valeur de la donnée. Il est nécessaire de contrôler la donnée au cours de son parcours au sein de l’organisation :

de sa collecte,
de sa production,
de son transfert,
de son enrichissement et
même lors de son utilisation.

Accompagné d’une organisation et de process solides, les entreprises s’arment et s’assurent ainsi d’une meilleure maîtrise de la qualité de la donnée.

Qu’est-ce qu’une donnée de qualité ?

De manière théorique, une donnée est dite de qualité lorsqu’elle est conforme aux usages prévus dans les modes opératoires, les processus, les prises de décision, et la planification. Autrement dit, une donnée de qualité est une donnée utile, qui répond aux usages que l’on attend d’elle. Elle permet donc de répondre efficacement à l’atteinte d’objectifs opérationnels, décisionnels et stratégiques.

Quels sont les enjeux autour de la qualité des données ?

Le principal enjeu est de maîtriser l’évolutivité de la qualité de la donnée. La donnée est un asset « vivant » au sein d’une organisation. En effet, tout au long de son cycle de vie, la donnée est sujette à de nombreuses manipulations.

Cependant, la donnée doit répondre à des besoins métiers et objectifs business bien précis. Il est nécessaire de ne pas modifier la donnée pour éviter de dégrader sa qualité et in fine son usage. Les producteurs, les consommateurs et l’ensemble du système back-office et médiation, sont tous garants de la qualité de la donnée.

Dès lors qu’un traitement spécifique est nécessaire, il faut s’assurer que ce traitement réponde à des normes et standards attendus. C’est aussi pour cela qu’un autre enjeu pour l’organisation est de comprendre les usages de la donnée. Les organisations doivent investir dans des outils/techniques pour s’assurer de répondre aux différents usages de la donnée.

Cependant, ce travail de compréhension est une tâche de fond à répéter à intervalles réguliers. L’organisation devant s’adapter et évoluer, les usages de la donnée peuvent évoluer tout comme lorganisation elle-même.

Côté producteur, par exemple, un nouvel outil ou de nouvelles responsabilités peuvent impacter la manière dont est créée ou collectée la donnée. Il est impératif d’anticiper et d’analyser les éventuels impacts de ce type de changements, pouvant impacter la qualité de la donnée.

Côté consommateur, il en est de même. Au moment T, il paraît nécessaire que la donnée respecte un standard A. Néanmoins, lorsque le marché évolue, ou lorsque la stratégie de la société s’affine, redéfinir les standards de qualité est un bon réflexe à adopter pour éviter des écarts. Ainsi, l’organisation repense et réadapte la chaine de traitement de la donnée. En revanche, cette modification en profondeur doit s’accompagner de mise en place de contrôle qualité. pour s’assurer du maintien du bon niveau de qualité de la donnée.

L’organisation fait donc face à un enjeu de taille de management de qualité de la donnée. Pour cela, l’entreprise doit adapter à la fois son organisation mais aussi ses process.

Data Management - Management de la donnée

De manière concrète, comment s’organiser pour assurer la qualité des données de l’entreprise ?

Tout d’abord, via de l’outillage technique…

Que ce soit par la mise en place d’applications du marché ou du développement spécifique, voici quelques principes clés proposés pour mettre en place un outillage adapté.

Un référentiel de contrôles qualité commun

Le premier élément est de mettre en place un référentiel de contrôle qualité partagé au sein de tout le SI. La mise en place d’un référentiel de contrôle qualité partagé facilite le respect d’un standard de qualité commun. En effet, plus le système d’information est profond, plus le risque de voir apparaître des contrôles hétérogènes à différentes étapes de la chaîne s’accroit. Si chacun des composants du système d’information édicte ses propres règles, il est fort probable de voir apparaître des règles contradictoires pour une même donnée. In fine, l’organisation détient des résultats de qualité différents pour une même donnée. Il est alors difficile, voire dangereux, d’exploiter ces versions différentes, et la mise en place de solution d’amélioration continue est rendue impossible. C’est pour cela, qu’il est important de centraliser pour chaque donnée, les exigences fonctionnelles attendues et les règles de contrôles associées à appliquer.

Le paramétrage des contrôles qualité à dispostion des métiers

Un deuxième élément est la mise en place d’un outil de paramétrage des contrôles qualité. Comme il a été dit un peu plus tôt, les usages et les objectifs évoluant, il est intéressant de mettre à disposition des métiers un outil de paramétrage des contrôles qualité facile d’accès et d’utilisation. Les métiers restent les principaux acteurs de la qualité de la donnée : ils administrent et appliquent les contrôles qu’ils souhaitent. Cela garanti non seulement un système d’amélioration continue presque automatique, mais assure aussi la diffusion d’une culture data et qualité au sein des équipes.

Cet outil permet aussi une supervision de la part de la Gouvernance des données. Par ce système, elle peut facilement comprendre quelles règles de contrôle s’appliquent sur quelles données, et ainsi enrichir son dictionnaire de données techniques.

Autre point, intégrer des sondes tout au long de la chaine de traitement de la donnée , permet de garder un œil sur le niveau de qualité de la donnée.

Par exemple, lors de la production de la donnée, l’implémentation de détrompeurs est une bonne manière d’éviter la transmission de données erronées. Les détrompeurs permettent, lors d’une saisie d’une donnée, de respecter un format attendu. A titre d’exemple, dans un champ de type « date », le détrompeur évite la saisie de caractères spéciaux et/ou des lettres. Cette technique est un « garde -fou » qui assure un format qualitatif de la donnée avant sa transmission.

Les résultats des contrôles qualité doivent aussi être accessibles. Les consommateurs de la donnée s’informent en direct de la qualité de la donnée. Également, cela permet une exploitation du résultat des contrôles qualité dans des outils de supervision. Associé à des sondes installées au niveau des traitements, il est possible de bloquer la mise à disposition d’une donnée si elle ne répond pas aux standards de qualité attendus.

Plus ces techniques sont mises en place tôt dans le process de traitement de la donnée, plus la donnée a de chance de rester qualitative tout au long de son cycle de vie.

Data Visualisation - Suivi des KPI - Suivi de la qualité de la donnée

… Associé à une organisation et des process détaillés.

Les organisations doivent investir dans la mise en place d’une équipe responsable de la qualité de la donnée. Il existe de nombreuses types de profils autour de la gestion de la donnée pour garantir et maintenir une stratégie de qualité de la donnée :

La gouvernance de donnée
Les data stewards,
Les Data Protect Officer
etc.

La gouvernance de la donnée est responsable de la définition des exigences de qualité des données que le système d’informations traite. Le data steward, lui, a la charge de monitorer le résultat des contrôles qualité. Il remonte aussi les alertes lorsque le résultat n’atteint pas les objectifs fixés par l’organisation.

Un process continu de supervision de la qualité est nécessaire pour veiller au maintien et à l’évolution des règles de qualité. En cas de non-qualité, remonter la chaîne de traitement de la donnée est une bonne astuce. Par ce biais, l’organisation identifie l’endroit précis où la qualité fait défaut et intervient plus rapidement. Enfin, selon le cas, soit une action de remédiation au niveau du composant est mise en place, soit la règle de contrôle est revue pour être moins susceptible vis-à-vis de la donnée.

De plus, il peut y avoir un décalage de définition d’un niveau de qualité de la donnée entre un instant T et un instant à T+1. Il est donc important de pouvoir revoir et mettre à jour les standards de l’organisation. C’est ce qui permet de mettre en oeuvre une stratégie d’amélioration continue de la qualité.

Conclusion

Beaucoup d’organisations investissent dans l’acquisition d’outils du marché performant disposant de nombreuses fonctionnalités pour garantir un niveau de qualité souhaité. Malgré tout, même si les outils sont bons, mal utilisés, ces outils ont un piètre retour sur investissement. L’entreprise doit d’abord réfléchir aux cas d’usage. Cela permet de garantir un niveau de qualité de la donnée optimal (et constant). C’est grâce à cela que l’entreprise adaptera ses pratiques, ses processus et son organisation.

Pour en savoir plus sur notre offre Data Management

Pour aller plus loin :

Sources :

https://fr.wikipedia.org/wiki/Qualit%C3%A9_des_donn%C3%A9es

https://www.piloter.org/qualite/poka-yoke.htm

Enjeux et techniques d’amélioration de la qualité de vos données