Panorama des process de la qualité de données (partie 2)

Pour faire suite à la première partie de cet article dans laquelle nous avons détaillé les phases d’évaluation de la qualité de l’information TIQM® – P1, P2, P3, nous allons continuer à dérouler les phases suivantes dans les process de la TIQM®.

TIQM® – P4 : Recyclage et correction des données

A ce stade, nous nous focalisons sur la donnée entrante ou déjà présente dans le SI.

Il s’agit là des différents algorithmes de correction et redressement de la donnée défectueuse (plus proche voisin, algorithme phonétique, etc.)

• • le Cleansing permet de corriger la donnée (tel que faute de frappe..)

• • Le Matching  utilise des algorithmes plus ou moins complexes pour redresser la donnée.

 

Il permet ainsi de faire des rapprochements de données, comme par exemple de retrouver un mari et sa femme sur la base du nom et de l’adresse.

Toutefois à l’instar de la phase P2 (la mesure du niveau de qualité du systeme), la P4 doit être validée par une étape de confrontation des données au réel qui permettrait de se prémunir contre une mauvaise correction de donnée (qui devient encore plus dégradée). On parle alors de “faux negatifs” ou ”faux positifs”.

Un fâcheux exemple dans le domaine de la pharmacopée-médical : afin de traiter un trouble déficitaire de l’attention avec de la Metadate, un patient s’est vu administré, par erreur, de la Méthadone, traitement de la dépendance aux opiacés. Pas sûr que le traitement en question ai été efficace. De manière similaire certains algorithmes de correction avaient tendance à faire la confusion entre le Zantac (ulcères gastriques) et le Xanax (antidépresseur).

TIQM® – P5 : Améliorer le process de qualité de l’information

A l’instar des méthodologies industrielles dont la TIQM® s’inspire, la phase 5 repose sur l’implémentation d’un Cycle de Shewhart (Plan-Do-Check-Act) pour piloter l’amélioration continue de la qualité de l’information :

A noter que la partie d’identification des process défectueux s’appuie bien sur des process de la TIMQ® à savoir :

• la récurrence des écarts (P2)
• la récurrence des corrections ou des incidents (P4)
• l’accroissement des coûts de non qualités (P3)

Cette étape est indispensable pour vraiment parler de méthodologie qualité: c’est elle qui pilote réellement la qualité de l’information dans l’entreprise.

TIQM® – P6 : Mettre en place une culture d’entreprise de la qualité

Le management de la qualité de données ne peut être une préoccupation isolée qui ne s’applique qu’au cadre technique d’un SI : pour être efficace, il doit pouvoir s’appuyer sur une culture d’entreprise axée autour de la qualité en général (de l’information, de service…). A cet effet, Larry P.English reprend W. Edwards Deming et ses 14 points d’amélioration de l’efficacité des entreprises pour les appliquer au management de la qualité de l’information. En voici quelques extraits :

« • 1- (…) le management doit avoir résoudre 2 types de problèmes : ceux d’aujourd’hui et ceux de demain. Cela nécessite un plan de réponse aux besoins du client à long terme
• 4- Ne pas développer une application sur la simple base du délai, d’une fourchette budgétaire à coûts réduits sans une mesure de la qualité. Les exigences de productivité accroissent fatalement le développement d’applications défectueuses, des erreurs et des informations manquantes qui, in fine vont accroitre les coûts totaux, notamment de corrections et de maintenance.
• 8- Éradiquer la peur de l’aléa ou des erreurs de données (…) encourager le risque au changement sans punir les échecs. Encourager l’amélioration en éliminant les causes profondes sans punir l’erreur. »

Conclusion

En conclusion sur la thématique de la qualité de données, il faut retenir les points clés suivants :

• Le management de la qualité de données est devenu indispensable dans le cadre des entrepôts de données afin de pouvoir garantir une pérennité de l’information générée par le SI à travers le temps. Ce management peut s’inspirer des méthodes éprouvées dans le secteur industriel.
• Avec l’arrivée du Big-Data et des données non structurées, les problématiques de qualité de données sont encore plus sensibles et nécessitent encore plus de vigilance
• la méthodologie TIQM® s’inscrit dans une démarche et culture de la qualité, globale à l’entreprise.
• Dans cette méthodologie, chaque phase est indispensable
  • P1, P2, P3 : permettent de surveiller/inspecter la donnée
  • P4 permet de corriger/redresser la donnée. La confrontation au réelle permettra de s’assurer que la donnée est exacte, pas uniquement valide
  • P5 cherchera à stopper la récurrence d’une dégradation
  • P6 veille à ce que cette excellence de gestion de la qualité de données soit partagée

Larry P.English propose la Roadmap Six Sigma DMAIC en 5 phases pour mettre en place cette méthodologie.