Data Quality: Map, Landscape et Carré de solutions

Pour les amateurs de comparatifs visuels et autres visualisation du paysage de solutions de Data Quality, les cabinets d'analyses Bloor Research et Information Difference nous font part de leurs derniers crûs de comparatif des solutions de Data Quality.

 Data Quality Map (Bloor Research), Juin 2009

Data Quality Landscape (The Information Difference), Mai 2009

Ces cabinets sont certes moins célèbres que d'autres géants, mais spécialisés dans le data management, ils permettent d'aborder d'un autre oeil ou de compléter les évaluations faites par d'autres cabinets plus généralistes (fabricants de carrés  magiques et autres vagues forrestières, dans l'attente de leurs mises a jour 2009). Retrouvez ces analyses plus détaillées ci-dessous:

• The Data Quality Market - Spring 2009 (The Information Difference)
• Data Quality Vendor Map (Bloor Research)

Edit du 15/05/09:
Gartner vient également tout juste de sortir des presses son dernier carré magique des solutions de Data Quality.

 

Source: Gartner (June 2009)

Retrouvez le rapport ici:

• Gartner - Magic Quadrant for Data Quality Tools, 2009

Série d'articles sur les problèmes actuels des solutions de Data Quality

Philip Howard, du cabinet Bloor Research, pousse la grogne contre l'état actuel du marché des solution de Data Quality (gestion de la qualité des données), dans une série de cinq articles (voir plus bas) plutôt pertinents.

Selon lui, les solutions leaders du marché sont basés et construites sur des technologies anciennes et dépassées, et qui ne permettent pas de relever les nouveaux défis liés en particulier à ceux levés par la gestion des données de référence :

• algorithmes inefficaces de matching (détection de doublons) par comparaison de masques (patterns),
  
• algorithmes inadaptés dans un contexte de données internationales,
• l'incapacité des outils de comprendre le contexte dans lequel s'applique une donnée, et la traitant sans en prendre compte,
• Le manque d'automatisation avancée tant dans le nettoyage (cleansing) que dans le profilage (profiling) de données.
  

Il invoque ainsi l'arrivée de nouveaux entrants pureplayers, approchant le marché avec des approches innovantes tels Silver Creek, Exeros (allié à CA), Zoomix (racheté par Microsoft) ou encore Netrics, basées sur la compréhension sémantique, sur la contextualisation des données et l'importance des relations entre elles (même entre applications) - grâce à la résolution d'identités complexes, sur la modélisation mathématique avancée en lieu et place de la comparaison par pattern, et sur des techniques automatisées avancées de profiling de données.

Vous trouverez cette excellente suite de cinq articles ci-dessous :
(ainsi que leur traduction automatique approximative, pour les non-anglophones - merci g00gle)

• The problem with data quality solutions - part 1 (Traduction)
• The problem with data quality solutions - part 2 (Traduction)
• The problem with data quality solutions - part 3 (Traduction)
• The problem with data quality solutions - part 4 (Traduction)
• The problem with data quality solutions - part 5 (Traduction)

Information Difference : DQ Landscape

Information Difference frappe une fois de plus en offrant une nouvelle étude - après le Landscape MDM : le Landscape DQ portant sur le marché des solutions DQM (Data Quality Management, ou solutions de gestion de la qualité des données).

Selon le cabinet spécialisé dans le MDM, le marché DQM regroupe un nombre important d'éditeurs assez disparates (gros, spécialistes et plus modestes), mais représente un marché de 600M$ et une croissance annuelle forte de 18% (licences + services, hors coûts d'intégration).

Les tendances du marché des éditeurs sont plutôt à :

• la complétion des offres - comme les rachats d'Identity Systems et de Similarity par Informatica pour la Résolution d'Identité, SAP avec BusinessObjects et FirstLogic, SAS et DataFlux, ou encore récemment Microsoft avec Zoomix;
  
• l'élargissement des domaines de données traitées - qui s'étendent désormais au delà des données clients et adresses pour traiter les données de tout poil ;
  
• l'orientation vers les problématiques SOA / temps-réel - Trillium rapporte ainsi que la moitié de ses déploiements se font sur traitements temsp réel ;
  
• la prise de conscience que la qualité des données est un domaine vaste.

Information Difference estime que le marché est encore immature, même si ce dernier existe pourtant depuis plus des dizaines d'année (Innovative Systems a près de 40 ans!). Après des années de discrétion, le marché du DQM sort de sa torpeur et s'accroît, porté par l'envolée de celui du MDM et l'activation de stratégies de gouvernance des données.

Source :

• DQ Landscape (Information Difference)
  

et Yphise inventa le MDQ...

Yphise vient de sacrer la solution SAS-Dataflux qMDM comme étant la "meilleure solution de MDQ" en lui délivrant le Yphise Award idoine.

Ce cabinet d'analyse définit les solutions MDQ (Master Data Quality, ou qualité des données maîtres) non pas comme étant des solutions de DQM (Data Quality Management) mais comme étant ... le nouveau nom des solutions CDI (Customer Data Integration, ou solution d'intégration des données Client) ! (véridique!).

Pas d'autres explications ni sur les critères précis de l'évaluation, ni sur les autres solutions évaluées et leurs notes, mais le diagramme d'analyse en radar - dont l'exhaustivité s'établit sur seulement 4 axes - démontre également à quel point la solution de SAS-Dataflux est particulièrement en adéquation avec ce nouveau segment de marché du MDM, dont personne ou presque (analystes, intégrateurs, éditeurs, etc.) n'avait entendu parlé auparavant (du moins en tant que CDI).

Plus que jamais, il convient d'être vigilant face aux discours des adeptes du néologisme et autres inventeurs de "nouveaux concepts" qui, pour masquer leur propre manque de clarté, entretiennent la confusion et le trouble dans un domaine en maturation, au moment où les fondations du MDM sont à peine posées et les concepts assimilés par leurs bénéficiaires.

Update 24/10/08 : une autre définition du MDQ trouvée au fin fond du site d'Yphise. Selon Yphise, le MDQ regroupe plus simplement les solutions dont l'objectif est d'améliorer la qualité des données de référence, en fait une catégorie de solutions DQM dont le focus s'établit particulièrement sur celle des Master Data. Cette définition est plus élégante que celle trouvée sur la page de l'Award (qui rappelons-le compare ces solutions à des solutions CDI) et correspond mieux à la solution qMDM de SAS-DataFlux.

Liens :

• SAS Dataflux qMDM for MDQ - Master Data Management (Yphise)
  

Matching Déterministe versus Matching Probabiliste

Détection de doublons, appariement, comparaison, mise en correspondance, rapprochement ou encore calcul de similarité... Autant de termes en usage dans le monde francophone pour nommer ce processus clef au cœur des mécanismes de dédoublonnage de données (ou de déduplication, de factorisation ou encore de stockage d'instance unique). Faisons simple : j'utiliserai ici le terme anglophone plus générique de matching.

Le principe du matching est simple : déterminer si 2 représentations (ou avatars) correspondent ou non à une même réalité. Et lorsque la comparaison de représentations n'est pas aussi évidente, on a recourt à des procédés plus ou moins élaborés de matching, dont 2 approches sont abordées dans cet article. Le problème ne date pas d'hier, mais la problématique de doublons dans les solutions MDM - c'est à dire de doublons dans des référentiels de données d'entreprise, devant mettre à disposition des données de qualité et rapidement accessibles à l'ensemble des applications de l'entreprise - amène des contraintes de rapidité de traitement (parceque accès temps-réel - SOA) et de volumétrie qu'il est nécessaire de prendre en compte pour le choix de la méthode la plus efficace.

Matching Déterministe vs Matching Probabiliste
L'univers du matching est régi par 2 grandes écoles : les fervants adeptes du déterminisme, et les aficionados du probabilisme. Le choix d'une méthode de matching a des répercussions bien plus pragmatiques sur la qualité des données de l'entreprise.

Tentons déjà de dégrossir un peu ce que sont ces 2 approches :
Pour commencer, les deux approches partagent le même objectif : déterminer si 2 avatars représentent ou non la même réalité physique - autrement dit à identifier des doublons dans un ensemble de données.

Ensuite, les 2 approches - matching Déterministe et matching Probabiliste - utilisent toutes deux des processus déterministes (avec un petit 'd') pour évaluer la similarité de deux avatars : et par déterministe on entend le procédé qui, à partir d'un même ensemble de paramètres, produit toujours le même résultat - de l'ordre de la prédiction, donc.

Enfin, les deux approches manipulent plusieurs algorithmes pour évaluer la similarité de 2 données élémentaires : on distinguera alors la comparaison stricte de valeur, qui évalue l'égalité de valeur, des logiques floues (fuzzy logic), outillées par des algorithmes complexes de calculs de "distances" entre expressions, permettent de détecter des données "proches", comme les inversions de lettres, etc.

Alors vient LA question : Puisque tout semble les rapprocher, pourquoi avoir attribué des noms distincts à ces 2 approches ?

Pour résumer cette différence, disons que les démarches de matching Probabilistes non seulement en compte les données à comparer, mais également des informations plus générale sur le contexte dans lequel s'effectue cette comparaison, comme l'état actuel de l'espace de recherche. Ces informations de contexte sont généralement des mesures statistiques - par exemple l'ensemble des valeurs de noms de famille actuellement présent dans la base référentielle de personnes - desquelles sont déduites des probabilités qui vont influencer les résultats de la comparaison déterministe : 

En comparant 2 enregistrements champ par champ, les 2 démarches sont capables de déterminer une probabilité de doublonnage de 2 enregistrements, c'est à dire leur similarité (à ne pas confondre avec la notion de "matching probabiliste"). Le matching probabiliste ne s'arrête pas à cette simple comparaison, et prend en compte les statistiques de l'ensemble de valeurs existentes pour pondérer l'importance données à certains champs pour différencier 2 enregistrements. 

Matching déterministe
Au delà de la simplicité de conception des algorithmes de matching déterministes, ce type de méthode souffre (selon Scott Schumacher) de plusieurs défauts qu'il décrit ainsi :

• Moins efficaces et moins fidèles que les méthodes probabilistes, puisque non prise en compte des données existantes,
  
• Applicable uniquement sur de faibles volumétries (moins de 2M d'enregistrements) , avec peu d'attributs à comparer, et là où la non détection de doublons a peu de conséquences,
• Lourds à implémenter à mesure que les règles de matching se complexifient, et que le nombre d'attributs pris en compte augmente. La prise en compte d'un nouvel attribut nécessite la révision de l'ensemble des règles déjà existantes, en plus des nouvelles règles à implémenter, avec des impacts sur les développements et sur les performances;
  
• Les méthodes déterministes n'ont plus l'avantage de la rapidité d'exécution vis-à-vis des méthodes probabilistes.

Matching probabiliste
Les avantages du matching probabiliste face au matching déterministe semblent évidents, puisque l'efficacité de la méthode probabiliste réside dans la prise en compte de données statistiques sur l'espace de recherche au moment de la comparaison. La fraîcheur de ces statistiques est donc un caractère important de cette efficacité, afin que ces informations représentent au mieux l'état du contenu du référentiel. Dans le cas du temps réel, il n'est pas pensable de régénérer ces statistiques à chaque nouvelle entrée dans le référentiel : un compromis pourra être trouvé en ne les régénérant que périodiquement - en fonction des volumes et des fréquences de mise à jour considérés.

Les détracteurs du probabiliste lui reproche son côté .. non déterministe : les limites du matching probabiliste semblent atteintes en cas de mécontentement de la manière dont 2 enregistrements sont rapproché, ou bien lorsqu'il faudra justifier les raisons qui ont menées à ce rapprochement, par exemple dans le cadre d'un audit.
Le matching déterministe permet en ce sens plus de transparence; et lorsque 2 enregistrements ne sont pas rapprochés, il suffit d'écrire la règle adéquate.
Plus évasif, le matching probabiliste peine à justifier ses raisons, de par la difficulté de conserver la trace des statistiques utilisées par le matching. C'est ici que les fonctionnalités d'audit et d'historisation des outils MDM ont leur importance : l'audit permet de conserver la trace des fusions opérées pour procéder à un éventuel retour arrière, l'historisation permet quant à elle de reconstituer - non sans effort d'investigation - l'état de l'espace de recherche (les données) et donc des statistiques considérées à un instant précis.

Quel vainqueur ?
La solution réside en un usage intelligent des 2 méthodes. Par exemple, pour des raisons de performances, un matching déterministe est essentiel pour réduire l'espace de recherche sur lequel se basera un matching probabiliste pour affiner les résultats.

Et comme le confirme David Loshin, que ce soit matching déterministe ou matching probabiliste, le plus important réside dans la maîtrise de la compréhension de la démarche, et dans la capacité des utilisateurs à faire évoluer et vivre l'algorithme, pour le rendre plus efficace dans le temps et apporter la valeur ajoutée escomptée.

Dans un prochain article, j'aborderai les limites auxquelles ces approches font face, et les méthodes pour y remédier dans le contexte du MDM.


Liens :

• Probabilistic Matching: Part Two (Steve Sarsfield) 
• Probabilistic Versus Deterministic Data Matching: Making an Accurate Decision (Scott Schumacher) 
• CDI: How much does data matching technology matter? (Hannah Smalltree)
• Matching: Determinism and Probability in a new context (Chris McCauley)

Nouvelle fournée 2008 des analyses de solutions MDM

Comme chaque année, l'été fournit ses nouveaux millésimes d'analyses de solutions MDM...

Gartner
Fait marquant cette année, l'apparition d'une seule et même analyse des solutions de Master Data Management, déclinée suivant les 2 problématiques que sont la gestion des données Client, et la gestion des données Produit, en lieu et place des 2 Magic Quadrants distincts des solutions - respectivement - de CDI (Customer Data Integration) et de PIM (Product Information Management).

Certes l'analyse n'a rien de radicalement nouveau tant au niveau des critères de sélection qu'au niveau des éditeurs étalonnés, mais l'approche a tout de même le mérite d'être citée : le MDM résultant de la prise de conscience de pratiques communes dans la gestion de données de référence de différentes natures, les solutions MDM (adressant ces problématiques de manière transverse) se devaient d'avoir leur propre quadrant magique.

A noter également la sortie du quadrant magique de solutions DQM, partenaires indissociables des démarches MDM réussies...

Forrester
Forrester récidive également (pourtant sans édition 2007...) avec son non moins attendu Wave sur les solutions de Hub Client. Le cabinet fait l'éloge des solution Hub Client, saluant leur montée en maturité (alors que le dernier Wave en date dénonçait l'état général de non maturité des solutions) et annonce leur avenir flamboyant là où en vingt ans d'efforts les datawarehouse, les CRM, les ERP et même la BI - prédit Forrester - ont ou vont inexorablement échouer dans la prise en main de la gestion des données Client.
Les habitués sont toujours dans la course : Initiate Systems, Siperian, IBM, Oracle ou encore D&B Purisma. Et parmi les faits marquants, on notera l'entrée remarquée de la solution MDM Suite de Sun dans le palmarès (elle même présente dans l'analyse de Gartner).

Loin de la représentativité du marché français ?
On regrettera néanmoins une fois de plus que les critères de sélection choisis - aussi bien chez Gartner que chez Forrester - écartent de l'analyse des solutions MDM pourtant dignes d'intérêt, voire pleines de potentiel de croissance et qui plus est installées dans l'Hexagone, parce que trop peu implantées dans le reste du monde, et donc quasi inconnues du panel de sociétés retenues...

Liens :

• Gartner Magic Quadrant for Master Data Management for Customer Data, 2008
• Gartner Magic Quadrant for Master Data Management for Product Data, 2008
• Gartner Magic Quadrant for Data Quality Tools, 2008
• The Forrester Wave: Customer Hubs, Q3 2008

Microsoft rachète Zoomix, startup de Data Quality

Après le rachat de Stratature (avec EDM+, solution MDM), Microsoft continue d'étoffer son offre data management par l'intermédiaire du rachat de Zoomix (transaction estimée à 20 ou 30M$), en s'offrant la solution DQM qu'il lui manquait.

D'après le site de Zoomix, la société basée à Jérusalem propose - via Zoomix Accelerator - une solution novatrice d'analyse sémantique et linguistique par apprentissage automatique, offrant profiling, parsing, matching, classification et nettoyage, orientée SOA et spécialisée dans les bases SQL Server. La solution pourrait être intégrée à l'offre SQL Server 2008 de l'éditeur de Redmond.

Sources :

• Microsoft Signs Agreement to Purchase Data Quality Start-up Zoomix (annonce Zoomix)
• Microsoft to buy Israeli data quality startup
• Microsoft's Zoomix acquisition gives it the "semantic" SQL Server
• Zoomix: a self-learning data quality engine

Sun MDM Suite : Sun révèle sa solution MDM

Comme annoncé précédemment, Sun révèle aujourd'hui officiellement la sortie de sa solution MDM - baptisée Sun MDM Suite et basée sur le projet open source Mural - et se révèle donc comme un nouvel entrant sur le marché du MDM.

Avec la même architecture et les mêmes composants que Mural, la plateforme se place en Hub permettant l'aggrégation, le nettoyage, la maintenance, l'acquisition et la distribution de données de référence - et plus particulièrement de données Client, aux vues de la communication de Sun.

A noter que cette sortie s'accompagne également de celle de Java CAPS 6 - plateforme applicative SOA / ESB / BPM - dont MDM Suite est l'une composante. Sun MDM Suite sera néanmoins disponible séparément, et selon certaines sources à partir du 24 juin à un prix de l'ordre de 80 à 100$ par utilisateur.



Liens :
Voir l'annonce
Sun MDM Suite
SOA : Sun met du MDM et du CEP dans sa suite Java Caps (Le monde informatique)

Mural : MDM sauce Open Source

Les initiatives Open Source font enfin leur apparition dans le marché des solutions MDM : le projet communautaire Mural, initié par Sun, a pour ambition d'apporter des solutions du monde "Open" aux problématiques de gestion des données de référence.

Au programme : CDI, PIM, DQM (profiling, standardisation, matching, deduplication, cleansing), intégration de données, ETL, et autres outils de migration, compatibilité SOA, Web 2.0 etc. En bref des sujets donnant lieu à autant de projets (Master Index Studio, Data Integrator, Data Quality, Data Mashup et Data Migrator) qui forment un écosystème de solutions libres de gestion des données, et qui associé aux communautés GlassFish (serveur d'application développé initialement par Sun), OpenESB (ESB libre sur des bases de SeeBeyond) et NetBeans (IDE Java libre) se veut être une alternative aux solutions propriétaires du marché.

Cette communauté est récente, les outils sont encore à un stade trop peu avancé, et les fonctionnalités seront probablement moins étoffées que celles proposées par les solutions des éditeurs du marché. Mais comme le souligne Andy Hayler, ce type de solutions pourra satisfaire les problématiques moins exigeantes : la popularité d'outils tels que MySQL ou JBoss ont montré a quel point les produits Open Source peuvent trouver leur place dans les circonstances adéquates.

Présenté lors du dernier FOSS.IN en en décembre 2007, les réalisations auraient réellement débuté en février 2008, selon Sun. Outre la participation du centre d'ingénierie de Sun (SUN IEC) à Bengalore, la communauté s'est déjà enrichie d'étudiants de l'université de San José, et dont les premiers travaux sont attendus pour l'été 2008.

Selon TheServerSide.com, Sun s'apprèterait même à packager le projet Mural dans une suite commerciale - Sun MDM Suite - qui sera intégrée à la plateforme d'applications composites Java CAPS R6, et prévue pour l'horizon juin 2008. Jeune acquéreur de l'éditeur de MySQL en janvier dernier pour 1M$, Sun continue sa lancée vers l'Open Source et serait donc également un nouvel entrant dans le marché du MDM.

Un projet à suivre, donc.

Top Ten Things You Should Know About Mural

1. Enhanced customer experience. Helps customer retention, aids cross selling, delivers the right customer experience and manages the risk associated with them
2. Reduced cost and complexity. Maintain master data at a single location and execute transactions locally
3. Reduced errors. Master data represents accurate and consistent information
4. Increased visibility. Accurate report generation using master data as a source
5. Enhanced auditing and compliance. Data changes are accurately registered and available for reference
6. Open source. Mural is an open source community and is built to support Sun's complete open source stack - "Metal to Mural"
7. Reduced time to market. Encourages data level collaboration between organizational hierarchies
8. Single integrated toolset. Integrated toolset to extract data from source systems, clean, profile, match, and load master indexes
9. Size-to-fit integration solution. Since Open ESB leverages the JBI framework customers can easily assemble an integration solution to fit their specific requirements and integration environment.
10. Leverage GlassFish and NetBeans. Mural's components are built on and fully support GlassFish and all of the design time tooling is built on NetBeans

Liens :
- Mural, Open Data Management Community
- Sun Microsystems Announces Mural: Open Master Data Management
- Students and the Mural Community

Informatica rachète Identity Systems : un pas vers le MDM ?

Informatica a annoncé l'acquisition de la société Identity Systems jusque là détenue par Nokia, l'un des leaders mondiaux de la résolution d'identité et de matching, pour la somme de 85M$.

Pour mémoire, la résolution d'identité (IR) a pour objectif la réconcialiation d'identités de personnes - mais également d'autres natures de données comme les produits, compagnies, et autres entités possédant entre autre un nom littéral - tout en adressant les problématiques liées aux barrières linguistiques (comment un nom s'épèle en japonais, russe, grec, etc.).

Philip Howard (Bloor Research) met le doigt sur l'un des challenge que devra relever Informatica avec l'arrivée de cette nouvelle solution dans son catalogue : IBM, principal concurrent du marché, peine à promouvoir Entity Analytics - sa solution packagée de IR - face à sa propre offre DQM (Data Quality Management) parceque l'offre packagée séparément amène confusion. Informatica devra donc favoriser l'intégration d'Integrity Systems dans son offre de DQM existence, à savoir Similarity, pour proposer une offre cohérente et ainsi assoir son avance face aux autres éditeurs DQM.

Rob Karel (Forrester), quant à lui, s'interroge des impacts qu'une telle acquisition pourrait avoir sur le marché du MDM, et spécule déjà sur le rachat d'une solution MDM par cet éditeur américain de solutions d'intégration de données, ou par la phagocytation de ce dernier par un plus gros - car il existe toujours un plus gros que soi - , qui pourrait craindre l'entrée d'un nouveau concurrent sur la scène des éditeurs de solutions MDM.

Source :
- Informatica to acquire Identity Systems (Philip Howard)
- Informatica Enters Identity Resolution Market -- Is MDM Next? (Rob Karel)