MDM – Master Data Management

Descripción

Consiste en un conjunto de procesos y herramientas que define y gestiona de forma consistente las entidades de datos no transaccionales de una organización. Busca, por lo tanto, recopilar, agregar, identificar, asegurar la calidad y la persistencia y distribuir los datos de forma uniforme en dicho contexto.

MDM se compone de tareas como:

  • Identificar las fuentes de origen de los datos
  • Identificar los productores y consumidores de datos maestros
  • Recopilar y analizar metadata sobre los datos maestros recopilados en el primer paso.
  • Determinar los responsables (administradores) de los datos maestros.
  • Implementar un programa de data governance (y de forma consecuente tener un grupo responsable de dicho programa).
  • Desarrollar el modelo de metadatos maestros.
  • Escoger una solución o conjunto de soluciones como medio para mejorar la calidad de datos.
  • Diseñar la infraestructura necesaria.
  • Generar y testear los datos maestros.
  • Modificar los sistemas consumidores y productores de información.
  • Implementar un proceso de mantenimiento.

Esta claro que es un proceso complejo. Una tarea ardua. Pero cada vez más, se vuelva necesaria sobretodo actualmente en el que el concepto tradicional de datawarehouse ha ido evolucionando (enlace) a estructura más compleja y diversas y por lo tanto necesitan de fuentes de mayo calidad y consistencia.  Algunas empresas están completando su portafolio de integración datos, como por ejemplo: Oracle, Talend y Bitool.

Ya se debe haber dado cuenta que una iniciativa de MDM también constituye una necesidad de integridad de datos, por lo que las herramientas de ETL son cruciales para este propósito, siendo tan importante como el modelo de datos a implementar.

Semenjanzas entre MDM y DW

  • Ambos tiene un repositorio de datos que centraliza la información.
  • Ambos requieren de herramientas de integración de datos.
  • Ambos soportan versioning de los datos (control de la historia de los atributos lentamente cambiantes)
  • Ambos cuentan con procesos de limpieza, estandarización y  normalización de los datos.
  • Ambos requieren detectar cambios en el sistema origen.
  • Ambos cuentan con reglas de calidad a aplicar a los datos de las fuentes que serán cargados a su repositorio.

Diferencias entre MDM y DW

  • Los Datawarehouse son mono-direccional mientras que el MDM son bidireccionales, es decir alimentan a otros sistemas y a su vez son alimentados por otros sistemas.
  • Los Datawarehouse contienen datos empresariales, los MDM contienen los datos maestros: Cliente, Producto y Datos de dominios.
  • Los Datawarehouse son usados para brindar información para los sistemas de soporte a toma de decisiones, los MDM son usado para dar información a otros sistemas, incluso a los Datawarehouse.

El Servicio

Los servicio servicios que brindamos son:

  • Diseño de modelos de datos para brindar el soporte de MDM, basado en patrones de diseño para modelamiento de datos como UDM (Universal Data Model), eTOM, etc.
  • Proceso de integración de datos
  • Implementación de procesos de CDC (change data capture) para detectar cambios en los sistemas fuentes.
  • Automatización de procesos de carga al repositorio.
  • Automatización de procesos de sincronización a los repositorios que se encuentran suscritos al MDM, actualizando el mismo valor y la misma versión en todos los sistemas.