Master Data Management (MDM): solucionando problemas de qualidade de dados na organização

Muitas organizações atualmente apresentam problemas de falta de integração, padronização e governança de dados. É comum encontrar diversos setores da empresa que possuem bancos de dados e aplicações diferentes para trabalhar com a mesma informação. Um exemplo seria os departamentos de Vendas, de Marketing e Financeiro terem aplicações próprias, cada uma com sua base de endereços e telefones de clientes. Isto pode ocasionar problemas de duplicação de dados, desatualização e falta de qualidade destes dados devido à indefinição de regras e padrões para armazenar esta informação. Isso sem mencionar que muitas vezes as aplicações e os sistemas ERP não realizam as diversas validações necessárias para garantir a integridade dos dados inseridos no seu próprio banco de dados, e os dados acabam sendo cadastrados sem qualidade.

Outro cenário que ocorre com frequência é o de aquisições de empresas. Neste caso, há a necessidade de integrar a base de dados da empresa adquirida com os dados já existentes na organização, evitando duplicações e realizando a mesclagem destes dados de acordo com o padrão existente.

Citando um exemplo mais específico para o cenário de BI, quem já criou um processo de ETL para carregar um data mart ou DW sabe como dados inconsistentes e sem padronização dificultam esta etapa, sem falar do tempo desperdiçado.

Para minimizar estes problemas surge a importância de gerenciar os dados mestres da empresa, ou seja, aquele dados que são fundamentais para o negócio e que precisam manter um nível alto de qualidade para evitar problemas de informações incorretas e inconsistentes.

Os dados mestre devem ser consolidados em uma base de dados mestre e passar pelas validações necessárias para que estejam dentro do nível de qualidade e do padrão estabelecido pela empresa. As aplicações podem consumir estes dados já tratados diretamente da base de dados mestre (sendo necessário modificar as aplicações) ou pode haver um processo de sincronização, onde a base mestre publica as alterações nos dados para as bases de dados das aplicações.

Definindo quais são os dados mestre da organização

Existem algumas características importantes que nos ajudam a entender melhor quais são os dados mestre de uma organização:

  • Valor: quanto mais valioso for o dado, maior será a probabilidade de ser considerado um dado mestre;
  • Volatilidade: dados que nunca são alterados não são considerados dados mestre;
  • Reuso: dados que precisam ser reutilizados por vários departamentos provavelmente serão dados mestre;
  • Cardinalidade: quanto menor for o número de elementos do conjunto menor a probabilidade dele ser um dado mestre, já que não seria tão importante gerenciá-lo;

Exemplos de dados mestre: clientes, fornecedores, funcionários, produtos…

Benefícios da integração entre Master Data Services (MDS) e Data Quality Services (DQS)

 O SQL Server nas versões 2012 e 2014 possui duas ferramentas para trabalhar com dados mestre e realizar o processo de qualidade dos dados: Master Data Services (MDS) e Data Quality Services (DQS). Trabalhando com estas ferramentas é possível realizar as seguintes atividades para garantir a integridade das informações:

Definição de regras para validação dos dados: por exemplo, utilizando o DQS, definir através da seguinte expressão regular se o e-mail foi cadastrado no formato correto:

[A-Za-z0-9._-]+@[A-Za-z0-9.-]+.[A-Za-z]

Correção de dados incorretos: outra tarefa importante de qualidade de dados seria realizar a substituição dos valores de cidades cadastradas incorretamente como “RJ”, “Rio” e “Rio Jan”, por exemplo, para “Rio de Janeiro” (formato esperado), ou “USA” para “United States” (figura abaixo) através de processo de limpeza (cleasing);

dqs_country_usa

Correção de problemas duplicação de dados: através do processo de correspondência (matching) elimine clientes duplicados (por exemplo, um cliente pode ter realizado um novo cadastrado com um e-mail diferente; identifique que é a mesma pessoa pelos dados como nome, endereço e telefone em comum).

Controle de versão dos dados: no MDS, gerencie quem realizou modificação nos dados mestres, quando e qual foi a modificação (imagem abaixo);

mds_controle_versoes

Através destes recursos podemos inclusive automatizar o processo de qualidade de dados e gerenciar as alterações, garantindo assim que os dados da organização estejam sempre limpos e consistentes.

No próximo post vou publicar dicas para a realização de um tutorial que mostra a aplicação do Master Data Services e do Data Quality Services na prática.

Sugestão de leitura relacionada:

The What, Why, and How of Master Data Management: https://msdn.microsoft.com/en-us/library/bb190163.aspx

Referência – Expressão regular – Blog do Paras Doshi: http://parasdoshi.com/2012/12/19/how-to-clean-records-using-regular-expressions-in-data-quality-services/

Anúncios

2 pensamentos sobre “Master Data Management (MDM): solucionando problemas de qualidade de dados na organização

  1. Pingback: Master Data Services (MDS) na prática: tutorial | Blog Dataficação

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s