O que é linhagem de dados?

Sim. A governança de dados efetiva precisa que glossários de negócio, dicionários de dados e políticas de privacidade de dados estejam ativos em um local central. Mas, conforme o volume de dados aumenta em uma organização, esses objetos acabam em diferentes formatos, diferentes lugares, expressos de forma diferente. A linhagem de dados ajuda as organizações a rastrearem, monitorarem e atualizarem facilmente ao longo do tempo. A linhagem de dados oferece vantagens em práticas de governança, como consistência de terminologia, correção de qualidade de dados, auditoria de pipelines de dados e análises de causa-raiz durante incidentes de dados.

Um catálogo de dados é uma visualização centralizada dos ativos de dados em sua organização que é usado para gerenciar, alavancar, proteger, entender e compartilhar os dados da organização. Um catálogo de dados abrange os metadados, ou dados que descrevem seus dados, que são coletados de fontes e plataformas de dados e de aplicativos e sistemas de business intelligence em todo seu negócio. Ele é complementado com o contexto de negócio e orientação de governança de dados. A catalogação de dados automatizada aproveita a descoberta de dados automatizada e os recursos de coleta de metadados usando conectores de dados específicos da plataforma para metadados de dados inativos. A linhagem de dados automatizada aproveita os metadados de dados inativos. Ela também captura metadados de dados em movimento aproveitando os recursos de engenharia reversa dos conectores de dados. Ela analisa o código envolvido no movimento de dados, como código processual e ETL, para mapear o fluxo de dados em toda a organização. A linhagem resultante ajuda equipes de TI e de governança de dados e usuários de negócio a entender visualmente os ativos de dados disponíveis na organização. Ela especifica a jornada dos dados da origem inicial para as aplicações de destino final e todas as transformações de dados nesse intervalo.

Uma ferramenta de linhagem de dados usa automação para descobrir e mapear o fluxo dos dados das origens iniciais até o destino final, passando pela transformação e processamento. Por exemplo, mapeando os pipelines de dados que preenchem seu data warehouse, uma ferramenta de linhagem de dados pode fazer a engenharia reversa das tarefas de ETL que precedem imediatamente o carregamento dos dados em um armazém de destino. Fazendo a iteração em todas as origens de dados, a ferramenta acumula uma lista de tarefa e documenta cada parte descoberta da linhagem. No final da sequência, o processo terá um mapeamento reverso dos pipelines para preencher esse armazém. As ferramentas de linhagem de dados automatizadas facilitam a coleta e a atualização da linhagem de dados. Elas economizam cerca de 95% do tempo que os administradores de dados atribuem tradicionalmente aos métodos de linhagem de dados manuais.