Para obter uma melhor experiência web, utilize o IE11+, Chrome, Firefox ou Safari.
Avaliações gratuitas Solicitar preços
Home / O que é linhagem de dados?

O que é linhagem de dados?

A linhagem de dados é a jornada dos dados da sua organização. Desde sua criação na origem, por meio de seu movimento e transformação dentro e fora das plataformas de dados e repositórios dentro e fora de seu negócio, até seu local final nas aplicações e business intelligence em que se baseia para operações e tomada de decisões. A linhagem de dados de ponta a ponta oferece uma visão completa e detalhada do movimento de determinados conjuntos de dados em sua organização. Isso pode ajudar você a planejar seus esforços de modernização de TI, resolver problemas de qualidade de dados, abordar a conformidade regulamentar e a governança de dados, além de ver e entender rapidamente os dados disponíveis e seus relacionamentos em sua organização.
O que é linhagem de dados?

Por que a linhagem de dados é importante?

Rastrear a origem e o fluxo de dados é uma tarefa árdua. Conforme sua organização acumula sistemas de informação, ela também acumula pontos de entrada de dados e regras de transformação para dados em constante movimento. Adicionalmente, as ferramentas de integração de dados, as ferramentas de extração/transformação/carregamento (ETL), os códigos de procedimento e até mesmo relatórios de Business Intelligence (BI) e APIs agregam e transformam dados de forma constante. Como resultado, é difícil compilar manualmente e entender essa complicada rede de dados formada entre os sistemas em sua organização e apresentá-la em um fluxo visual simples. A linhagem de dados automatizada pode oferecer visibilidade e contexto atuais dos dados organizacionais para equipes de TI e de governança de dados e usuários de negócio para que eles trabalhem de forma mais eficiente, tomem decisões mais informadas e aproveitem e protejam melhor os dados que possuem.

A linhagem de dados não só permite que você entenda a origem dos dados, como eles se transformaram e como eles se movimentam em sua organização, mas também pode reunir atributos técnicos e comerciais e governança, destacar dados confidenciais e outras classificações de dados, fornecer visibilidade de qualidade de dados além de ajudar os usuários a conduzirem rapidamente análises de causa raiz para problemas de qualidade de dados etc. Na ausência de recursos de análises de impacto automatizados, ou em conjunto com esses recursos, a linhagem de dados também pode ser muito útil para estabelecer o escopo e avaliar o impacto de possíveis esforços de migração de plataformas de dados, inteligência de dados e gerenciamento de dados.

Por que a linhagem de dados é importante?

Benefícios da linhagem de dados

O impacto comercial e a visibilidade do cenário de dados

O reconhecimento e entendimento dos dados disponíveis e de suas transformações e fluxo em vários sistemas pode influenciar e apoiar suas decisões comerciais. Por exemplo, entender a jornada e o contexto dos dados pode ajudar você a responder perguntas em relatórios de Business Intelligence, incluindo quem é o proprietário dos dados, a orientação de governança que você precisa conhecer e quanto seus dados estão de acordo com seu uso. Com a linhagem de dados, você pode entender melhor: os dados que se alinham às iniciativas de negócios essenciais, quando e como os dados foram originados e se eles são confiáveis devido à jornada de linhagem a montante, às pontuações de qualidade de dados etc. As organizações também podem ver mais facilmente as áreas de risco em que as informações de privacidade essencial podem sair da empresa.

Suporte de base para governança de dados

A propriedade, a responsabilidade e a rastreabilidade de dados estão no centro de um programa de governança de dados sólido. Combinado com a automação, a linhagem de dados pode ajudar os proprietários de dados, os administradores de dados, a equipe de TI e os usuários de negócio a entenderem e validarem o uso de dados. A linhagem de dados automatizada pode entregar linhagem de dados horizontal, desde a origem de dados inicial até o destino e todas as transformações de dados nesse intervalo, assim como linhagem de dados vertical que oferece insights a associações entre ativos técnicos e de negócio. A linhagem de dados completa, a jusante e a montante, pode revelar quando e quem realizou as alterações e reúne governança de negócio e técnica em uma visualização central para todos os usuários de dados. A linhagem de dados é uma ferramenta de transparência essencial para as equipes de governança de dados.

Auditabilidade e conformidade regulamentar

Os termos de negócio e as políticas de dados devem ser implementadas por meio de regras de negócio documentadas em sua solução de governança e inteligência de dados. Então, você poderá usar a linhagem de dados para rastrear a conformidade regulamentar com essas regras incorporando e os controles de validação e auditabilidade sempre que os dados são transformados. A linhagem de dados também comprova de forma visual e rápida para os clientes, funcionários e auditores que você leva a sério os regulamentos de conformidade e as preocupações de privacidade e que está implementando programas para ajudá-lo nesses esforços.

Cooperação entre equipes

A linhagem de dados oferece uma visualização comum dos dados de sua organização e sua jornada por linhas comerciais e diferentes ambientes de análise modernos e legados. A transparência dos dados e seu uso impulsiona o compartilhamento de dados adicionais e identifica claramente transferências críticas durante projetos de integração de dados. Com um ponto de referência central, as equipes em toda a sua organização podem trabalhar de forma mais eficiente em conjunto para garantir que os dados em sua organização sejam totalmente aproveitados e protegidos adequadamente.

Objetivo e visibilidade da qualidade dos dados

A análise de causa-raiz é a primeira etapa para lidar com a má qualidade dos dados. Com o insight da linhagem de dados sobre a qualidade dos dados, os administradores de dados podem rastrear o fluxo de informações de trás para frente para determinar se as padronizações e as transformações dos dados estão sendo realizadas corretamente. A linhagem de dados completa permite que você corrija um problema de qualidade de dados em sua origem e permite que as equipes monitorem proativamente os principais pipelines de dados para garantir a integridade dos dados. A linhagem de dados também pode oferecer aos usuários de negócio uma visualização direta da adequação dos dados, o que cria confiança.

Planejamento de TI e gerenciamento de dados

A linhagem de dados oferece o insight e as informações necessárias para arquitetos e engenheiros de dados entenderem o estado atual de seu cenário de dados atual e gerenciarem e planejarem, de forma inteligente, a modernização de TI, migrações de data warehouse e outros esforços críticos. Ela oferece um escopo de projeto visual de quantas aplicações, regras de transformação e unidades de negócio serão impactadas. A visibilidade de confidencialidade e outras classificações de dados, indicadores de qualidade de dados e contexto de governança disponível ajuda as equipes de TI a gerenciar melhor os dados em sua organização.

Preparação dos dados

Para os analistas de dados que estão preparando os dados, a linhagem de dados entrega o roteiro necessário para garantir que os dados mais adequados sejam selecionados para a análise pretendida. A linhagem de dados pode fornecer aos analistas uma visualização dos sistemas, ambiente, tabelas e colunas disponíveis. Ela funciona como um ponto de referência para a nomenclatura física e lógica e pode incluir a qualidade de dados, os indicadores de dados confidenciais e as proteções de governança para guiar, de forma eficiente, o trabalho dos analistas e acelerar o tempo de preparação dos dados.

A linhagem de dados é parte da governança de dados?

Sim. A governança de dados efetiva precisa que glossários de negócio, dicionários de dados e políticas de privacidade de dados estejam ativos em um local central. Mas, conforme o volume de dados aumenta em uma organização, esses objetos acabam em diferentes formatos, diferentes lugares, expressos de forma diferente. A linhagem de dados ajuda as organizações a rastrearem, monitorarem e atualizarem facilmente ao longo do tempo. A linhagem de dados oferece vantagens em práticas de governança, como consistência de terminologia, correção de qualidade de dados, auditoria de pipelines de dados e análises de causa-raiz durante incidentes de dados.
Quais são os diferentes tipos de linhagem de dados?

Quais são os diferentes tipos de linhagem de dados?

A linhagem de dados inclui as linhagens técnica e de negócio.

A linhagem de negócio se concentra na visão geral da fonte de dados para ajudar as equipes de governança de dados e os usuários de negócio a entender o fluxo de dados entre diferentes fontes de dados em um cenário de dados da organização.

A linhagem técnica se concentra no fluxo de dados da organização nos níveis da tabela e coluna, nas regras e camadas de transformação subjacentes, em arquivos/tabelas temporários e outras informações para os usuários técnicos entenderem a jornada de dados de uma organização.

As visualizações de linhagens técnica e de negócio são essenciais para as organizações entenderem o valor de seus dados e avaliar facilmente o impacto das mudanças. A capacidade de detalhar da linhagem de negócio para a linhagem técnica (ou vice-versa) fornece maior flexibilidade para analistas de dados obterem rapidamente a perspectiva correta do fluxo de dados.

Nem todas as linhagens de dados são entregues da mesma forma. A referida linhagem pode reunir a linhagem com base no elemento ou em nomes de atributo e composição. Uma linhagem de dados mais detalhada se baseia no código no nível do elemento e é mais confiável.

A linhagem de dados está evoluindo rapidamente para se tornar mais inteligente, usando IA para capturar padrões em código difícil de analisar.

O que é uma linhagem e um catálogo de dados?

Um catálogo de dados é uma visualização centralizada dos ativos de dados em sua organização que é usado para gerenciar, alavancar, proteger, entender e compartilhar os dados da organização. Um catálogo de dados abrange os metadados, ou dados que descrevem seus dados, que são coletados de fontes e plataformas de dados e de aplicativos e sistemas de business intelligence em todo seu negócio. Ele é complementado com o contexto de negócio e orientação de governança de dados. A catalogação de dados automatizada aproveita a descoberta de dados automatizada e os recursos de coleta de metadados usando conectores de dados específicos da plataforma para metadados de dados inativos. A linhagem de dados automatizada aproveita os metadados de dados inativos. Ela também captura metadados de dados em movimento aproveitando os recursos de engenharia reversa dos conectores de dados. Ela analisa o código envolvido no movimento de dados, como código processual e ETL, para mapear o fluxo de dados em toda a organização. A linhagem resultante ajuda equipes de TI e de governança de dados e usuários de negócio a entender visualmente os ativos de dados disponíveis na organização. Ela especifica a jornada dos dados da origem inicial para as aplicações de destino final e todas as transformações de dados nesse intervalo.

O que é uma ferramenta de linhagem de dados?

Uma ferramenta de linhagem de dados usa automação para descobrir e mapear o fluxo dos dados das origens iniciais até o destino final, passando pela transformação e processamento. Por exemplo, mapeando os pipelines de dados que preenchem seu data warehouse, uma ferramenta de linhagem de dados pode fazer a engenharia reversa das tarefas de ETL que precedem imediatamente o carregamento dos dados em um armazém de destino. Fazendo a iteração em todas as origens de dados, a ferramenta acumula uma lista de tarefa e documenta cada parte descoberta da linhagem. No final da sequência, o processo terá um mapeamento reverso dos pipelines para preencher esse armazém. As ferramentas de linhagem de dados automatizadas facilitam a coleta e a atualização da linhagem de dados. Elas economizam cerca de 95% do tempo que os administradores de dados atribuem tradicionalmente aos métodos de linhagem de dados manuais.

Onde posso obter ajuda com a linhagem de dados?

Onde posso obter ajuda com a linhagem de dados?
A erwin Data Intelligence da Quest® oferece uma linhagem de dados automatizada da origem ao destino e com todas as transformações de dados nesse intervalo. Equipes de TI e de governança de dados e usuários de negócio podem explorar a linhagem de dados com contexto técnico e de negócio, visibilidade da qualidade dos dados e indicadores de dados confidenciais.

Recursos de linhagem de dados

Visualizar tudo
Webcast sob demanda

The value of automated data lineage

The value of automated data lineage | erwin Data Intelligence Webcast
Vídeo

Understand your Data Landscape with the erwin Data Intelligence Suite

erwin Data Intelligence provides powerful capabilities to help organizations see and govern their entire data landscape. Capab...
Leia o White Paper

Tech Brief: Data Lineage

This paper by David Loshin explores the benefits and common challenges of data lineage, plus using a data catalog approach to p...