Pour bénéficier d’une expérience Web optimale, utilisez Internet Explorer 11 ou version ultérieure, Chrome, Firefox, ou Safari.

Qu’est-ce que le lignage des données ?

Le lignage des données est le parcours des données de votre organisation : depuis leur création à la source, en passant par leur déplacement et leur transformation vers et hors des espaces de stockage des sauvegardes et des plateformes de données dans et en dehors de votre entreprise, jusqu’à leur destination de repos finale dans les applications et la business intelligence utilisées pour les opérations et la prise de décision. Le lignage des données de bout en bout fournit une vue complète et détaillée du déplacement d’un ensemble de données particulier dans et à travers votre organisation ainsi qu’à l’extérieur de celle-ci. Il vous aide à planifier vos efforts de modernisation informatique, à résoudre les problèmes de qualité des données et à aborder la conformité aux normes en vigueur et la gouvernance des données. Il vous permet aussi de visualiser et de connaître rapidement les données disponibles et leurs relations au sein de votre organisation.
Qu’est-ce que le lignage des données ?

Pourquoi le lignage des données est-il important ?

Tracer la source et le flux de données est une tâche ardue. Au fur et à mesure que votre organisation accumule des systèmes d’information, elle accumule également des points d’entrée de données ainsi que des règles de transformation pour des données sans cesse en mouvement. De plus, les outils d’intégration des données, les outils ETL (Extract, Transform and Load), le code de procédure, et même les API et les rapports de business intelligence (BI) agrègent et transforment constamment les données. Il en résulte qu’il est difficile de compiler manuellement et de comprendre le réseau complexe des données formé par les systèmes dans votre organisation et de le présenter par un flux visuel simple. Le lignage des données automatisé peut fournir aux équipes informatiques et aux équipes chargées de la gouvernance des données ainsi qu’aux utilisateurs professionnels la visibilité et le contexte actuels des données organisationnelles afin de travailler plus efficacement, de prendre des décisions plus éclairées et de mieux exploiter et protéger les données à leur disposition.

Non seulement le lignage des données vous permet de comprendre d’où proviennent les données, leur transformation et leur déplacement dans votre organisation, mais il peut regrouper la gouvernance et les caractéristiques techniques et métier, mettre en évidence les données sensibles et d’autres classifications de données, fournir une visibilité sur la qualité des données, notamment en aidant les utilisateurs à effectuer rapidement une analyse des causes premières des problèmes de qualité des données, et bien plus encore. En l’absence de fonctionnalités d’analyse d’impact automatisée ou conjointement avec celles-ci, le lignage des données peut être extrêmement utile pour délimiter et évaluer l’impact des efforts potentiels de gestion des données, de data intelligence et de migration des plateformes de données.

Pourquoi le lignage des données est-il important ?

Avantages du lignage des données

Impact sur l’entreprise et visibilité sur le paysage des données

La connaissance et la compréhension des données disponibles, de leur transformation et de leur flux à travers plusieurs systèmes peuvent influencer et étayer les décisions métier que vous prenez. Par exemple, la compréhension du parcours et du contexte des données peut vous aider à répondre aux questions des rapports de la business intelligence : qui possède les données ? Qui connaît les conseils en matière de gouvernance ? Comment adapter les données à votre utilisation ? Grâce au lignage des données, vous pouvez mieux comprendre les données alignées sur les initiatives métier stratégiques, où et comment les données ont été obtenues et si elles doivent être approuvées, étant donné leur parcours de lignage en amont, les scores de qualité des données associés, etc. De plus, les organisations peuvent visualiser plus facilement les secteurs à risque dans lesquels des informations confidentielles stratégiques peuvent échapper à la société.

Support fondamental de la gouvernance des données

La propriété des données, leur traçabilité et la responsabilité associée sont au cœur d’un programme de gouvernance des données judicieux. Associé à l’automatisation, le lignage des données peut aider les propriétaires et les gestionnaires de données, ainsi que les équipes informatiques et les utilisateurs professionnels à comprendre et valider l’utilisation des données. Le lignage automatisé des données assure un lignage horizontal des données, de leur source initiale à leur cible en passant par toutes les transformations qu’elles subissent entre les deux, ainsi qu’un lignage vertical des données, qui donne des informations sur les associations entre les actifs métier et techniques. Le lignage des données de bout en bout, à la fois en amont et en aval, peut indiquer à quel moment et par qui des modifications ont été apportées. De plus, il regroupe toute la gouvernance technique et métier dans une vue centrale pour l’ensemble des utilisateurs des données. Le lignage des données est un outil de transparence essentiel pour les équipes chargées de la gouvernance des données.

Conformité aux normes en vigueur et auditabilité

Les conditions métier et les stratégies de données doivent être implémentées par le biais de règles métier documentées dans votre solution de data intelligence et de gouvernance. Vous pouvez alors utiliser le lignage des données pour suivre la conformité aux normes en vigueur avec ces règles, en intégrant des contrôles d’auditabilité et de validation à chaque transformation des données. Le lignage des données offre également une preuve visuelle et rapide aux clients, collaborateurs et auditeurs que vous prenez au sérieux les questions de confidentialité et les réglementations en matière de conformité et que vous mettez en œuvre des programmes pour soutenir vos efforts.

Collaboration entre les équipes

Le lignage des données propose une vue commune des données de votre organisation et de leur parcours dans les lignes métier et dans les environnements analytiques modernes et anciens disparates. Cette transparence des données et de leur utilisation favorise le partage de données supplémentaires et identifie clairement les transferts stratégiques pendant les projets d’intégration des données. Grâce à un point de référence central, les équipes de votre organisation peuvent collaborer plus efficacement pour s’assurer que les données de votre organisation sont pleinement exploitées et correctement protégées.

Visibilité et ciblage de la qualité des données

L’analyse des causes premières est la première étape pour remédier à une mauvaise qualité des données. Grâce aux informations du lignage des données sur la qualité des données, les gestionnaires de données peuvent remonter le flux d’informations pour déterminer si les normalisations et les transformations des données ont été effectuées correctement. Le lignage des données de bout en bout vous permet de corriger un problème de qualité des données à sa source. De plus, les équipes peuvent surveiller de manière proactive les principaux pipelines de données afin d’assurer l’intégrité des données. Le lignage des données fournit également aux utilisateurs professionnels une vue directe de la qualité des données, ce qui renforce la confiance.

Planification informatique et gestion des données

Le lignage des données fournit les informations nécessaires aux architectes et ingénieurs de données pour comprendre l’état actuel de votre paysage de données et gérer et planifier intelligemment la modernisation informatique, les migrations d’entrepôt de données et d’autres efforts stratégiques. Grâce à lui, vous visualisez l’étendue du projet indiquant le nombre d’applications, de règles de transformation et de divisions qui seront impactées. La visibilité des données sensibles et des autres classifications de données, les indicateurs de qualité des données ainsi que le contexte de gouvernance facilement disponible aident les équipes informatiques à mieux gérer les données au sein de l’organisation.

Préparation des données

Le lignage des données fournit aux analystes de données préparant les données le calendrier nécessaire pour s’assurer que les données les mieux adaptées sont sélectionnées pour l’analyse souhaitée. Le lignage des données leur permet de visualiser les systèmes, environnements, tableaux et colonnes disponibles. Il sert de point de référence pour le nommage physique et logique et peut inclure des indicateurs de qualité des données et de données sensibles ainsi que des protections en matière de gouvernance afin de guider efficacement le travail des analystes et d’accélérer la préparation des données.

Le lignage des données fait-il partie de la gouvernance des données ?

Oui. Une gouvernance des données efficace nécessite que les glossaires métier, les dictionnaires de données et les politiques de confidentialité des données soient réunis dans un emplacement central. Toutefois, à mesure que le volume de données augmente dans une organisation, ces objets se retrouvent dans différents formats, à différents emplacements et sont exprimés de différentes manières. Le lignage des données aide l’organisation à assurer facilement leur suivi, leur surveillance et leur mise à jour au fil du temps. Il présente des avantages en matière de pratiques de gouvernance telles que la cohérence de la terminologie, la correction de la qualité des données, les audits des pipelines de données et l’analyse des causes premières pendant les incidents de données.
Quels sont les différents types de lignages des données ?

Quels sont les différents types de lignages des données ?

Le lignage des données comprend un lignage métier et un lignage technique.

Le lignage métier porte sur la vue d’ensemble des sources de données afin d’aider les équipes chargées de la gouvernance des données et les utilisateurs professionnels à comprendre le flux des données circulant entre différentes sources de données dans le paysage de données d’une organisation.

Le lignage technique porte sur le flux de données de l’organisation au niveau des tableaux et des colonnes, les couches et les règles de transformation sous-jacentes, les tables/fichiers temporaires ainsi que les autres objets intéressants pour les utilisateurs techniques afin de comprendre le parcours des données de l’organisation.

Les vues du lignage métier et du lignage technique sont essentielles aux organisations pour comprendre la valeur de leurs données et évaluer facilement l’impact de leurs modifications. La possibilité de passer du lignage métier au lignage technique, ou inversement, ajoute la flexibilité nécessaire aux analystes de données pour obtenir rapidement la bonne perspective du flux de données.

Le lignage des données automatisé n’est pas toujours assuré de la même façon. Un lignage de référence peut regrouper des lignages en fonction de leur composition et des noms d’élément ou d’attribut. Le lignage des données plus détaillé et plus fiable est basé sur le code au niveau des éléments.

Le lignage des données évolue rapidement pour devenir plus intelligent en utilisant l’intelligence artificielle pour capturer des schémas dans le code difficile à analyser.

Que sont un lignage et un catalogue de données ?

Un catalogue de données est une vue centralisée des actifs de données dans une organisation qui permet de gérer, d’exploiter, de protéger, de comprendre et de socialiser les données d’une organisation. Un catalogue de données comprend les métadonnées (données décrivant vos données) qui sont collectées à partir des sources de données, des plateformes de données, des applications et des systèmes de business intelligence dans votre entreprise. Il est ensuite enrichi par le contexte métier et les conseils de gouvernance des données. Le catalogage automatisé de données tire parti de la détection automatisée des données et des fonctionnalités de collecte de métadonn��es en utilisant des connecteurs de données propres aux plateformes pour les métadonnées des données au repos. Le lignage des données automatisé exploite les métadonnées des données au repos. Il capture également les métadonnées des données en transit en tirant parti des fonctionnalités de rétro-ingénierie des connecteurs de données. Il analyse le code impliqué dans le déplacement des données, par exemple le code de procédure et le processus ETL pour mapper le flux de données dans une organisation. Le lignage obtenu aide les équipes informatiques et chargées de la gouvernance des données ainsi que les utilisateurs professionnels à comprendre visuellement les actifs de données disponibles dans l’organisation. Il spécifie le parcours des données de leur source d’origine aux applications cibles finales, ainsi que toutes les transformations de données effectuées entre les deux.

Qu’est-ce qu’un outil de lignage des données ?

Un outil de lignage des données utilise l’automatisation pour détecter et mapper le flux de données des sources de données d’origine aux destinations finales en passant par leur transformation et leur traitement. Par exemple, en mappant les pipelines de données de votre entrepôt de données, un outil de lignage des données peut procéder à la rétro-ingénierie des tâches ETL qui précèdent immédiatement le chargement des données dans l’entrepôt cible. En effectuant l’itération dans toutes les sources de données, l’outil développe une liste des tâches et documente chaque élément détecté du lignage. À la fin de la séquence, le processus a rétro-mappé les pipelines pour remplir cet entrepôt. Grâce aux outils de lignage des données automatisé, il est pratique de collecter les données et de tenir le lignage des données à jour. Ils permettent aux gestionnaires de données de gagner jusqu’à 95 % du temps qu’ils occupent traditionnellement aux méthodes manuelles de lignage des données.

Où puis-je obtenir de l’aide sur le lignage des données ?

Où puis-je obtenir de l’aide sur le lignage des données ?
erwin Data Intelligence par Quest® effectue le lignage des données automatisé de leur source à leur cible, avec toutes les transformations qu’elles subissent entre les deux. Les équipes informatiques et chargées de la gouvernance des données ainsi que les utilisateurs professionnels peuvent parcourir le lignage des données présentant les contextes techniques et métier, une visibilité sur la qualité des données ainsi que des indicateurs des données sensibles.