Was bedeutet Datenherkunft?
Die Datenherkunft verfolgt den Verlauf Ihrer Unternehmensdaten nach: von ihrer Erstellung an der Quelle über deren Verschiebung und Transformation in und aus Datenplattformen und Repositorys (innerhalb oder außerhalb Ihres Unternehmens) bis hin zu ihrem finalen Speicherort in den Anwendungen und der Business Intelligence, die für reibungslose Abläufe und eine fundierte Entscheidungsfindung notwendig sind. End-to-End-Datenherkunft bietet einen umfassenden und detaillierten Überblick darüber, welche Daten in Ihr Unternehmen gelangen, wie sie sich darin fortbewegen und wie sie aus Ihrem Unternehmen wieder herausfließen. Sie kann Ihnen dabei helfen, IT-Modernisierungen zu planen, Probleme mit der Datenqualität zu beheben, Daten-Governance und Compliance zu erreichen und rasch die verfügbaren Daten und ihre Beziehungen innerhalb Ihres Unternehmens zu erkennen und nachzuvollziehen.
Warum ist die Datenherkunft wichtig?
Die Nachverfolgung der Quelle und des Flusses von Daten ist eine mühsame Aufgabe. Wenn Unternehmen immer mehr Informationssysteme einsetzen, häufen sich auch Dateneingangspunkte und Transformationsregeln für die sich ständig in Bewegung befindlichen Daten. Darüber hinaus werden Daten von Datenintegrations-Tools, ETL-Tools (Extract, Transform, Load), prozeduralem Code und sogar APIs und Business-Intelligence-Berichten ständig aggregiert und transformiert. Daher ist es schwierig, das komplizierte Datengeflecht, das in den Systemen vieler Unternehmen entstanden ist, manuell zu erfassen, es nachzuvollziehen und in einfachen Flussdiagrammen visuell darzustellen. Mithilfe der automatisierten Datenherkunft erhalten die IT, Daten-Governance-Teams und geschäftliche Benutzer aktuelle Einblicke und Kontext zu Unternehmensdaten, um effizienter arbeiten, fundiertere Entscheidungen treffen und die vorliegenden Daten besser nutzen und schützen zu können.
Mithilfe von Datenherkunft können Sie nachvollziehen, woher Ihre Daten stammen, wie sie transformiert werden und sich durch Ihr Unternehmen bewegen. Darüber hinaus können Sie mit den richtigen Datenherkunftsfunktionen unter anderem technische und geschäftliche Attribute und Governance vereinen, sensible Daten und andere Datenklassifizierungen hervorheben, die Datenqualität sichtbar machen und die Ursachenanalysen bei Datenqualitätsproblemen beschleunigen. Wenn Sie über keinerlei oder nur wenige automatisierte Auswirkungsanalysefunktionen verfügen, kann sich die Datenherkunft für die Bereichsdefinition und Bewertung der Auswirkungen potenzieller Datenverwaltungs-, Data-Intelligence- und Datenplattform-Migrationsinitiativen als extrem nützlich erweisen.
Vorteile der Datenherkunft
Geschäftliche Auswirkungen und Sichtbarkeit der Datenlandschaft
Wer die verfügbaren Daten kennt und ihre Transformation und den Fluss durch mehrere Systeme nachvollziehen kann, kann geschäftliche Entscheidungen besser treffen. Wenn Sie beispielsweise den Weg und Kontext von Daten verstehen, können Sie Fragen in Business-Intelligence-Berichten einfacher beantworten, etwa wem die Daten gehören, welche Governance-Anweisungen vorliegen und ob diese Daten für Ihre Verwendungszwecke geeignet sind oder nicht. Mit der Datenherkunft können Sie besser verstehen, welche Daten auf kritische Geschäftsinitiativen ausgerichtet sind, wo und wie die Daten erstellt wurden, ob sie angesichts ihrer Upstream-Herkunft vertrauenswürdig sind, welche Datenqualitätsbewertungen sie erhalten haben und vieles mehr. Unternehmen können zudem einfacher Risikobereiche erkennen, durch die kritische vertrauliche Daten aus dem Unternehmen fließen könnten.
Grundlegende Unterstützung der Daten-Governance
Dateneigentum, -verantwortlichkeit und -nachverfolgbarkeit sind Kernelemente eines soliden Daten-Governance-Programms. In Kombination mit Automatisierung kann die Datenherkunft Datenbesitzern, Datenverantwortlichen und IT- und geschäftlichen Benutzern helfen, die Datennutzung nachzuvollziehen und zu validieren. Die automatisierte Datenherkunft bietet eine horizontale Datenherkunft, die Daten von der ersten Datenquelle über alle Datentransformationen bis hin zum Ziel verfolgt, sowie eine vertikale Datenherkunft, durch die Sie Einblicke in die Verflechtungen von geschäftlichen und technischen Assets erhalten. End-to-End-Datenherkunft – Upstream und Downstream – kann sichtbar machen, wann und von wem Änderungen vorgenommen wurden, und bringt technische und geschäftliche Governance in einer zentralen Ansicht für sämtliche Datenbenutzer zusammen. Datenherkunft ist ein essenzielles Transparenz-Tool für Daten-Governance-Teams.
Compliance und Auditierbarkeit
In Ihrer Data-Intelligence- und Governance-Lösung sollten Geschäftsbedingungen und Datenrichtlinien mithilfe dokumentierter Geschäftsregeln implementiert werden. Anschließend können sie die Datenherkunft nutzen, um die Einhaltung dieser Regeln nachzuverfolgen und bei jeder Datentransformation Auditierbarkeits- und Validierungskontrollen zu integrieren. Mit der Datenherkunft können Sie Kunden, Mitarbeitern und Auditoren visuell und umgehend nachweisen, dass Sie die Compliance und den Datenschutz ernst nehmen und diesbezügliche Programme implementiert haben.
Zusammenarbeit verschiedener Teams
Die Datenherkunft bietet eine gemeinsame Ansicht der Daten in Ihrem Unternehmen sowie ihres Wegs durch die Geschäftsbereiche und unterschiedlichen Legacy- und modernen Analyseumgebungen. Diese Datentransparenz und ihre Verwendung fördert den weiteren Austausch von Daten und identifiziert auf deutliche Weise kritische Übergaben bei Datenintegrationsprojekten. Mithilfe eines zentralen Referenzpunkts können Teams im gesamten Unternehmen effizienter zusammenarbeiten und sicherstellen, dass Daten in Ihrem Unternehmen optimal genutzt und angemessen geschützt werden.
Sichtbarkeit der Datenqualität und gezielte Behebung
Die Ursachenanalyse ist der erste Schritt zur Verbesserung der Datenqualität. Wenn die Datenherkunft Einblicke in die Datenqualität gewährt, können Datenverantwortliche den Informationsfluss zurückverfolgen und ermitteln, ob Standardisierungen und Transformationen von Daten ordnungsgemäß durchgeführt wurden. Mithilfe der End-to-End-Datenherkunft können Sie ein Problem mit der Datenqualität an der Wurzel anpacken und es Teams ermöglichen, wichtige Datenpipelines proaktiv zu überwachen und die Integrität von Daten sicherzustellen. Die Datenherkunft kann geschäftlichen Benutzern auch eine direkte Ansicht der Tauglichkeit von Daten liefern, was Vertrauen schafft.
IT-Planung und Datenverwaltung
Die Datenherkunft stellt die Einblicke und Informationen bereit, die Data Architects und Data Engineers benötigen, um den Ist-Zustand Ihrer aktuellen Datenlandschaft zu verstehen und auf intelligente Weise IT-Modernisierungen, Data-Warehouse-Migrationen und andere kritische Initiativen zu verwalten und zu planen. Sie bietet eine visuelle Darstellung des Projektumfangs, die zeigt, wie viele Anwendungen, Transformationsregeln und Geschäftseinheiten betroffen sein werden. Sichtbarkeit sensibler und anderer Daten, Indikatoren für Datenqualität und problemlos verfügbarer Governance-Kontext helfen IT-Teams dabei, Daten innerhalb des Unternehmens besser zu verwalten.
Datenvorbereitung
Mit der Datenherkunft erhalten Data Analysts, die Daten vorbereiten, die nötige Roadmap, um sicherzustellen, das die am besten geeigneten Daten für geplante Analysen ausgewählt werden. Datenherkunft liefert Analysten eine Ansicht der verfügbaren Systeme, Umgebungen, Tabellen und Spalten. Sie dient als Referenzpunkt für die physische und logische Benennung und kann Leitplanken für Datenqualität, Indikatoren für sensible Daten und Governance beinhalten, um Analysten effizientes Arbeiten zu ermöglichen und die Datenvorbereitung zu beschleunigen.
Ist die Datenherkunft Teil der Daten-Governance?
Ja. Eine effektive Daten-Governance setzt voraus, dass sich die Unternehmensnomenklatur, Datenwörterbücher und Datenschutzrichtlinien an einem zentralen Ort befinden. Wenn das Datenvolumen in einem Unternehmen weiter zunimmt, nehmen diese Objekte jedoch verschiedene Formate an, werden an unterschiedlichen Orten gespeichert und auf andere Weise angegeben. Die Datenherkunft hilft dem Unternehmen dabei, Daten im Laufe der Zeit einfach nachzuverfolgen, zu überwachen und zu aktualisieren. Sie bietet Vorteile für Governance-Praktiken, etwa die Einhaltung von konsistenter Terminologie, Behebung von Datenqualitätsproblemen, Auditierung von Datenpipelines und Ursachenanalysen bei Datenvorfällen.
Welche Arten der Datenherkunft gibt es?
Die Datenherkunft beinhaltet die geschäftliche und die technische Herkunft.
Die geschäftliche Herkunft konzentriert sich auf die Datenquellenübersicht und unterstützt Daten-Governance-Teams und geschäftliche Benutzer dabei, den Datenfluss zwischen verschiedenen Datenquellen innerhalb der Datenlandschaft eines Unternehmens nachzuvollziehen.
Die technische Herkunft konzentriert sich wiederum auf den Datenfluss eines Unternehmens auf der Ebene von Tabellen und Spalten, die zugrundeliegenden Transformationsebenen und -regeln, temporäre Tabellen/Dateien und andere Objekte, die für technische Benutzer interessant sind, um den Weg von Unternehmensdaten zu verfolgen.
Sowohl die geschäftliche als auch die technische Herkunftsansicht spielt für Unternehmen eine entscheidende Rolle, weil sie damit den Wert ihrer Daten verstehen und die Auswirkungen von Änderungen einfacher bewerten können. Wenn von der geschäftlichen bis zur technischen Herkunft – oder umgekehrt – Detailinformationen angezeigt werden können, erhalten Data Analysts mehr Flexibilität bei der Suche nach einem umfassenden Verständnis des Datenflusses.Nicht alle automatisierten Datenherkunftslösungen werden auf dieselbe Weise bereitgestellt. Eine referenzierte Datenherkunft zieht unter Umständen verschiedene Datenherkunftsformen basierend auf den Element- oder Attributnamen und der Zusammensetzung zusammen. Eine detailliertere Datenherkunft basiert hingegen auf dem Code auf Elementebene und ist vertrauenswürdiger.
Die Datenherkunft wird in schnellem Tempo immer intelligenter und nutzt künstliche Intelligenz, um Muster in Code zu erfassen, der sich nur mit Mühe analysieren lässt.
Was ist ein Datenkatalog und Datenherkunft?
Ein Datenkatalog ist eine zentralisierte Ansicht der Datenassets in einem Unternehmen. Er wird dazu verwendet, Unternehmensdaten zu verwalten, zu nutzen, zu schützen, nachzuvollziehen und zu sozialisieren. Datenkataloge enthalten Metadaten (oder Daten, die Ihre Daten beschreiben), die aus verschiedenen Datenquellen, Datenplattformen, Anwendungen und Business-Intelligence-Systemen in Ihrem Unternehmen erfasst werden. Diese werden dann mit geschäftlichem Kontext und Informationen zur Daten-Governance angereichert. Die automatisierte Datenkatalogisierung macht sich die automatische Datenerkennung und Metadaten-Erfassungsfunktionen zunutze und setzt dazu plattformspezifische Datenkonnektoren für ruhende Metadaten ein. Die automatisierte Datenherkunft nutzt ruhende Metadaten. Für die Erfassung von Metadaten während der Übertragung werden die Reverse-Engineering-Funktionen des Datenkonnektors genutzt. Dabei wird der an der Datenverschiebung beteiligte Code analysiert, zum Beispiel prozeduraler Code und ETL, um den Datenfluss im gesamten Unternehmen abzubilden. Die sich daraus ergebende Datenherkunft unterstützt IT- und Daten-Governance-Teams sowie geschäftliche Benutzer dabei, die verfügbaren Datenassets im Unternehmen visuell nachzuvollziehen. Sie veranschaulicht den Weg der Daten von der ursprünglichen Datenquelle zu den Zielanwendungen sowie alle dazwischen ablaufenden Datentransformationen.
Was ist ein Datenherkunfts-Tool?
Ein Datenherkunfts-Tool nutzt Automatisierung, um den Datenfluss von der ursprünglichen Datenquelle bis zu den Endzielen und alle Transformationen und Verarbeitungen dazwischen zu erkennen und abzubilden. Durch die Abbildung der Datenpipelines, die Ihr Data Warehouse auffüllen, kann ein Datenherkunfts-Tool unter Umständen ETL-Aufgaben, , die dem Laden von Daten in das Ziel-Warehouse unmittelbar vorausgehen, per Reverse-Engineering ermitteln. Das Tool durchläuft alle Datenquellen, trägt dabei eine Aufgabenliste zusammen und dokumentiert jedes erkannte Herkunftselement. Zum Ende der Sequenz hat der Prozess die Pipelines zur Auffüllung dieses Warehouse ausgehend vom Zielpunkt erfolgreich abgebildet. Mit automatisierten Datenherkunfts-Tools wird das Erfassen und ständige Aktualisieren der Datenherkunft praktikabler. Datenverantwortliche können damit bis zu 95 Prozent der Zeit einsparen, die normalerweise für manuelle Methoden zur Ermittlung der Datenherkunft investiert werden müsste.
Wo erhalte ich Unterstützung beim Thema Datenherkunft?
erwin Data Intelligence von Quest® bietet automatisierte Datenherkunft von
der Quelle bis zum Ziel und für alle Datentransformationen dazwischen. Die
IT, Daten-Governance-Teams und geschäftliche Benutzer können durch
die Datenherkunft navigieren und erhalten dabei transparente Einblicke in den
jeweiligen technischen und geschäftlichen Kontext sowie die
Datenqualität und profitieren von Indikatoren für sensible Daten.
Datenherkunftsressourcen
The value of automated data lineage
The value of automated data lineage | erwin Data Intelligence Webcast
Understand your Data Landscape with the erwin Data Intelligence Suite
erwin Data Intelligence provides powerful capabilities to help organizations see and govern their entire data landscape. Capab...
Tech Brief: Data Lineage
This paper by David Loshin explores the benefits and common challenges of data lineage, plus using a data catalog approach to p...
Blogs zur Datenherkunft
What is Data Lineage? Top 5 Benefits of Data Lineage
Data lineage is the journey data takes from creation, through its transformations over time. The erwin Experts highlight the top 5 benefits of data l...
Michael Adjei
Why You Need End-to-End Data Lineage
Not Documenting End-to-End Data Lineage Is Risky Business – Understanding your data’s origins is key to successful data governance. Not everyone unde...
Michael Adjei
Demystifying Data Lineage: Tracking Your Data's DNA
From ensuring GDPR compliance to maximizing data's value, for any healthy data governance initiative, data lineage should be the first step.
Danny Sandwell
Building data maturity: 7 steps to achieve data maturity and maximize data value
Data maturity allows users to easily shop for datasets. However, achieving data maturity can be a challenge. Explore 7 steps to get started.
Susan Laine
Key findings on the 2023 state of data intelligence
Get insights from 220 IT professionals about their key challenges and investments in their data intelligence and data governance initiatives.
Susan Laine