de en
Glossar Begriffserklärung

Glossar

ETL (Extract, transform, load)

Extract, transform, load (ETL) bezeichnet einen wesentlichen Prozess beim Betrieb eines Data Warehouse, der sich aus drei Phasen zusammensetzt:

  • Extraktion der relevanten Daten aus verschiedenen Quellen
  • Transformation der Daten mittels Strukturanpassungen und Bereinigung
  • Laden der Daten in das Data Warehouse 

Das Verfahren lässt sich als allgemeiner Prozess der Informationsintegration auch auf andere Datenbanken übertragen. Dabei gilt es, heterogen strukturierte Daten aus unterschiedlichen Quellen zusammenzuführen. Der Prozess muss sowohl effizient ablaufen, um Sperrzeiten bei den Quellen zu minimieren, als auch die Qualität der Daten sichern, damit sie trotz möglicher Änderungen der Quellen vollständig und konsistent im Data Warehouse gehalten werden können. Im Allgemeinen wird bei allen Schritten ein Repositorium eingebunden, das insbesondere die notwendigen Datenbereinigungs- und Transformationsregeln sowie die Schemadaten als Metadaten aufnimmt und langfristig hält.

 

Extraktion

Bei der Extraktion wird in der Regel ein Ausschnitt der Daten aus den Quellen extrahiert und für die Transformation bereitgestellt. Die Quellen können aus verschiedenen Informationssystemen mit verschiedenen Datenformaten und -strukturen bestehen. Hierbei findet eine Schematransformation vom Schema der Quelldaten in das Schema des Arbeitsbereichs statt. Um das Data Warehouse mit aktuellen Daten zu versorgen, muss die Extraktion regelmäßig stattfinden. Dies kann synchron mit den Quellen oder asynchron geschehen. Die asynchrone Extraktion kann periodisch, ereignisgesteuert oder anfragegesteuert erfolgen.

  • periodisch: Die Quelle erzeugt in regelmäßigen Abständen Auszüge ihrer Daten, die regelmäßig abgefragt werden
  • ereignisgesteuert: Die Quelle erzeugt bei bestimmten Ereignissen - beispielsweise nach einer bestimmten Anzahl von Änderungen - einen Auszug
  • anfragegesteuert: Die Quelle stellt Auszüge erst auf Anfrage bereit

Hierbei ist zu beachten, dass der Zugriff auf die Quellsysteme nur während dessen "Ruhezeit" stattfinden kann, also nach der Nachverarbeitung und nach deren Sicherung. Die Extraktion hat also nur ein kleines Zeitfenster zur Verfügung und muss daher möglichst performant erfolgen. Es werden daher während der Extraktion nur minimale Transformationen vorgenommen. Bei den Auszügen aus den Quellen kann es sich um ganze oder teilweise Snapshots handeln oder um Teile von Logfiles, in denen alle Änderungen zum jeweils letzten Snapshot aufgelistet sind.

Transformation

Die aus den unterschiedlich strukturierten Quellen stammenden Daten, denen unterschiedlichen Wertebereiche zugrundeliegen können, müssen in ein einheitliches Datenschema transformiert werden. Die Transformation besteht im Wesentlichen aus der Anpassung der Daten an die vorgegebenen Zielstrukturen (Schema Mapping) des Arbeitsspeichers. Unter Transformation fällt hierbei auch die meist aufwändige Bereinigung der Daten (Data Cleansing). Die Transformation findet in einem eigenen Arbeitsbereich (Staging Area) statt.

Typische Transformationen sind beispielsweise

  • Eliminierung von Duplikaten (Objektidentifizierung)
  • Schlüsselanpassung (z.B. unterschiedliche Ländercodierungen hin zu DIN ISO Ländercodes)
  • Anpassung von Datentypen (z.B. numerische Darstellung des Tagesdatums der Form YYYYMMDD hin zu dem standardisierten Datumsformat vom Datentyp date)
  • Anpassung von Datenwerten (z.B. unterschiedliche Codierung des Geschlechts wie 1 (männlich), 2 (weiblich) hin zu m (male) und f (female))
  • Anpassung von Maßeinheiten (z.B. unterschiedliche Volumina wie Gallone und Hektoliter hin zu Liter)
  • Aggregation (z.B. Einzelumsätze eines Vertriebsprodukts hin zu monatlichen Umsätzen je Vertriebsprodukt).

Laden

Beim Laden müssen die Daten aus dem Arbeitsbereich in das Data Warehouse eingebracht werden. Dies soll in der Regel möglichst effizient geschehen, so dass die Datenbank während des Ladens nicht oder nur kurz blockiert wird und ihre Integrität gewahrt wird. Zusätzlich kann eine Versionsgeschichte angefertigt werden, in der Änderungen protokolliert werden, so dass auf frühere Zeitpunkte zurückgegriffen werden kann. Im Hinblick auf die Integration der Daten im Data Warehouse ist eine weitere Schematransformation vom Schema des Arbeitsbereichs in das Schema des Data Warehouses notwendig. 

 
Wo Sie uns finden:
Im Mediapark 5a
50670 Köln
Deutschland
Telefon+49 221 952681-190
Fax+49 221 952681-114
E-Mail infoit-auditcom