computer-wetenschap-bewerkt

Hoofdstuk 31
Extraction, Transformation and Load
Extraction, Transformation and Load, afgekort ETL, is een begrip uit de informatica. Het benoemt de processen
die gebruikt worden om gegevens uit verschillend gestructureerde databases te verenigen in een andere database,
veelal een datawarehouse.
• Extract: data uit een bron ophalen
• Transform: opgehaalde data omzetten volgens regels en opzoektabellen of combinaties maken van data uit
verschillende bronnen
• Load: de data wegschrijven op een andere plaats
31.1 Volgorde
Zoals de afkorting ETL aangeeft, bestaat het uit drie processen: extract, transform en load. Deze processen gaan als
volgt te werk:
31.1.1 Extract
Het eerste deel van een ETL-proces haalt de data uit de bronsystemen. De meeste datawarehousingprojecten gebruiken
data van verschillende bronsystemen en elk apart systeem kan ook een verschillend formaat/dataorganisatie
gebruiken. Gebruikelijke databronformaten zijn relationele databases en flat files, maar kunnen ook niet-relationele
databasesystemen gebruiken zoals IMS en andere datastructuren zoals VSAM en ISAM. Extraheren vormt de data
om naar een formaat voor het proces van transformatie. Een intrinsiek deel van de extractie is het ontleden van de
geëxtraheerde data, gevolgd door controle of de data aan de verwachte structuur beantwoordt. Indien dit niet het
geval is, wordt de data volledig niet toegelaten. Dit wordt ook wel eens het opschonen van data genoemd.
31.1.2 Transform
Het omvormen van data past een serie van regels of functies toe op de geëxtraheerde data van de bron om de data af
te leiden om geladen te worden naar het einddoel. Sommige databronnen zullen heel weinig of zelfs geen manipulatie
nodig hebben. In andere gevallen zal er één of meer transformatie types toegepast moeten worden om aan de zakelijke
en technische benodigdheden van het einddoel te beantwoorden:
• enkel sommige kolommen selecteren om te laden
• gecodeerde waarden vertalen (bijvoorbeeld het bronsysteem gebruikt andere waarden dan het warehouse voor
bepaalde delen), dit gebeurt automatisch
• vrije vormen van data coderen (bijvoorbeeld waarde “Mannelijk” naar a en “Meneer” naar b mappen)
64