Wat is ELT?
ELT staat voor Extract Load Transform. Dat is het proces waarbij je data uit een bronsysteem haalt, inlaadt in je target systeem en ze in dat target systeem transformeert. ELT is het jongere broertje van ETL. Of je kiest voor ELT of ETL hangt af van je use case.
De hoeveelheid te verwerken data is de doorslaggevende factor om je keuze te bepalen. Waar ETL perfect werkt voor kleinere hoeveelheden, is ELT volledig gericht op de verwerking van grote hoeveelheden data. Met ELT werk je dan ook best in de cloud zodat je altijd over voldoende opslagcapaciteit beschikt. Verder is een krachtige computer met een schaalbaar geheugen een must om de groei van je data te kunnen bijbenen.
Hoe werkt ELT?
Tijdens het ELT proces gaan data rechtstreeks van je bron- naar je target systeem. Bewerkingen gebeuren pas na het inladen op het target systeem. En dat geeft, zeker in combinatie met cloud computing waar meer rekenkracht aanwezig is, heel wat bijkomende opties.
Extract
Tijdens extract haal je de data uit je bronsysteem. Je selecteert de data die je wilt exporteren en zet die klaar.
Alles begint bij de selectie van je data uit je bronsystemen. Je doel bepaalt het bronsysteem dat je aanspreekt. Het is ook mogelijk om meerdere bronnen aan te spreken en data samen te brengen.
Het belang van Extract kan je niet overschatten. Hoe nauwkeuriger je je data selecteert en uploadt, hoe waardevoller de informatie die je eruit haalt.
Load
Meteen nadat je jouw data hebt geselecteerd, importeer je die in je doelsysteem. De data worden dus zonder wijzigingen overgezet. Het doelsysteem bevindt zich bij voorkeur in een cloud omgeving, vooral omdat het bij ELT (meestal) om grote hoeveelheden data gaat.
Doordat je je data onmiddellijk inlaadt, bespaar je veel tijd. Dat is misschien wel het grootste voordeel van ELT. Achteraf kan je nog altijd wijzigingen aanbrengen en kiezen welke data je wilt verwerken.
Transform
Zodra je je data hebt ingeladen in je doelsysteem, kan je ermee aan de slag. Je kan er verschillende bewerkingen, berekeningen en analyses op uitvoeren om zo meer en/of nieuwe businessinzichten te verkrijgen.
De uitdagingen van ELT
Voordelen van ELT
Efficiënt
Doordat je de data pas verwerkt wanneer je ze nodig hebt, zet je jouw computer resources uiterst efficiënt in. ELT voert geen onnodige acties uit. Gegevens die je niet gebruikt, worden ook niet getransformeerd. Vandaar dat ELT voor big data de absolute voorkeur geniet.
Data snelheid
Doordat de transformatie pas gebeurt na het inladen in het target systeem, zijn jouw data snel beschikbaar.
Time to market
Naast het feit dat je je data sneller oplaadt, is ook je volledige ELT omgeving sneller klaar. Je hoeft bij de opstart immers niet over iedere transformatie na te denken. Je kan later altijd nog bijsturen.
Nadelen van ELT
Compliance
Aangezien je van extractie onmiddellijk overgaat naar laden, neem je alle data mee. De laatste GDPR trends pleiten ervoor om gevoelige data zo weinig mogelijk te transformeren. Daarom is ELT om legale redenen niet altijd haalbaar.
Jonge technologie
ELT richt zich vooral op cloud computing. Je data zit in de cloud en nadien kan je die verwerken met schaalbare servers. ELT staat nog in zijn kinderschoenen waardoor nog niet alle mogelijkheden bekend zijn. Het wordt wel alsmaar populairder.
ELT & Data engineering
Data engineering zet je data klaar, verwerkt ze en stelt ze beschikbaar om er vlot analyses op uit te voeren. ELT is een onderdeel van data engineering. Het verwerkt je data en maakt het beschikbaar in andere (cloud) systemen zodat je ermee aan de slag kunt.