Wat is ETL?
(Extract Transform Load)
ETL (Extract Transform Load) is het klassieke proces waarbij je data uit een bronsysteem haalt, die data bewerkt en vervolgens oplaadt in je doelsysteem.
Wat is ELT?
(Extract Load Transform)
ELT (Extract Load Transform) is het nieuwere proces waarbij je data uit je bronsysteem haalt, die data zonder transformatie in je doelsysteem importeert en daarna, dus in je doelsysteem, bewerkt.
Het verschil tussen ETL en ELT
Het verschil tussen ETL en ELT zit dus in de volgorde van de verwerking van je gegevens, en in de locatie waarop de transformatie plaatsvindt.
- ETL verwerkt data op een aparte server terwijl ELT data verwerkt op dezelfde server nadat ze zijn ingeladen.
- ELT stuurt de gegevens zonder verwerking naar het target systeem terwijl ETL de data verwerkt alvorens ze door te sturen.
Beide processen hebben voor- en nadelen. Afhankelijk van de toepassing en de hoeveelheid data die je wilt gebruiken, kies je voor ETL of ELT. We zetten beide systemen en hun kenmerken voor je op een rijtje.
Eigenschappen van ETL en ETL
| Eigenschap | ETL | ELT |
| Flexibiliteit | Je moet op voorhand goed nadenken over welke data je wilt verwerken, en goed plannen om zeker te zijn dat je alle nodige data mee opneemt. | Aangezien je de data pas na het inladen transformeert, kan je ook na het laden nog aanpassingen doen. |
| Development | Dankzij een eerste planning verwerk je enkel relevante data waardoor je sneller kan ontwikkelen. | Door de flexibelere aanpak wijzigen tijdens het proces nog vaak de vereisten waardoor de ontwikkelingstijd kan uitlopen. |
| Eindgebruiker | Gebruikers die rapporten lezen. | Datawetenschappers en analisten. |
| Hardwarevereisten | Veel resources aangezien alle data getransformeerd moeten worden. | Werkt meestal in de cloud om schaalbaar te werken. |
| Skills | Kennis van de gekozen ETL tool. | De meeste ELT verwerkingen kan je met standaard DBMS functies uitvoeren. |
| Technologische maturiteit | ETL bestaat al sinds de jaren 2000, er zijn dus veel ervaren consultants. Ook zijn er veel tools beschikbaar om taken te automatiseren. | ELT is relatief jong, de community van consultants met ervaring is dus klein. |
| Use cases | Werkt het best voor relationele of gestructureerde data. | Werkt het best voor niet-relationele of ongestructureerde data en is ideaal voor data lakes.
Ook geschikt voor standaard relationele data. (=homogeneous relational data?) |
| Hoeveelheid data | Klein | Zeer groot |
Het ontstaan van ELT
ETL bestaat dus al veel langer dan ELT. ETL is een degelijk proces en heeft zijn nut al lang bewezen. Waarom dan de behoefte aan een nieuw proces, ELT? Vooral big data spelen een belangrijke rol in de opkomst van ELT. De hoeveelheid data is vandaag aanzienlijk groter dan pakweg twintig jaar geleden. We werken met grotere servers waardoor de nood verdwijnt om de data te verwerken alvorens te importeren.
Ook de opkomst van cloud computing heeft de adoptie van ELT aanzienlijk versnelt. Die manier van werken en de opslagcapaciteit brengt nieuwe mogelijkheden met zich mee.
Toch is ETL nog lang niet afgeschreven. Het proces heeft nog wel altijd een belangrijke plaats op de markt. Welke aanpak je best kiest, verschilt van elke use case tot use case.
Wanneer kies je voor ELT in plaats van voor ETL?
Omdat ETL al langer en breder bekend is, is het dikwijls een kwestie van gewoonte om hiervoor te kiezen. Toch is het interessant om beide processen van dichterbij te bekijken voordat je een keuze maakt. We overlopen een voor een de factoren die je best meeneemt in je overweging.
Zeer grote hoeveelheden data
Voor de verwerking van grote hoeveelheden data biedt ELT de meeste voordelen. Zeker in combinatie met cloud computing werkt dat het efficiëntst.
Ongestructureerde data
Ook voor data die niet je niet in vaste structuren kunt gieten, zoals foto’s of video’s, heeft ELT de beste papieren.
Snelle opslag is een must
Sommige, zeer specifieke scenario’s vereisen dat je je data onmiddellijk verwerkt. ELT tools werken veel sneller werken dan ETL tools en genieten dus ook hier de voorkeur.
Flexibiliteit
Zeker als je nog niet exact weet waar je naar toe wilt, of als je op voorhand weet dat je tijdens het proces regelmatig moet bijsturen, kies je ELT omdat je de data pas na het inladen transformeert.
Conclusie: ETL vs ELT
De verschillen tussen ETL en ELT zijn nu wel duidelijk. Klassiek grijpen we makkelijk terug naar ETL maar in sommige gevallen is het interessanter om voor ELT te kiezen.
Bekijk elke use case apart en maak een analyse van de vereisten. Op basis daarvan maak je de keuze tussen ETL of ELT.
Weet je niet waar en hoe je moet beginnen?
De data engineering experts van JUVO helpen je graag verder. Ze zetten hun kennis en ervaring met veel enthousiasme in voor jouw uitdaging.