Begrippenlijst AI-techniek
Data engineering
Wat is data engineering?
Data engineering is het vak van gegevens uit je systemen ophalen, opschonen, combineren en betrouwbaar klaarzetten, zodat rapportages, analyses en AI-toepassingen er zonder handwerk op kunnen draaien.
Een data engineer bouwt de leidingen waar gegevens doorheen stromen, van je CRM, boekhouding en ERP naar de plek waar ze worden gebruikt. Die leidingen heten datapijplijnen: ze halen gegevens op, zetten formaten en definities gelijk, controleren de kwaliteit en schrijven het resultaat weg, telkens opnieuw en zonder dat iemand een export hoeft te draaien. Waarom dat het fundament onder elke AI-toepassing is, lees je bij het datafundament voor AI.
Het klassieke doel is een datawarehouse of data lakehouse voor business intelligence. Met AI erbij verschuift het werk. Een AI-agent heeft actuele gegevens nodig uit de bronsystemen zelf, met vaste controles op wat hij leest. Data engineering gaat dan net zo goed over koppelingen en controles als over opslag.
Voor EVOKE bouwden we zo een uniforme datalaag op AFAS, met automatische controles die afwijkingen vastleggen tot op boekingsniveau. Daarop draait de AI-laag die vragen over balans, winst-en-verlies en kasstroom in gewone taal beantwoordt. Zonder dat voorwerk is een AI-toepassing zo betrouwbaar als de slechtste export waar hij uit leest.