Begrippenlijst AI-techniek
Eval
Wat zijn evals?
Evals zijn geautomatiseerde tests voor AI-functies die meten hoe accuraat, veilig en stabiel ze presteren op een vaste set representatieve voorbeelden.
Zonder evals weet je niet of je AI-functie goed werkt, je weet alleen dat hij iets teruggeeft. Een eval-set is een verzameling realistische voorbeelden met het gewenste resultaat, waarmee je objectief meet of het systeem klopt, en of een aanpassing iets verbetert of stiekem iets anders breekt.
Checks kunnen hard zijn (klopt het bedrag exact), beoordeeld door een model (is dit antwoord behulpzaam en netjes), of door een mens nagekeken bij de twijfelgevallen. Samen geven ze een cijfer dat je bij elke wijziging opnieuw draait.
Eerlijk: evals zijn het meest onderschatte onderdeel van de meeste AI-projecten. Iedereen wil bouwen, bijna niemand wil meten. Juist daarom is het ons onderscheid tussen een demo die het "meestal wel doet" en een systeem waar je productie op durft te draaien. Bouw de eval-set vanaf dag één.