Eval

Ohne Evals wissen Sie nicht, ob Ihre KI-Funktion gut arbeitet, Sie wissen nur, dass sie etwas zurückgibt. Ein Eval-Set ist eine Sammlung realistischer Beispiele mit dem gewünschten Ergebnis. Damit messen Sie objektiv, ob das System stimmt und ob eine Änderung etwas verbessert oder unbemerkt etwas anderes kaputtmacht.

Prüfungen können hart sein (stimmt der Betrag exakt), von einem Modell bewertet werden (ist diese Antwort hilfreich und sauber formuliert) oder bei Grenzfällen von einem Menschen kontrolliert werden. Zusammen ergeben sie eine Kennzahl, die Sie bei jeder Änderung erneut ermitteln.

Ehrlich gesagt: Evals sind der am meisten unterschätzte Teil der meisten KI-Projekte. Alle wollen bauen, kaum jemand will messen. Gerade deshalb sind sie für uns die Trennlinie zwischen einer Demo, die „meistens funktioniert“, und einem System, mit dem Sie guten Gewissens in den Produktivbetrieb gehen. Bauen Sie das Eval-Set ab dem ersten Tag auf.