Een evaluatieset verandert een vaag kwaliteitsgevoel in herhaalbaar bewijs. Neem gewone taken, lastige randgevallen en vragen zonder betrouwbaar antwoord op. Een verzameling met uitsluitend makkelijke voorbeelden kan juist de belangrijkste fouten verbergen.
EvaluatieEvaluatie
Zoeken en evalueren voordat u verder automatiseert.
Precisie en recall beschrijven verschillende aspecten van een selectie. Precisie vraagt welk deel van de geselecteerde items relevant is; recall welk deel van alle relevante items gevonden is. Geen van beide verklaart zonder context de kosten van een fout.
EvaluatieBij sommige taken is een bruikbare onthouding beter dan een verzonnen antwoord. Onthouding geeft het systeem een expliciete uitkomst wanneer bewijs ontbreekt. Zij moet de gebruiker naar verduidelijking of een ander kanaal leiden, niet naar een onbegrijpelijke fout.
EvaluatieEen sterk gemiddelde kan zwakke resultaten voor een taal, documenttype of verzoekcategorie verbergen. Deelgroepanalyse groepeert uitkomsten naar betekenisvolle omstandigheden. Zo ontdekt een team waar het systeem een smaller bereik of betere ondersteunende gegevens nodig heeft.
EvaluatieEen nieuwe prompt, zoekmethode of model kan één taak verbeteren en een andere verslechteren. Een wijzigingscontrole vergelijkt de kandidaat met een bekende referentie. Beoordeel kwaliteit, vertraging en gebruikskosten, niet slechts één overtuigende demonstratie.
Evaluatie