Evaluatie

Zoeken en evalueren voordat u verder automatiseert.

Maak een evaluatieset met echte vragen

Een evaluatieset verandert een vaag kwaliteitsgevoel in herhaalbaar bewijs. Neem gewone taken, lastige randgevallen en vragen zonder betrouwbaar antwoord op. Een verzameling met uitsluitend makkelijke voorbeelden kan juist de belangrijkste fouten verbergen.

Evaluatie
Kies de fouten die voor de taak belangrijk zijn

Precisie en recall beschrijven verschillende aspecten van een selectie. Precisie vraagt welk deel van de geselecteerde items relevant is; recall welk deel van alle relevante items gevonden is. Geen van beide verklaart zonder context de kosten van een fout.

Evaluatie
Laat een systeem aangeven dat bewijs ontbreekt

Bij sommige taken is een bruikbare onthouding beter dan een verzonnen antwoord. Onthouding geeft het systeem een expliciete uitkomst wanneer bewijs ontbreekt. Zij moet de gebruiker naar verduidelijking of een ander kanaal leiden, niet naar een onbegrijpelijke fout.

Evaluatie
Kijk verder dan één gemiddelde score

Een sterk gemiddelde kan zwakke resultaten voor een taal, documenttype of verzoekcategorie verbergen. Deelgroepanalyse groepeert uitkomsten naar betekenisvolle omstandigheden. Zo ontdekt een team waar het systeem een smaller bereik of betere ondersteunende gegevens nodig heeft.

Evaluatie
Vergelijk een wijziging voordat u haar breed uitrolt

Een nieuwe prompt, zoekmethode of model kan één taak verbeteren en een andere verslechteren. Een wijzigingscontrole vergelijkt de kandidaat met een bekende referentie. Beoordeel kwaliteit, vertraging en gebruikskosten, niet slechts één overtuigende demonstratie.

Evaluatie

Zoek in de bibliotheek