Het idee
Bij sommige taken is een bruikbare onthouding beter dan een verzonnen antwoord. Onthouding geeft het systeem een expliciete uitkomst wanneer bewijs ontbreekt. Zij moet de gebruiker naar verduidelijking of een ander kanaal leiden, niet naar een onbegrijpelijke fout.
Ontwerpkeuze
Leg voorwaarden voor onvoldoende bewijs vast en evalueer ze met moeilijke vragen. Behandel de uitgesproken zekerheid van een taalmodel niet als een gekalibreerde kans. Meet zowel ongefundeerde antwoorden als onnodige weigeringen.
Uitgewerkt voorbeeld
Een vraag verwijst naar een document dat niet in de verzameling staat. De assistent benoemt de ontbrekende bron en vraagt erom in plaats van een samenvatting te verzinnen.
Voor ingebruikname
- Definieer een nuttig alternatief antwoord
- Tel onnodige weigeringen
- Test ontbrekend en tegenstrijdig bewijs
De voorbeelden zijn illustratief. Pas de controles aan uw eigen omgeving aan.