Toegepaste AI

Zoeken en evalueren voordat u verder automatiseert.

Informatie zoeken

Splits documenten op betekenisvolle grenzen

Een zoeksysteem geeft doorgaans niet een heel document aan een taalmodel, maar geselecteerde stukken. De grenzen van die stukken bepalen of een gevonden passage nog de definities, voorwaarden en context bevat die nodig zijn voor een antwoord.

Informatie zoeken
Behandel het embeddingmodel als onderdeel van de index

Een embedding is een weergave van een bepaald model en een bepaalde voorbewerking. Gelijke vectorafmetingen betekenen niet dat weergaven onderling passen. Een ander model kan veranderen welke passages dichtbij een zoekvraag liggen, ook als de documenten gelijk blijven.

Informatie zoeken
Combineer exacte termen met betekenisverwantschap

Semantisch zoeken herkent verwante formuleringen, terwijl woordgericht zoeken exacte namen, identificaties en zeldzame termen bewaart. Veel verzamelingen krijgen beide soorten zoekvragen. Een combinatie kan nuttig zijn, maar moet zelf worden geëvalueerd.

Informatie zoeken
Maak een antwoord herleidbaar tot bewijs

Een bronverwijzing is alleen nuttig als zij wijst naar de passage die de bijbehorende uitspraak ondersteunt. Een verwijzing naar een documenthomepage is minder precies dan de gebruikte sectie en versie. Zoeken en antwoordgeneratie moeten die bewijsidentiteit delen.

Informatie zoeken
Weet wanneer een zoekindex achterloopt

Een juist antwoord bij het document van gisteren kan verkeerd zijn voor het proces van vandaag. Indexactualiteit beschrijft de vertraging tussen een bronwijziging en beschikbaarheid in de zoekfunctie. Verwijderingen en toegangsveranderingen zijn even belangrijk als nieuwe inhoud.

Informatie zoeken

Evaluatie

Maak een evaluatieset met echte vragen

Een evaluatieset verandert een vaag kwaliteitsgevoel in herhaalbaar bewijs. Neem gewone taken, lastige randgevallen en vragen zonder betrouwbaar antwoord op. Een verzameling met uitsluitend makkelijke voorbeelden kan juist de belangrijkste fouten verbergen.

Evaluatie
Kies de fouten die voor de taak belangrijk zijn

Precisie en recall beschrijven verschillende aspecten van een selectie. Precisie vraagt welk deel van de geselecteerde items relevant is; recall welk deel van alle relevante items gevonden is. Geen van beide verklaart zonder context de kosten van een fout.

Evaluatie
Laat een systeem aangeven dat bewijs ontbreekt

Bij sommige taken is een bruikbare onthouding beter dan een verzonnen antwoord. Onthouding geeft het systeem een expliciete uitkomst wanneer bewijs ontbreekt. Zij moet de gebruiker naar verduidelijking of een ander kanaal leiden, niet naar een onbegrijpelijke fout.

Evaluatie
Kijk verder dan één gemiddelde score

Een sterk gemiddelde kan zwakke resultaten voor een taal, documenttype of verzoekcategorie verbergen. Deelgroepanalyse groepeert uitkomsten naar betekenisvolle omstandigheden. Zo ontdekt een team waar het systeem een smaller bereik of betere ondersteunende gegevens nodig heeft.

Evaluatie
Vergelijk een wijziging voordat u haar breed uitrolt

Een nieuwe prompt, zoekmethode of model kan één taak verbeteren en een andere verslechteren. Een wijzigingscontrole vergelijkt de kandidaat met een bekende referentie. Beoordeel kwaliteit, vertraging en gebruikskosten, niet slechts één overtuigende demonstratie.

Evaluatie

Zoek in de bibliotheek