Een zoeksysteem geeft doorgaans niet een heel document aan een taalmodel, maar geselecteerde stukken. De grenzen van die stukken bepalen of een gevonden passage nog de definities, voorwaarden en context bevat die nodig zijn voor een antwoord.
Informatie zoekenToegepaste AI
Zoeken en evalueren voordat u verder automatiseert.
Informatie zoeken
Een embedding is een weergave van een bepaald model en een bepaalde voorbewerking. Gelijke vectorafmetingen betekenen niet dat weergaven onderling passen. Een ander model kan veranderen welke passages dichtbij een zoekvraag liggen, ook als de documenten gelijk blijven.
Informatie zoekenSemantisch zoeken herkent verwante formuleringen, terwijl woordgericht zoeken exacte namen, identificaties en zeldzame termen bewaart. Veel verzamelingen krijgen beide soorten zoekvragen. Een combinatie kan nuttig zijn, maar moet zelf worden geëvalueerd.
Informatie zoekenEen bronverwijzing is alleen nuttig als zij wijst naar de passage die de bijbehorende uitspraak ondersteunt. Een verwijzing naar een documenthomepage is minder precies dan de gebruikte sectie en versie. Zoeken en antwoordgeneratie moeten die bewijsidentiteit delen.
Informatie zoekenEen juist antwoord bij het document van gisteren kan verkeerd zijn voor het proces van vandaag. Indexactualiteit beschrijft de vertraging tussen een bronwijziging en beschikbaarheid in de zoekfunctie. Verwijderingen en toegangsveranderingen zijn even belangrijk als nieuwe inhoud.
Informatie zoekenEvaluatie
Een evaluatieset verandert een vaag kwaliteitsgevoel in herhaalbaar bewijs. Neem gewone taken, lastige randgevallen en vragen zonder betrouwbaar antwoord op. Een verzameling met uitsluitend makkelijke voorbeelden kan juist de belangrijkste fouten verbergen.
EvaluatiePrecisie en recall beschrijven verschillende aspecten van een selectie. Precisie vraagt welk deel van de geselecteerde items relevant is; recall welk deel van alle relevante items gevonden is. Geen van beide verklaart zonder context de kosten van een fout.
EvaluatieBij sommige taken is een bruikbare onthouding beter dan een verzonnen antwoord. Onthouding geeft het systeem een expliciete uitkomst wanneer bewijs ontbreekt. Zij moet de gebruiker naar verduidelijking of een ander kanaal leiden, niet naar een onbegrijpelijke fout.
EvaluatieEen sterk gemiddelde kan zwakke resultaten voor een taal, documenttype of verzoekcategorie verbergen. Deelgroepanalyse groepeert uitkomsten naar betekenisvolle omstandigheden. Zo ontdekt een team waar het systeem een smaller bereik of betere ondersteunende gegevens nodig heeft.
EvaluatieEen nieuwe prompt, zoekmethode of model kan één taak verbeteren en een andere verslechteren. Een wijzigingscontrole vergelijkt de kandidaat met een bekende referentie. Beoordeel kwaliteit, vertraging en gebruikskosten, niet slechts één overtuigende demonstratie.
Evaluatie