Het idee
Een sterk gemiddelde kan zwakke resultaten voor een taal, documenttype of verzoekcategorie verbergen. Deelgroepanalyse groepeert uitkomsten naar betekenisvolle omstandigheden. Zo ontdekt een team waar het systeem een smaller bereik of betere ondersteunende gegevens nodig heeft.
Ontwerpkeuze
Kies deelgroepen voordat u elk resultaat bekijkt en vermeld hun omvang. Zeer kleine groepen leveren instabiele schattingen. Onderzoek verschillen zonder aan te nemen dat een beschreven verschil meteen een oorzakelijke verklaring geeft.
Uitgewerkt voorbeeld
Een assistent presteert goed op korte Engelse instructies, maar slecht op Nederlandse tabellen. Afzonderlijke metingen wijzen erop dat ook tabelextractie onderzocht moet worden.
Voor ingebruikname
- Vermeld aantallen per deelgroep
- Neem relevante talen en formaten op
- Trek geen causale conclusies uit beschrijvende verschillen
De voorbeelden zijn illustratief. Pas de controles aan uw eigen omgeving aan.