Data-engineering

Isoleer ongeldige records zonder ze te verbergen

Redactionele editie · 16 november 2026

Het idee

Eén onjuist record hoeft niet altijd een hele import te stoppen. Quarantaine scheidt records die niet aan controles voldoen en bewaart de foutreden. Het aantal geaccepteerde en afgewezen records moet samen blijven aansluiten op de ontvangen invoer.

Ontwerpkeuze

Bepaal welke fouten een batch moeten stoppen en welke gedeeltelijke voortgang toelaten. Bescherm afgewezen gegevens met dezelfde toegangsregels als de bron. Wijs een beoordelaar aan zodat de quarantainemap geen onzichtbare achterstand wordt.

Uitgewerkt voorbeeld

Een import ontvangt 1.000 records, accepteert er 997 en zet drie met ongeldige datums apart. Het verslag toont alle aantallen en een verwijzing naar de afgeschermde controlewachtrij.

Voor ingebruikname

  • Sluit ontvangen en verwerkte aantallen aan
  • Maak afwijsredenen bruikbaar
  • Pas bewaarbeleid toe op quarantaine

De voorbeelden zijn illustratief. Pas de controles aan uw eigen omgeving aan.

Bronnen en verdieping

Apache Kafka documentation

Zoek in de bibliotheek