Data-engineering

Hervat een import vanaf een bekende positie

Redactionele editie · 16 november 2026

Het idee

Een langdurige import moet bijhouden wat veilig is verwerkt. Een controlepunt koppelt voortgang aan duurzaam opgeslagen uitvoer. Voortgang vastleggen vóór de uitvoer kan records verliezen; vastleggen erna kan na een storing tot herhaalde verwerking leiden.

Ontwerpkeuze

Kies het controlepunt samen met het duplicatenbeleid. Alleen een tijdstempel is mogelijk onvoldoende als meerdere records dezelfde tijd hebben. Gebruik daarnaast een vaste volgorde of recordidentificatie.

Uitgewerkt voorbeeld

Een importer bewaart het laatst vastgelegde paar update_time en record_id. Na herstart hervat hij vanaf die grens en verwerkt hij een overlappende batch veilig.

Voor ingebruikname

  • Koppel voortgang aan duurzame resultaten
  • Test een storing tussen schrijfacties
  • Verwerk gelijke tijdstempels correct

De voorbeelden zijn illustratief. Pas de controles aan uw eigen omgeving aan.

Bronnen en verdieping

Apache Kafka documentation

Zoek in de bibliotheek