Het idee
Een langdurige import moet bijhouden wat veilig is verwerkt. Een controlepunt koppelt voortgang aan duurzaam opgeslagen uitvoer. Voortgang vastleggen vóór de uitvoer kan records verliezen; vastleggen erna kan na een storing tot herhaalde verwerking leiden.
Ontwerpkeuze
Kies het controlepunt samen met het duplicatenbeleid. Alleen een tijdstempel is mogelijk onvoldoende als meerdere records dezelfde tijd hebben. Gebruik daarnaast een vaste volgorde of recordidentificatie.
Uitgewerkt voorbeeld
Een importer bewaart het laatst vastgelegde paar update_time en record_id. Na herstart hervat hij vanaf die grens en verwerkt hij een overlappende batch veilig.
Voor ingebruikname
- Koppel voortgang aan duurzame resultaten
- Test een storing tussen schrijfacties
- Verwerk gelijke tijdstempels correct
De voorbeelden zijn illustratief. Pas de controles aan uw eigen omgeving aan.