Een gegevensstroom hangt af van beloften van de bron: welke velden bestaan, hoe records worden herkend en wanneer wijzigingen beschikbaar komen. Een broncontract maakt deze aannames zichtbaar. Dat is vooral nuttig wanneer producent en analyseteam afzonderlijk werken.
GegevensinvoerGegevensinvoer
Betrouwbare routes van bronrecord naar bruikbare dataset.
Een langdurige import moet bijhouden wat veilig is verwerkt. Een controlepunt koppelt voortgang aan duurzaam opgeslagen uitvoer. Voortgang vastleggen vóór de uitvoer kan records verliezen; vastleggen erna kan na een storing tot herhaalde verwerking leiden.
GegevensinvoerDuplicaten herkennen is zowel een bedrijfskeuze als een technische bewerking. Twee gelijk ogende records kunnen twee geldige acties vertegenwoordigen. Dezelfde gebeurtenis kan juist met andere aflevermetadata binnenkomen. Kies eerst welke identiteit voor het vervolggebruik telt.
GegevensinvoerResultaten van gegevensstromen verschijnen vaak voordat elke gebeurtenis is ontvangen. Een laat record kan daardoor een zichtbaar totaal veranderen. De pijplijn heeft een correctiebeleid nodig, niet alleen een timer die een verwerkingsvenster sluit.
GegevensinvoerEén onjuist record hoeft niet altijd een hele import te stoppen. Quarantaine scheidt records die niet aan controles voldoen en bewaart de foutreden. Het aantal geaccepteerde en afgewezen records moet samen blijven aansluiten op de ontvangen invoer.
Gegevensinvoer