Gegevensinvoer

Betrouwbare routes van bronrecord naar bruikbare dataset.

Spreek vóór gegevensinvoer een broncontract af

Een gegevensstroom hangt af van beloften van de bron: welke velden bestaan, hoe records worden herkend en wanneer wijzigingen beschikbaar komen. Een broncontract maakt deze aannames zichtbaar. Dat is vooral nuttig wanneer producent en analyseteam afzonderlijk werken.

Gegevensinvoer
Hervat een import vanaf een bekende positie

Een langdurige import moet bijhouden wat veilig is verwerkt. Een controlepunt koppelt voortgang aan duurzaam opgeslagen uitvoer. Voortgang vastleggen vóór de uitvoer kan records verliezen; vastleggen erna kan na een storing tot herhaalde verwerking leiden.

Gegevensinvoer
Definieer wanneer twee records gelijk zijn

Duplicaten herkennen is zowel een bedrijfskeuze als een technische bewerking. Twee gelijk ogende records kunnen twee geldige acties vertegenwoordigen. Dezelfde gebeurtenis kan juist met andere aflevermetadata binnenkomen. Kies eerst welke identiteit voor het vervolggebruik telt.

Gegevensinvoer
Bepaal hoe late gegevens een resultaat wijzigen

Resultaten van gegevensstromen verschijnen vaak voordat elke gebeurtenis is ontvangen. Een laat record kan daardoor een zichtbaar totaal veranderen. De pijplijn heeft een correctiebeleid nodig, niet alleen een timer die een verwerkingsvenster sluit.

Gegevensinvoer
Isoleer ongeldige records zonder ze te verbergen

Eén onjuist record hoeft niet altijd een hele import te stoppen. Quarantaine scheidt records die niet aan controles voldoen en bewaart de foutreden. Het aantal geaccepteerde en afgewezen records moet samen blijven aansluiten op de ontvangen invoer.

Gegevensinvoer

Zoek in de bibliotheek