Een gegevensstroom hangt af van beloften van de bron: welke velden bestaan, hoe records worden herkend en wanneer wijzigingen beschikbaar komen. Een broncontract maakt deze aannames zichtbaar. Dat is vooral nuttig wanneer producent en analyseteam afzonderlijk werken.
GegevensinvoerData-engineering
Betrouwbare routes van bronrecord naar bruikbare dataset.
Gegevensinvoer
Een langdurige import moet bijhouden wat veilig is verwerkt. Een controlepunt koppelt voortgang aan duurzaam opgeslagen uitvoer. Voortgang vastleggen vóór de uitvoer kan records verliezen; vastleggen erna kan na een storing tot herhaalde verwerking leiden.
GegevensinvoerDuplicaten herkennen is zowel een bedrijfskeuze als een technische bewerking. Twee gelijk ogende records kunnen twee geldige acties vertegenwoordigen. Dezelfde gebeurtenis kan juist met andere aflevermetadata binnenkomen. Kies eerst welke identiteit voor het vervolggebruik telt.
GegevensinvoerResultaten van gegevensstromen verschijnen vaak voordat elke gebeurtenis is ontvangen. Een laat record kan daardoor een zichtbaar totaal veranderen. De pijplijn heeft een correctiebeleid nodig, niet alleen een timer die een verwerkingsvenster sluit.
GegevensinvoerEén onjuist record hoeft niet altijd een hele import te stoppen. Quarantaine scheidt records die niet aan controles voldoen en bewaart de foutreden. Het aantal geaccepteerde en afgewezen records moet samen blijven aansluiten op de ontvangen invoer.
GegevensinvoerOpslag
Partitionering verdeelt een dataset in beheersbare groepen die zoekopdrachten kunnen selecteren. Een nuttige sleutel beperkt onnodig lezen. Een te gedetailleerde sleutel kan veel kleine fragmenten maken en metadata- en onderhoudswerk vergroten in plaats van prestaties verbeteren.
OpslagAnalytische vragen lezen vaak enkele velden over veel rijen. Kolomopslag groepeert waarden per kolom en kan zo onnodig lezen beperken en passende gegevens beter comprimeren. Dat is een ander toegangspatroon dan telkens één volledig record bijwerken.
OpslagEen dataset wordt niet automatisch nuttiger doordat elk historisch record bewaard blijft. Bewaarbeleid koppelt opslagduur aan een doel. Het moet naast de bron ook afgeleide tabellen, exports, caches en reservekopieën omvatten.
OpslagEen analyse moet kunnen aangeven welke toestand van een dataset zij gebruikte. Een momentopname biedt een vaste referentie terwijl wijzigingen elders doorgaan. Zonder geversioneerde invoer kan dezelfde code om andere redenen toch een ander resultaat opleveren.
OpslagHerkomstrelaties beschrijven hoe een dataset of resultaat afhangt van bronnen en transformaties. Zij helpen bepalen welke rapporten geraakt worden door een veldwijziging of mislukte import. Bruikbare herkomstinformatie ondersteunt een actie en is meer dan een grote tekening.
Opslag