Data-engineering

Betrouwbare routes van bronrecord naar bruikbare dataset.

Gegevensinvoer

Spreek vóór gegevensinvoer een broncontract af

Een gegevensstroom hangt af van beloften van de bron: welke velden bestaan, hoe records worden herkend en wanneer wijzigingen beschikbaar komen. Een broncontract maakt deze aannames zichtbaar. Dat is vooral nuttig wanneer producent en analyseteam afzonderlijk werken.

Gegevensinvoer
Hervat een import vanaf een bekende positie

Een langdurige import moet bijhouden wat veilig is verwerkt. Een controlepunt koppelt voortgang aan duurzaam opgeslagen uitvoer. Voortgang vastleggen vóór de uitvoer kan records verliezen; vastleggen erna kan na een storing tot herhaalde verwerking leiden.

Gegevensinvoer
Definieer wanneer twee records gelijk zijn

Duplicaten herkennen is zowel een bedrijfskeuze als een technische bewerking. Twee gelijk ogende records kunnen twee geldige acties vertegenwoordigen. Dezelfde gebeurtenis kan juist met andere aflevermetadata binnenkomen. Kies eerst welke identiteit voor het vervolggebruik telt.

Gegevensinvoer
Bepaal hoe late gegevens een resultaat wijzigen

Resultaten van gegevensstromen verschijnen vaak voordat elke gebeurtenis is ontvangen. Een laat record kan daardoor een zichtbaar totaal veranderen. De pijplijn heeft een correctiebeleid nodig, niet alleen een timer die een verwerkingsvenster sluit.

Gegevensinvoer
Isoleer ongeldige records zonder ze te verbergen

Eén onjuist record hoeft niet altijd een hele import te stoppen. Quarantaine scheidt records die niet aan controles voldoen en bewaart de foutreden. Het aantal geaccepteerde en afgewezen records moet samen blijven aansluiten op de ontvangen invoer.

Gegevensinvoer

Opslag

Deel gegevens in naar de vragen van gebruikers

Partitionering verdeelt een dataset in beheersbare groepen die zoekopdrachten kunnen selecteren. Een nuttige sleutel beperkt onnodig lezen. Een te gedetailleerde sleutel kan veel kleine fragmenten maken en metadata- en onderhoudswerk vergroten in plaats van prestaties verbeteren.

Opslag
Gebruik kolomopslag voor gerichte analyse

Analytische vragen lezen vaak enkele velden over veel rijen. Kolomopslag groepeert waarden per kolom en kan zo onnodig lezen beperken en passende gegevens beter comprimeren. Dat is een ander toegangspatroon dan telkens één volledig record bijwerken.

Opslag
Maak verwijdering onderdeel van de gegevenscyclus

Een dataset wordt niet automatisch nuttiger doordat elk historisch record bewaard blijft. Bewaarbeleid koppelt opslagduur aan een doel. Het moet naast de bron ook afgeleide tabellen, exports, caches en reservekopieën omvatten.

Opslag
Bewaar een reproduceerbare kijk op veranderende data

Een analyse moet kunnen aangeven welke toestand van een dataset zij gebruikte. Een momentopname biedt een vaste referentie terwijl wijzigingen elders doorgaan. Zonder geversioneerde invoer kan dezelfde code om andere redenen toch een ander resultaat opleveren.

Opslag
Verbind uitvoer met het werk dat haar opleverde

Herkomstrelaties beschrijven hoe een dataset of resultaat afhangt van bronnen en transformaties. Zij helpen bepalen welke rapporten geraakt worden door een veldwijziging of mislukte import. Bruikbare herkomstinformatie ondersteunt een actie en is meer dan een grote tekening.

Opslag

Zoek in de bibliotheek