Conteo Consulting · datatools Alle datatools

Hoe actueel is de data achter de tools?

Negen open datatools, één database. Elke week halen we op wat er in het Digitaal Stelsel Omgevingswet, de officiële bekendmakingen en PDOK is bijgekomen, rekenen er lokaal aan en zetten het resultaat op productie. Hieronder zie je die stroom, met per run de aantallen die erdoorheen gingen, en wat dat per site betekent voor de versheid van wat je ziet.

laatste synchronisatie —

Van bron tot site

Vijf bronnen, één werkbank, één productiedatabase, negen sites. Kies een run om te zien wat er die keer doorheen ging; wijs een onderdeel aan voor de details.

—
bij elk bezoek, via de API wekelijkse sync: rijen naar productie wekelijks, automatisch gebakken na elke sync, handmatig gebakken +24verschil met de vorige run
beweeg of tab over de kaart

Wijs een bron, de werkbank, productie of een site aan

De lijnen laten zien welke data waarheen stroomt. Blauw beweegt continu: die sites vragen de database bij elk bezoek. Oker beweegt in wekelijkse golven. De labels op de lijnen zijn de aantallen van de gekozen run.

    Deze run in cijfers

    Wat er bijkwam ten opzichte van de vorige voltooide run, met de totaalstand daarna. Een min betekent opschoning: verdrongen of ingetrokken versies die zijn weggehaald.

    Het verloop van deze run

    Elke fase zoals hij werkelijk liep, op de klok. Laden is goedkoop; afleiden en rekenen vullen de nacht. Fasen kunnen elkaar overlappen als ze parallel draaien.

    laden uit de bronnen afleiden rekenen en indexeren controles en statistieken fase met fouten

    Groei over alle runs

    De totaalstand per bron na elke voltooide synchronisatie. De okerstip is de gekozen run.

    Eén synchronisatie, in dertien stappen

    Het draaiboek achter elke run. De balk toont een kenmerkende duur; het echte verloop van een run staat hierboven.

    balk = duur, wortelschaal

    Wat dat per site betekent

    Drie regimes. Live sites tonen altijd de stand van de laatste sync. Gebakken sites worden opnieuw gebouwd, automatisch of met de hand, en dragen hun eigen datum.

    Drie afspraken die de data betrouwbaar houden

    Eerst kijken, dan pas schrijven

    Elke sync begint met een voorvertoning: hoeveel regelingen zijn nieuw, welke versies worden verdrongen, wat is verdwenen? Pas als die cijfers plausibel zijn, wordt er geladen. Een run zonder foutmeldingen is niet hetzelfde als een run die compleet is.

    Productie krijgt gegevens, geen loaders

    De bronnen worden één keer bevraagd, op de werkbank. Productie ontvangt de nieuwe rijen en bouwt alleen de afgeleide tabellen zelf opnieuw. Zo kunnen werkbank en productie niet uiteenlopen, en kan een haperende bron productie nooit half gevuld achterlaten.

    Controleren op groei, niet op fouten

    Na de sync vergelijkt een regressiecheck per bron het aantal rijen vóór en ná. Daalt een bron, of groeit hij drie runs op rij niet, dan is dat een signaal, ook als geen enkele stap een fout meldde. De aantallen op deze pagina komen uit diezelfde registratie.