Terug naar overzicht

Hele statistiek met halve data?

Wederom onvolledige datavrijgave CBS.

19 maart 2024

Op 23 februari jl. bracht het CBS de toelichting ‘Covid vaccinatiestatus en sterfte’ uit naar aanleiding van het eerder verschenen rapport ‘Oversterfte en doodsoorzaken in 2020 tot en met 2022’. De toelichting is echter statistisch van onvoldoende kwaliteit en daarom kunnen er geen conclusies getrokken worden. Het is een voorbeeld van het bedrijven van hele statistiek met halve cijfers, dat de afgelopen jaren weinig tot niets heeft opgeleverd.

Zo ontbrak het in de gebruikte dataset aan voldoende uitgebreide vaccinatiegegevens in combinatie met leeftijden en sociaal economische data. Dit is nodig om gevaccineerde en ongevaccineerden 'groepen' met elkaar te kunnen vergelijken. Daarnaast zijn er mensen die slechts 1 prik haalden, uitgezonderd Jansen, in de groep van ongevaccineerden opgenomen. Hoeveel dat er zijn is niet bekend.

In de CBS-productie is bijvoorbeeld onder de noemer ‘niet covid gerelateerde sterfte’ te zien dat de sterfte onder niet-gevaccineerden aanzienlijk hoger ligt dan onder gevaccineerden. Dit lijkt een duidelijke indicatie dat onvoldoende vergelijkbare groepen naast elkaar worden gezet: dat de coronavaccinaties wonderprikken zijn die de niet-covid gerelateerde sterfte sterk doen dalen is immers hoogst onwaarschijnlijk.

Discussie met halve data

Wetenschappers en journalisten probeerden aan de hand van de gebrekkige CBS data toch tot duiding en verslag te komen. Opnieuw leidde dit tot polariserende discussies en niet tot beter inzicht in de al jaren aanhoudende hoge sterfte.

Onder de Wet Open Overheid zijn beschikbare data (documenten) toegankelijk of dienen op verzoek binnen een termijn van weken te worden verstrekt. Het lijkt een trend dat cruciale data niet publiekelijk toegankelijk is, terwijl de volledige informatie wel berust bij diegenen die het beleid bepalen. Die informatie die wél wordt verstrekt voedt de polarisatie en leidt af van de gerechtvaardige eis om de volledige informatie te kunnen zien.

Focus op transparantie

De Biomedische Rekenkamer probeert middels juridische procedures de gewenste data toch vrij te krijgen. Op 20 en 28 maart 2024 vinden er weer rechtszittingen plaats tegen VWS en CBS. Omdat het ook langs juridische weg moeizaam blijkt om aan data te komen is de Biomedische Rekenkamer voornemens te werken aan eigen data-inzameling, rechtstreeks van de burger. Daarover op korte termijn meer.

Een kritische noot bij de recente interpretatie van de CBS-cijfers (versie 2 april 2024*)

Op Twitter (X) verscheen een berichtreeks met hun verwoording van de inhoud van de CBS-rapportage. Dit bericht had een bereik van zo'n 500.000 mensen. Wij geven hier een kritisch commentaar op deze interpretatie die ook in zijn minder genuanceerde vorm een eigen leven leidt. Zo refereert een Telegraaf-columnist aan het bericht als 'bewijs', en dat is meer dan er strikt genomen gezegd werd.

Het bericht:

  1. Nieuwe CBS cijfers tonen aan dat de toename in sterfte tijdens vaccinatierondes in 2022 beperkt was tot mensen die gevaccineerd waren.
  2. Ongevaccineerde personen droegen amper bij aan deze toename.
  3. Ook blijkt dat de meeste COVID overlijdens gevaccineerde mensen betreft.

Zijn dit goede observaties? Of conclusies die getrokken kunnen worden aan de beperkte dataset van CBS? Het is zeker een startpunt voor een discussie. Het probleem is echter dat niet iedereen interesse of zelfs belang heeft bij constructieve discussie en daarom moeten we ook overwegen hoe berichten gebruikt kunnen worden. Gegeven de eerder genoemde tekortkomingen van die dataset, vindt de Biomedische Rekenkamer deze commentaren relevant:

Ad Nr. 1:

De informatie over de sterftedynamiek in gevaccineerde individuen is inderdaad een nieuw gegeven. Tegelijkertijd is die nauwelijks verrassend, gegeven het grote aandeel van ouderen. Dit is meteen dan ook de repliek:

  • De zwakkere populatie is geprikt (plausibel) en,
  • Het schaaleffect in het veel kleiner aantal ongevaccineerden verbergt de zelfde trend in deze 'groep' (semi-plausibel).

Ad Nr. 2:

Als bij het vorige punt. Gedeeltelijk is dit een schaaleffect voor 'ongevaccineerden'. Maar die vormt bepaald geen homogene groep zolang leeftijd en andere factoren niet beschikbaar zijn.

  • De benaming ongevaccineerden is aldus in deze onvolledige context een vals concept die serieuze gedachtenvorming en discussie rond de problematiek van vaccinveiligheid ondermijnt.
  • De groep [totaal min 'gevaccineerd'] blijkt [2] daarnaast [3] gecontamineerd met de groep van geprikte mensen die geen toestemming gaven om hun vaccinatiestatus in statistieken te laten opnemen (door het RIVM geschat op 7%).
  • Bij het aangaan van de discussie, bestaat het gevaar dat de aandacht wordt afgeleid van waar het om zou moeten gaan: beschikbaarheid van de volledige data

Ad Nr. 3:

Voor de aan Covid toegeschreven sterfte zien we een vergelijkbare situatie als bij 1. Er wordt in reacties aangevoerd:

  • dat covid als doodsoorzaak belangrijk aanwezig bleef, getuige het pieken in golven;
  • ofschoon de vaccinaties "effectief waren", ze natuurlijk nooit 100% effectief kunnen zijn.

De redenatie dat covid-gevaccineerden juist vanwege die vaccinatie Covid opliepen of daar vatbaar voor werden, is een belangwekkende hypothese die het verdient om met causaal onderzoek en solide gegevens te onderbouwen. Hier is het niet veel meer dan de zoveelste correlatie die in normale omstandigheden wel tot bezinning zou leiden, maar in de huidige omstandigheden niet doorslaggevend is.

Inschatting:

De ongelukkige situatie dat er data-armoede heerst bij de evaluatie van beleid, leidt tot een dilemma bij de vraag of gedeeltelijke data aangegrepen moeten worden om de discussie op gang te brengen in weerwil van de onvolledigheid. Enerzijds kon in dit geval deze invalshoek aan de orde komen op het congres van VWS over oversterfte op 5 maart, al was het maar in de wandelgangen.

In de huidige situatie beheerst een partij (de beleidsmaker) het selectief vrijgeven van gegevens. Het trekken van conclusies of impliceren daarvan op basis van een zeer beperkte dataset zorgt in ieder geval voor twee contraproductieve effecten:

  1. het geeft de opponent ruim de gelegenheid om punten te scoren op geloofwaardigheid terwijl tegelijkertijd een gelegenheid wordt geboden om meer desinformatie te verspreiden of te bestendigen, zoals over de start van de derde vaccinatieronde;
  2. methodologisch is 'activisme met halve data' onverenigbaar met een objectieve benadering; beide zijden kunnen in de data bevestiging zien van hun gelijk.

Het moet gezegd worden dat deze overwegingen afhankelijk zijn van het platform waar beeldvorming ontstaat. Op X is de dynamiek bijvoorbeeld anders dan op LinkedIn en beide zijn onderhevig aan manipulatie van de beeldvorming. Buiten deze platforms kan de hele controverse zelfs geheel vreemd voorkomen.

De Biomedische Rekenkamer bepleit een consequente en niet aflatende nadruk op vrijgave van gegevens. Zodat hele statistiek bedreven kan worden met hele data. En causale verbanden zo snel mogelijk eenduidig gelegd kunnen worden. Daar kunnen overigens nieuwe gevens voor noodzakelijk zijn. Het is zaak om het niveau van correlatie te ontstijgen.

* Een verandering van de tekst op dit onderwerp is aangebracht op 2 april op grond van voortschrijdend inzicht in het 7%-argument. Ook hebben we de argumentatie losgekoppeld van namen.

voetnoten:

[1] de definitie van 'status ongevaccineerd in CBS-rapportage:

Vaccinatiestatus:
Vaccinatiestatus ‘gevaccineerd’ is gedefinieerd als ‘volledig gevaccineerd’ (d.w.z. twee weken na twee goedgekeurde vaccinaties, of een positieve test minimaal 56 dagen voor minimaal één goedgekeurde vaccinatie, of vier weken na vaccinatie waarbij volgens het vaccinatiebewijs één vaccinatie als volledig gevaccineerd telt, of wanneer er een booster of herhaalprik is gezet zonder bekende basisserie) mogelijk met boosters en herhaalprikken.
Vaccinatiestatus ‘ongevaccineerd’ is gedefinieerd als geen vaccinatie bekend of slechts één vaccinatie bekend zonder eerder gemelde besmetting (met uitzondering van het vaccin waarbij één vaccinatie als volledig gevaccineerd telde).

bron: https://www.cbs.nl/nl-nl/longread/rapportages/2023/oversterfte-en-doodsoorzaken-in-2020-tot-en-met-2022 paragraaf 2.5.2.

[2] dank aan Theo Schetters voor deze aanwijzing;

[3] de schatting van het aandeel gevaccineerden die geen toestemming verleenden om hun data te gebruiken: zie

Pijpers, J.; van Roon, A.; van Roekel, C.; Labuschagne, L.; Smagge, B.; Ferreira, J.A.; de Melker, H.; Hahné, S. Determinants of COVID-19 Vaccine Uptake in The Netherlands: A Nationwide Registry-Based Study. Vaccines 2023, 11, 1409. https://doi.org/10.3390/vaccines11091409.

Het betreffende citaat:

CIMS only includes data of people who provided informed consent to register their vaccination data. For the primary series, 93% of the vaccinees provided informed consent [13].

Daarnaast staat in de CBS longread vermeld:

Het percentage personen dat toestemming geeft, neemt toe met opeenvolgende vaccinatierondes; bij de basisserie was dit circa 93 procent, bij de booster 95 procent en bij de herhaalprik in de najaarsronde was het meer dan 99 procent. Dit is alleen bekend voor de prikken gezet door de GGD; voor andere uitvoerders is het niet bekend. Vaccinaties waarbij geen toestemming is gegeven om te registreren, zijn niet opgenomen in CIMS. Daarnaast zijn personen die gebruik maken van hun recht op vergetelheid (artikel 17 AVG) uit CIMS verwijderd.