Geenstijl

Nog meer reconstructie van FALEND statistiekbureau

Zo. Daar zijn we weer met deel 2 van de CBS FILES. Gisteren beschreven we hoe het CBS volhardde in het verdedigen van een onjuist en misleidend cijfer dat lange tijd centraal stond in de verhitte maatschappelijke discussie over het woningtekort. Vandaag laten we u zien hoe het statistiekbureau uiteindelijk kwam tot een stilletjes erratum op de website, dat vervolgens pas twee weken later (door een reaguurder van GeenStijl) werd opgemerkt. 

Het blijkt namelijk dat werknemers van het CBS er al in juli 2022 achterkwamen dat er iets goed fout zat met de berekeningen van de gemiddelde woonoppervlakte. Toch wachtte het bureau, met een communicatie-afdeling waar een paard de hik van krijgt, onder leiding van een topambtenaar, nog drie maanden voordat uiteindelijk werd besloten tot een door niemand opgemerkt erratum op de website. 

Het CBS zegt daar zelf over: "Gegeven de beschikbare mensen en middelen en de zorgvuldigheid die in acht genomen moet worden, was dit het meest haalbare." Dat het foutieve cijfer in allerlei media opdook en een centrale rol speelde in de maatschappelijke discussie, noemt het CBS nu "niet relevant". Sterker nog, het CBS heeft de Staatscommissie demografische ontwikkelingen, die in oktober nog in de veronderstelling verkeerde dat het gemiddelde woonoppervlak per persoon in Nederland uitzonderlijk hoog is, niet van het erratum op de hoogte gesteld, en heeft ook niets laten weten aan de onderzoeker die het statistiekbureau in augustus 2021, september 2021 en februari 2022 uitgebreid en onderbouwd op de fout wees. 

Dat is vreemd, zeker als we de eerste zin bovenaan het tabblad 'Organisatie' op www.cbs.nl lezen: "Het Centraal Bureau voor de Statistiek (CBS) maakt het mogelijk dat maatschappelijke debatten gevoerd kunnen worden op basis van betrouwbare statistische informatie." Er werken meer dan 2000 mensen bij het CBS, dat jaarlijks 137 miljoen euro aan belastinggeld kost. En niemand van die 2000 mensen dacht op een gegeven moment 'verdorie, een onbetrouwbaar cijfer van het CBS dat een prominente rol speelt in een zeer relevant maatschappelijk debat, dat is zeg maar het tegenovergestelde van waar we voor bedoeld zijn'. 

Sterker nog, volgens het CBS is "de standaardprocedure van het CBS gehanteerd. Bij het constateren van een fout wordt zo snel mogelijk gewerkt aan de publicatie van de nieuwe cijfers en daarna aan de kennisgeving daarvan." Maar: *"Het CBS werkt aan een vergroting van de zichtbaarheid van errata op de website. Ook zal er bij een eventueel volgend erratum een tweet aan worden gewijd." *

Hoe die 'standaardprocedure' verliep, leest u in deel 2 van de CBS FILES, na de breek.

Zoals u in deel 1 kon lezen is het CBS in augustus 2021, september 2021 en februari 2022 al op de fout gewezen, maar is daar niets mee gedaan. Dat verandert op 4 juli 2022. Bij het voorbereiden van een nieuwe publicatie over het woonoppervlak, komt een CBS-medewerker erachter dat er vermoedelijk een fout zit in de cijfers over 2018. Op 4 juli mailt hij zijn vermoeden aan twee collega's: "Het lijkt erop dat de vorige keer de cijfers vervolgens niet zijn gewogen naar het aantal personen in een huishouden, waardoor de cijfers behoorlijk hoger uitvielen." Dit is precies de uitleg die het CBS meer dan drie maanden later zal publiceren in het erratum. Op woensdag 6 juli mailt de medewerker zijn collega's opnieuw, dat ook uit andere analyses blijkt dat er in 2018 iets verkeerd is gegaan. Omdat een van de twee op vakantie gaat, stelt de medewerker voor de kwestie "hoe we dit moeten/kunnen rectificeren" over de vakantie heen te tillen. 

Op 15 augustus (meer dan een maand later, red.) is er dan een meeting waarin onder andere "rectificatie artikel uit 2018" op de agenda staat. Uiteindelijk gaat een CBS-medewerker, die vermoedelijk het onderzoek in 2018 ook heeft uitgevoerd, nog eens naar de gegevens kijken. Op 1 september stuurt die een e-mail met een bijlage "Onderzoek juistheid artikel 2018 over woonoppervlakte". De conclusie van dit "onderzoek" van drie kantjes is gek genoeg dat de cijfers uit 2018 wel correct zijn. Sterker nog: er staat een "belangrijke kanttekening!" bij het onderzoek: "Als alle woonoppervlakten worden gedeeld door het aantal inwoners van Nederland wordt er een lagere oppervlakte gevonden dan in de onderzoekspopulatie. Eerder is hier door [zwartgelakt] een vraag over gesteld. Dit is juist. (Het is juist onjuist, GS)" Binnen anderhalf uur nadat het "onderzoek" is verstuurd, stuurt een andere CBS-medewerker al een reactie dat de cijfers echt niet juist kunnen zijn. Besloten wordt de cijfers "woensdag" (vermoedelijk 7 september) nog een keer te gaan bekijken. 

Daarna is het weer een paar weken stil. Het lijkt erop dat er nog eens naar de cijfers is gekeken en het "onderzoek" in de prullenbak is verdwenen. Maar het CBS heeft over de tussenliggende periodes niets vastgelegd. Op 28 september is er opeens een zoom-bespreking "om het destijds gepubliceerde artikel bij te stellen". Een dag later stuurt een CBS-medewerker (vermoedelijk iemand die betrokken was bij het maken van de fout én bij het ontdekken van de fout) een mail met een voorstel om het artikel aan te passen. "De data en syntaxen zijn er nog, en we kunnen vrij eenvoudig de analyse herhalen en de figuren en teksten aanpassen."

Opvallend genoeg lijkt deze medewerker niet op de hoogte te zijn van het feit dat het getal van 65 vierkante meter inmiddels een eigen leven is gaan leiden in de media en in het debat over volkshuisvesting. "We verwachten dat de grote lijnen en conclusies niet zullen wijzigen." Naar de "belangrijke kanttekening" in het "onderzoek" wordt niet meer verwezen, terwijl de schrijver van het "onderzoek" er dus wel degelijk van op de hoogte was dat er al eerder vragen zijn gesteld over het opvallend hoge getal van 65 vierkante meter. Op 30 september stuurt een CBS-medewerker een mail aan de communicatie-afdeling om de publicatie aan te passen. Er wordt wat heen en weer gemaild over de precieze erratum-tekst die uiteindelijk op de site moet komen. 

Op 11 oktober stuurt een CBS-medewerker een mail aan verschillende collega's over de kwestie. Daarin wordt aangekondigd dat de tekst op de site gaat worden aangepast. Onderaan de mail staat: "[zwartgelakt] gaf nog het volgende aan: "Het is een behoorlijke correctie, ik vraag me af of we daar verder nog wat mee moeten doen. Misschien toch bij aankomende publicaties over zeggen."" Er lijkt hier dus toch een klein beetje besef te zijn van het feit dat het best om een significante fout gaat.

Op 12 oktober is er een overleg over "de communicatielijn". De conclusies van dat gesprek zijn dat er een erratum wordt gepubliceerd en dat er bij de volgende publicatie aandacht aan de fout zal worden geschonken. Iemand mailt nog of er nog andere partijen moeten worden geïnformeerd. Het antwoord is nee. Op 14 oktober publiceert het CBS het erratum. Een medewerker stuurt nog een mail (vermoedelijk naar de communicatie-afdeling) om collega's op het plaatsen van het erratum te wijzen. 

Niemand verwijst in de interne communicatie naar het feit dat het getal van 65 vierkante meter een grote rol is gaan spelen in het Nederlandse debat. Op het "onderzoek", dat ten onrechte concludeerde dat er geen fout was gemaakt, na wordt ook nergens terugverwezen naar de mails van Léon Groenemeijer waardoor het CBS al langer op de hoogte was van de fout. Terwijl tenminste één betrokken CBS-medewerker zich dit dus wel degelijk kon herinneren. 

Vervolgens is het twee weken stil, tot op 27 oktober hoogleraar demografie Helga de Valk aanschuift bij Nieuwsuur. Zij is lid van de Staatscommissie Demografische ontwikkelingen, die zich voor de overheid bezighoudt met het probleem dat er geen huizen meer zijn. Zij noemt in Nieuwsuur dat Nederlanders gemiddeld erg ruim wonen, op gemiddeld maar liefst 67 vierkante per persoon. Dat klopt niet, en een reaguurder ontdekt de fout. 

GeenStijl vraagt het CBS een dag later hoe het kan dat er zo weinig aandacht is geweest voor deze fout. De woordvoerder van dienst lijkt niet van het erratum op de hoogte en vraagt via mail en slack haar collega's om hulp. Uiteindelijk wordt voor een antwoord gekozen waarin het CBS meldt dat de fout na het ontdekken "zo snel mogelijk" is gemeld en dat er in een volgende publicatie "aandacht" aan gegeven gaat worden. "Zo snel mogelijk" is dus na meer dan drie maanden, en de "aandacht" bestaat uiteindelijk uit een klein alineaatje helemaal onderaan het nieuwe persbericht. 

Op 28 oktober publiceert Trouw ook een interview met demograaf en CBS-medewerker Ruben van Gaalen (die in augustus 2021 én februari 2022 door Léon Groenemeijer persoonlijk van de fout op de hoogte was gesteld) over de hoge bevolkingsdruk, waarin ook het cijfer van 65 vierkante meter wordt aangehaald. Volgens Van Gaalen had Trouw dit cijfer zelf opgezocht en had hij "de toevoeging niet onder ogen" gekregen. Een twitteraar (nou ja, niet 'een' twitteraar, maar de auteur van dit topic) die daar een vraag over stelde kreeg het verwijt "U straalt vertrouwen uit zeg" toegebeten. Zoals wij altijd zeggen: vertrouwen is goed, de Woo is beter.

Op 1 december, de dag van het persbericht over de nieuwe cijfers, schrijft ook de Volkskrant (met een sneer naar Sander Schimmelpenninck) over de fout, die door allerlei Volkskrantlezers (typisch) op twitter wordt aangegrepen om te roepen dat het CBS niet te vertrouwen is. Dat lijkt ons, de boel zo'n beetje overziend, niet echt de conclusie die je op basis van deze stukken kunt trekken. Je kunt eerder zeggen dat er bij het CBS een rotsvast geloof in eigen kunnen bestaat, waardoor de eerste reactie op gefundeerde vragen van ter zake kundige buitenstaanders is 'die zal er wel naast zitten' in plaats van 'laten we onze eigen sommetjes nog even narekenen'. En dat er intern extreem langzaam en inefficiënt wordt gecommuniceerd, waardoor uiteindelijk niemand er echt voor verantwoordelijk is dat de externe communicatie vervolgens rommelig en onduidelijk verloopt. 

Niemand bij een bureau, dat claimt dat het bestaat zodat "maatschappelijke debatten gevoerd kunnen worden op basis van betrouwbare statistische informatie", lijkt zich daadwerkelijk druk te maken over de vraag of maatschappelijke debatten gevoerd kunnen worden op basis van betrouwbare statistische informatie. Als een expert die deelneemt aan het maatschappelijke debat zeer terechte vragen heeft over de betrouwbaarheid van de statistische informatie, wordt die door het CBS eerst met een kluitje in het riet gestuurd en vervolgens genegeerd. En zelfs als er intern de overtuiging ontstaat dat de statistische informatie niet betrouwbaar is, duurt het nog meer dan drie maanden voordat het maatschappelijke debat daarvan kan profiteren. 

Zelfs nu nog noemt het CBS de uitgebreide verspreiding van het incorrecte cijfer van 65 vierkante meter "niet relevant". Het CBS laat wel weten dat bij het verwerken van het erratum "de standaardprocedure van het CBS gehanteerd" is, en dat het "werkt aan een vergroting van de zichtbaarheid van errata op de website. Ook zal er bij een eventueel volgend erratum een tweet aan worden gewijd." Een tweet! Welja. Lees de complete reactie (vragen gesteld op 20 december, beantwoord op 19 januari) van het CBS hier.

GeenStijl is een klein bedrijf met een groot bereik, dat surft op de waan van de dag. Onder die golven willen we naar parels duiken. De onderste stenen zoeken. Daar heb je duikers voor nodig, met expertise, tijd en geduld. Dat kost geld. Geld dat bij ons niet tegen de plinten omhoog klotst. Want geen staatssteun. Want niet woke. Want geen grote corporate suikerooms. Wilt u meer, of minder onderzoek onder de oppervlakte? Dan kunt u dat regelen. U doet een duit in het zakje, wij zetten Woo-ers en Duikers in.