Slimme statistiek: veel informatie uit weinig data

Case

Slimme statistiek: veel informatie uit weinig data

Hoe kleine steekproeven leiden tot een robuuste uitkomst

Zinvolle conclusies trekken uit een kleine hoeveelheid data is statistisch gezien buitengewoon lastig. Hoe kun je kleine groepen betrouwbaar met elkaar vergelijken? Rens van de Schoot en collega’s van de Universiteit Utrecht zijn erin gespecialiseerd. Ze bedenken nieuwe methodes voor de sociale wetenschappen. ‘De uitdaging is de juiste vragen te stellen – en dan betrouwbare tools ontwikkelen waar anderen mee aan het werk kunnen.’

Rens van de SchootRens van de Schoot

Hoe bepaal je of de verschillen die je vindt berusten op toeval of niet? Statistici werken het liefst met duizenden proefpersonen, of met datasets met duizenden meetpunten. Maar soms zijn er nu eenmaal weinig proefpersonen, of beperkte gegevens. Bijvoorbeeld bij zeldzame lichamelijke aandoeningen. Hoe kun je daar dan toch aan rekenen, en er zinnige uitspraken over doen? Dat is de specialiteit van statisticus Rens van de Schoot, hoogleraar Solutions for small datasets, in Utrecht en lid van de Jonge Akademie van de KNAW. ‘De basis voor mijn onderzoek is een Vidi-beurs’, vertelt Van de Schoot, ‘aangevuld met beurzen voor mijn promovendi, bijvoorbeeld voor Research Talent.’

Eerder herkennen

We zitten te springen om dit type onderzoek, zo benadrukt zegt Van de Schoot. ‘Er zijn talloze vragen waar we als maatschappij graag antwoorden op willen hebben, maar die lastig te onderzoeken zijn omdat er zo weinig gegevens zijn. Wat dacht je van onderzoek naar posttraumatische stress bij ouders van jonge kinderen met ernstige brandwonden. Daar kennen we niet zoveel gevallen van – gelukkig maar! Niettemin zijn er belangrijke dingen die we graag willen weten. Bijvoorbeeld welk type ouders het meest kwetsbaar is voor posttraumatische stress. Zodra je dat weet, dan kun je die ouders eerder herkennen en hen gerichter bijstaan.’

We halen informatie op bij experts: mensen die dagelijks te maken hebben met het fenomeen dat we onderzoeken
- Rens van de Schoot

Kunnen wetenschappers data van verschillende landen bij elkaar voegen om een grotere onderzoeksgroep te krijgen? ‘Dat is mogelijk, zolang je op taalgebied vergelijkbare landen hebt, bijvoorbeeld Nederland en België. Bij veel onderzoeken levert dat problemen op, omdat we concepten bestuderen die in verschillende landen een verschillende betekenis kunnen hebben, de zogeheten meetinvariantie. Als dingen net iets anders worden geïnterpreteerd, dan mag je datasets niet zomaar samenvoegen.’ Bij sociale wetenschappen is dat heel vaak het geval, zo benadrukt Van de Schoot – anders dan wanneer je bijvoorbeeld kale biomedische data hebt, zoals bloedwaarden of hartslag.

Onderbuikgevoel

Van de Schoot werkt met een speciale tak van de statistiek, bekend als Bayesiaanse statistiek. Die is speciaal geschikt voor kleine datasets. Bayesiaanse statistiek gebruikt observaties en combineert deze met zogenoemde priors: verwachtingen op basis van al bestaande kennis, ervaringen of publicaties. ‘In ons onderzoek halen we die informatie bij experts’, vertelt Van de Schoot. ‘Niet bij onderzoekers, maar bij mensen die op de werkvloer dagelijks te maken hebben met het fenomeen dat we onderzoeken. Wij proberen hun ervaringen, hun onderbuikgevoel, op een betrouwbare manier in een statistisch model te gieten; dat heet expert-elicitatie.’

De uitdaging is niet alleen de juiste experts te kiezen, maar ze ook de juiste vragen te stellen. ‘Het risico is dat je als onderzoeker vooringenomen bent en zo alleen de antwoorden krijgt die aansluiten bij wat je al verwacht. De eerste uitdaging los je op door zo veel mogelijk experts in het onderzoek te betrekken; de tweede door slimme vragen te stellen. In het geval van de kinderen met brandwonden vragen we bijvoorbeeld aan de verpleegkundigen: hoe denk jij dat de stressniveaus van deze kinderen zich in de loop der tijd hebben ontwikkeld? En hoe zeker of onzeker ben je daarvan?

Robuust

Die beide maten kun je samen in een model inpassen, legt Van de Schoot uit. ‘En dan controleer je achteraf hoe robuust je uitkomsten zijn, zonder de originele settings aan te passen’, zegt hij. ‘Dat noemen we een sensitiviteitsanalyse. Je runt dan je model een aantal keren, en gaat aan de knoppen draaien. Wat gebeurt er als ik deze factor varieer? Als een minieme wijziging al een groot effect heeft op het eindresultaat, dan is het model niet zo robuust en moeten we misschien niet zoveel waarde hechten aan de uitkomst.’

Op die manier hebben Van de Schoot en zijn team een model kunnen ontwikkelen voor de PTS bij ouders van kinderen met ernstige brandwonden. ‘We hebben daar allerlei statistische maten en handigheden voor ontwikkeld’, vertelt hij, ‘op basis van relatief veel experts en veel informatie. We kunnen nu wel stellen dat het model robuust is.’

Rustig plein met weinig mensenWeinig proefpersonen, robuuste conclusies. Foto Shutterstock

Slim ontsluiten

Kun je op basis van dat soort analyses ook selecteren welke experts je wel, en welke je niet meeneemt in je onderzoek? ‘Nee, dat is in feite cherry picking. Dan loop je het risico dat je alleen experts erbij betrekt die jouw hypothese bevestigen. Wat wel realistisch is: experts ‘calibreren’, vooraf testen hoe betrouwbaar ze zijn, bijvoorbeeld op basis van standaardvragen waar een expert in dat vakgebied echt het antwoord op zou moeten weten. Dat gebeurt al wel in de bètawetenschappen, maar hoe doe je dat bij psychologen? Welke vragen moet je dan stellen? Dat is heel lastig, maar daar willen we graag aan werken. Dat gaat leuk worden!’

Wist u dat? Met 'machine learning' kun je een computerprogramma leren om relevante informatie te herkennen, zodat de onderzoeker niet zelf duizenden teksten hoeft door te spitten.

Een heel andere benadering is analyseren wat er al over een bepaald onderwerp is geschreven, bijvoorbeeld in wetenschappelijke publicaties of rechtbankverslagen. ‘Wij werken aan methoden om die informatie slim te ontsluiten, met machine learning-technieken. Je leert dan een computerprogramma om relevante informatie te herkennen en te selecteren. Dan hoef je als onderzoeker niet meer zelf duizenden teksten door te spitten.’

Voorspellen

Onlangs kwamen de Utrechtse statistici in het nieuws rond het schooladvies van basisschoolleerlingen. Elke leerling krijgt twee adviezen: een gebaseerd op de uitslag van een centrale eindtoets (CET), zoals de Cito-toets, en een gebaseerd op het oordeel van de leerkracht. Sinds 2015 is de eindtoets leidend voor het schooladvies. Van de Schoot en zijn collega’s adviseren echter iets anders. ‘Wij wilden graag weten: welk advies voorspelt nu het beste op welk schoolniveau de leerling drie jaar later zit’, zegt Van de Schoot. ‘Ons onderzoek heeft laten zien dat beide net iets anders aangeven. De CET voorspelt het beste welke leerlingen zullen opklimmen naar het vwo, leerkrachten hebben de beste kijk op welke leerlingen zullen afstromen naar het vmbo. Wij denken dat je die twee bronnen het beste kunt samenvoegen tot één betrouwbaar advies. Daar zijn we nu mee bezig, samen met Cito.’

De volgende stap is analyseren welke docenten met hun voorspelling het dichtst in de buurt van de data zitten.

Nooit klaar

Statistiek gebruiken om maatschappelijke vraagstukken op te lossen: dat is Van de Schoots ambitie. ‘Wij werken niet aan de maatschappelijke vraagstukken zelf, maar aan de bouwstenen die nodig zijn om ze op te lossen’, benadrukt hij. ‘We gebruiken real life cases, maar ons product is de methodologie. De toolkit waarmee onderzoekers in allerlei andere vakgebieden straks hun eigen data kunnen gaan analyseren.’

Het Vidi-onderzoek van Van de Schoot nadert zijn afronding; hij heeft nog ongeveer een jaar financiering. Is zijn onderzoek dan bijna klaar? De statisticus lacht. ‘Het is nooit klaar’, antwoordt hij. ‘De volgende fase is dat we gaan meedoen aan aanvragen van andere onderzoekers, om onze toolkit in veel meer soorten onderzoek te gaan inzetten. Dan kunnen we kijken: werkt het in de praktijk? Of hebben we iets over het hoofd gezien? Welke aanpassingen zijn er nodig in welke situaties? Dat werk blijft altijd doorgaan.’

Meer informatie

Foto in de banner: Shutterstock