Resultaat 2020. Cover. Groenland. Banner

Buitengewone opsporingscomputer

Computers kunnen al behoorlijk goed inschatten of we anderhalve meter afstand houden. Met hulp van kunstmatige intelligentie komt automatische analyse van videobeelden steeds dichterbij. ‘Als mensen dicht genoeg bij de camera staan, schat de computer in negentig procent van de gevallen de afstand goed in.’

Resultaat 2020. Buitengewone opsporingscomputer 1

Als criminaliteitsonderzoeker is Marie Rosenkrantz Lindegaard gewend om camerabeelden van overvallen en vechtpartijen te bestuderen. Ze is senior onderzoeker bij het Nederlands Studiecentrum Criminaliteit en Rechtshandhaving (NSCR) en hoogleraar sociologie aan de Universiteit van Amsterdam. Ze was direct gegrepen toen de corona-epidemie uitbrak. ‘Ik dacht: dit is echt een bizarre situatie. In één klap gaan mensen zich heel anders gedragen in de openbare ruimte. Hoe gaan ze om met de regels? Houden ze wel afstand?’ Lindegaard, die al vaker camerabeelden van Amsterdam had bestudeerd, vroeg de gemeente en de politie toestemming om beelden van de 55 beveiligingscamera’s in de stad te mogen analyseren om te zien of mensen zich aan de afstandsregels houden. Traditioneel is ze gewend om zelf, met een team van onderzoekers, beelden te bestuderen en te turven hoe vaak een persoon, object of gebeurtenis voorkomt. ‘Een fantastische onderzoekstraditie, maar ontzettend tijdsintensief.’ Dit keer wilde ze het anders aanpakken. Daarom nam ze contact op met Cees Snoek, hoogleraar AI aan de Universiteit van Amsterdam. Hij houdt zich bezig met het maken van computerprogramma’s die automatisch video’s kunnen analyseren. Kan zijn algoritme hetzelfde als menselijke turvers? 

Hond vangt bal

Kunstmatige intelligentie (AI) heeft de laatste jaren veel vooruitgang geboekt als het gaat om het herkennen van stilstaande beelden. Deze software kan mensen, dieren en objecten op een foto het juiste label geven (dit is een kat of een hond). Dat komt door nieuwe technieken zoals machine learning en diepe neurale netwerken, die gebruik maken van patroonherkenning. Snoek legt uit: ‘Traditionele AI richt zich op het programmeren van regels: je vertelt een computer wat het wanneer moet doen. Machine learning leert zélf de regels, omdat het met heel veel voorbeeldmateriaal, zoals plaatjes, is getraind. Diepe neurale netwerken zijn een vorm van machine learning, die, losjes geïnspireerd door het menselijk brein, met hulp van kunstmatige neuronen (zenuwcellen) en synapsen (verbindingen) informatie aan elkaar doorgeven.’ Hoe slim die technieken ook zijn, ze kunnen een video alleen maar behandelen als een set individuele plaatjes waarop ze elk object labelen. ‘Bij video’s gaat het alleen niet om statische objecten, maar om de interactie, en die kun je op die manier niet vangen. Bovendien kost het beeld voor beeld labelen veel te veel data.’

Vroeger moest ik mensen overtuigen van de potentie van AI, nu hoor ik vaak: maar dat bestaat toch al?

Bewegend beeld analyseren moet dus op een andere manier. Volgens Snoek ligt de oplossing in een combinatie van die oude vorm van AI gebaseerd op ingevoerde regels, met nieuwe technieken, zoals informatie uit afbeeldingen, kennisbanken, maar ook tijdsinformatie en spraak en audio uit de video zelf. ‘Als je interactie wilt opsporen in een video, moet het algoritme kunnen redeneren. Deep learning komt nu niet verder dan het signaleren van bijvoorbeeld een hond en een bal in een video. Maar door het algoritme te verrijken met andere data, moet hij kunnen beredeneren dat de hond de bal vangt.’ Die techniek staat echter nog in de kinderschoenen, aldus Snoek.

Algoritme doet het goed

Toch durfden Lindegaard en Snoek het aan om het algoritme los te laten op de Amsterdamse camerabeelden. In die eerste vergelijking van ‘mens versus machine’ doet het algoritme het goed: als mensen dichtbij de camera staan, schat de computer in negentig procent van de gevallen de afstand goed in.

Een hoopgevend resultaat. Betekent het ook dat Lindegaard en haar collega’s dan voortaan bij al hun onderzoek het tijdsintensieve handmatige telwerk voortaan kunnen overlaten aan de computer? Nog niet, denkt Snoek. Een goed resultaat op een kleine dataset betekent nog niet dat de uitkomst in alle situaties even goed is. ‘We hebben nog geen betrouwbare vergelijking. Bovendien blijkt altijd dat er nieuwe problemen naar voren komen zodra we gaan opschalen en meer data analyseren. Meer data leiden nu eenmaal altijd tot meer zogeheten corner cases, dingen je niet had verwacht.’

Bestaande denkbeelden aangepast

Toch is Snoek ervan overtuigd dat AI het sociaalwetenschappelijk onderzoek met beeldanalyse volledig op zijn kop kan zetten. ‘Het is onvoorstelbaar dat al die beelden manueel worden geturfd. Dat kan alleen op hele kleine schaal met weinig data. Als je door AI ineens veel meer data hebt, dan blijkt misschien wel dat conclusies uit het verleden helemaal niet zo algemeen geldend zijn als toen werd gedacht. Dat is natuurlijk superboeiend.’

Als je interactie wilt opsporen in een video, moet het algoritme kunnen redeneren

Lindegaard heeft al gemerkt dat beeldanalyse, weliswaar handmatig, ervoor heeft gezorgd dat bestaande denkbeelden zijn aangepast. Lang werd bijvoorbeeld gedacht dat een groep omstanders in een geweldssituatie niet ingrijpt, maar nieuw onderzoek met camerabeelden heeft laten zien dat ze dat wel degelijk doen. Het zogeheten bystander effect blijkt dus niet altijd te bestaan.

En hoe zit dat met het houden van afstand? Ook dat bestudeerde Lindegaard met haar eigen team, zonder Snoeks supercomputer. Uit hun onderzoek blijkt dat mensen in deze situatie een veel passievere houding hebben. ‘We zien bijna geen enkele omstander ingrijpen als mensen te dicht bij elkaar komen. De urgentie is blijkbaar minder dan in een geweldsituatie.’

Resultaat 2020. Buitengewone opsporingscomputer. 2

Computer houdt oogje in het zeil

Kun je afwijkend gedrag automatisch en real-time door camera’s laten detecteren? Tot nu toe kan dat alleen als de situatie heel overzichtelijk is, aldus Cees Snoek. Enkele jaren geleden werd hij benaderd door Schiphol met de vraag of zijn software opvallende situaties op de luchthaven automatisch kan opsporen, zoals zakkenrollers of ander verdacht gedrag. In eerste instantie moest hij een teleurstellend antwoord geven. Hij kon nog niet op voorhand beloven met een oplossing te komen, de techniek was daarvoor gewoon nog niet ver genoeg. Tot zijn grote verbazing wilde Schiphol toen juist samenwerken aan een project. ‘Andere partijen beloofden allemaal gouden bergen, maar uit eerdere tests bleek dat niks werkte.’ Samen met de VU onderzoekt hij nu of zijn software met behulp van weinig voorbeelden activiteiten en interacties met objecten kan herkennen. De uitdaging is om de anomalieën op te sporen. ‘Dat zijn zeldzame, onverwachte gebeurtenissen die de software niet kent. Hij kan dan geen gebruik maken van trainingsmateriaal, maar wel van redeneren en causaliteit: hij berekent dan de verwachting dat een bepaalde gebeurtenis plaatsvindt.’ Snoeks streven is een prototype op te leveren van een softwaresysteem dat automatisch gebeurtenissen kan detecteren. Maar niet in de krioelende mensenmassa in de vertrekhal. ‘Denk eerder aan activiteiten buiten bij de gate, zoals: is het vliegtuig al volgetankt, zijn de koffers en de catering er al?’ Ook in verzorgingstehuizen komt de software van pas. Samen met een spin-offbedrijf analyseert Snoek daar nachtelijke beelden van bewoners. Hun systeem kan automatisch signaleren of iemand bijvoorbeeld ligt, zit, valt of niet in zijn kamer is. De verpleegkundige krijgt een seintje als er een verandering in die situatie is.

Perceptie is gekanteld

Anders dan mensen misschien denken, is de stap naar de openbare ruimte nog erg groot, denkt hij. Sowieso is het hem opgevallen dat door alle aandacht voor kunstmatige intelligentie de perceptie enorm is gekanteld. ‘Vroeger moest ik mensen overtuigen van de potentie van AI, nu hoor ik vaak: maar dat bestaat toch al?!’ Gedrag van mensen automatisch analyseren en bijvoorbeeld zakkenrollers herkennen noemt hij ‘echt nog een stip op de horizon’. ‘Wanneer is iets verdacht gedrag? Dat kun je bijna niet herkennen. Je kunt zien of mensen dicht tegen elkaar aan staan, maar misschien horen ze wel gewoon bij elkaar. Maar we maken zeker progressie. Ons vakgebied staat enorm in de belangstelling en mijn vakgroep heeft maar liefst dertig aio’s die jaarlijks veel nieuwe kennis produceren.’


WAT?
Software die afstand tussen mensen op drukke plekken meet

WAAROM?
Kennis vergaren om de verdere verspreiding van het coronavirus te voorkomen

WIE?
Marie Rosenkrantz Lindegaard en Cees Snoek, Nederlands Studiecentrum Criminaliteit en Rechtshandhaving (NCSR) en Universiteit van Amsterdam

WAAR?
Amsterdam

RESULTAAT?
Mensen houden vaak te weinig afstand en omstanders grijpen niet in als ze dat zien