De afgelopen tijd nam het verontrustende nieuws over artificiële intelligentie toe. Zelflerende systemen zouden ongeremd hun gang kunnen gaan en zich tegen de mensheid kunnen keren. Maarten ging erover in gesprek met Marietje Schaake, technologiebeleidsexpert aan de Stanford-universiteit in Californië. Ze behoort niet tot de alarmistische school, stelt ze. ‘Maar ik maak me wel zorgen over de impact op de democratie.’

Uit Maarten! 2023-3. Bestel een losse editie of word abonnee

Maarten: ‘Jarenlang leefden we met de angst voor een nucleaire oorlog. Nu moeten we bang zijn voor AI, als ik de kranten mag geloven. Hoe erg is het?’

Schaake: ‘Je ziet een hele discussie, zo niet strijd, tussen experts op het gebied van kunstmatige intelligentie, die zich zowel op inhoudelijk als op tactisch vlak afspeelt. Je verwijst waarschijnlijk naar stukken waarin het einde van de mensheid wordt geschetst. Er bestaat een school van specialisten die op die lijn zitten, maar er is ook een ander kamp van experts die zeggen: laten we niet alarmistisch zijn en vooral kijken naar wat we nu al weten.

Dus niet alleen verre rampen in de toekomst proberen te definiëren, maar ook kijken naar wat kunstmatige intelligentie, algoritmes en het massaal verzamelen van data concreet in het hier en nu betekenen en wat de gevaren zijn. Dat zijn de twee uitersten van het spectrum. Maar er is bijna niemand die zegt: we hoeven ons nul zorgen te maken over kunstmatige intelligentie.’

Maarten: ‘Wat vind je zelf het grootste probleem?’

Schaake: ‘Dat de kennis over wat er daadwerkelijk gebeurt met de meest grootschalige en meest gebruikte algoritmes niet onafhankelijk te toetsen is, omdat alle informatie in handen is van een paar bedrijven. Dat maakt een gewogen analyse door bijvoorbeeld onafhankelijke wetenschappers en een publiek debat over beleid veel moeilijker. Je ziet nu vooral analyses van specialisten met verschillende belangen, die logischerwijs hun eigen expertise of hun eigen insteek naar voren brengen.’

Maarten: ‘Van mij zwerven rare deepfakefilmpjes rond op internet en veel informatie die er over mij rondgaat klopt van geen kanten.’

Schaake: ‘Geloofwaardige, computergegenereerde beelden kunnen vervelend zijn. Maar de zorgen gaan vooral om de effecten van kunstmatige intelligentie, bijvoorbeeld op het vertrouwen in de media. Degenen die het existentiële risico benadrukken zijn bang dat de ontwikkelingen sneller gaan dan voorzien. Ze zijn bang dat systemen kunnen losbreken en uit de grip van hun makers raken.’

Maarten: ‘Maar wat voor schade kan AI dan aanrichten?’

Schaake: ‘Een voorbeeld: een kunstmatig systeem moest een taak uitvoeren waarin een “captcha” voorkwam. Dat is zo’n vervelend puzzeltje dat je moet oplossen om te laten zien dat je geen computer bent. Je moet dan plaatjes van – ik noem maar iets – alle auto’s aanklikken of van alle zebrapaden. De AI-toepassing waarmee getest werd, realiseerde zich dat ze langs een captcha moest komen en dat ze geen mens was. Dus ging ze naar TaskRabbit, een soort platform waarop je klusjes kunt uitzetten. De AI-toepassing plaatste een advertentie dat ze hulp nodig had omdat ze niet goed kon zien. Dat heeft ze allemaal zelf gedaan, zonder instructies. De opdracht was alleen: ga van A naar B.

‘De internetgebruiker ziet niet meer wat wel en wat niet computergegenereerd is’

Het punt is dat AI-systemen tot zaken kunnen komen die de makers niet hadden voorspeld. Het zijn lerende systemen. De zorg bestaat eruit dat een systeem wellicht zo doelgericht is dat het overwegingen die voor ons als mensen normaal zijn buiten beschouwing laat. Neem een zelfrijdende auto. Stel dat je bepaalt dat een zelfrijdende auto onder geen enkele omstandigheid een kind mag aanrijden, dan zou dat hypothetisch kunnen betekenen dat die auto zeven volwassenen wel aanrijdt om dat kind maar niet te raken. De vraag is: hoe snel ontwikkelt deze technologie zich? Kan die zich aan de grip, aan het voorstellingsvermogen en uiteindelijk aan de controle van makers onttrekken?’

Maarten: ‘Hoe schat jij dat in?’

Schaake: ‘Ik bevind me niet in de alarmistische school van mensen die doemscenario’s zoals het einde der tijden vrezen. Maar ik maak me er wel zorgen om dat het heel moeilijk is om alarmistische claims, die niet van de minsten komen, onafhankelijk te verifiëren. Dat bedrijven zoveel kennis en bestuursmacht hebben, vind ik het grootste probleem. Want ik wil dat er een veel bredere discussie komt. Niet van een paar honderd AI-experts of mensen in techbedrijven, maar dat veel breder kan worden gekeken naar wat deze systemen betekenen.’

Maarten: ‘Waarover maak je je concreet zorgen?’

Schaake: ‘Over de impact van AI op de democratie. Neem de belofte dat je niet wordt gediscrimineerd: die is in de meeste democratieën verankerd in de wet. Maar de vraag is hoe je kunt weten of je wordt gediscrimineerd door een systeem als je er helemaal geen zicht op hebt. Neem Nederland, een betrekkelijk net land en relatief goed georganiseerd. Toch hebben we de afgelopen tien jaar aan de lopende band met problemen met systemen te maken gehad, bijvoorbeeld in de toeslagenaffaire. Niet in de laatste plaats omdat de overheid min of meer blind vertrouwt op algoritmes om haar taken uit te voeren. En dat is natuurlijk direct in strijd met de belofte van de overheid aan burgers dat ze voor de wet eerlijk behandeld worden.

De politici die verantwoordelijk zijn voor de schade worden er uiteindelijk wel op afgerekend, maar de bedrijven niet of nauwelijks. Het wrange is: de meeste politici hebben geen verstand van AI en daarom worden ze gepusht om bijvoorbeeld de uitvoering van overheidstaken maar aan bedrijven over te laten. Maar het kan niet zo zijn dat alleen degenen die iets van AI afweten er wat over kunnen zeggen, terwijl het ons allemaal raakt. Er moet toezicht komen op deze systemen. En dan niet op nationaal, maar op mondiaal niveau.’

Maarten: ‘Je pleit dus voor een soort overheidsinstantie, die overzicht houdt om te kijken wat die lui precies uitspoken?’

Schaake: ‘Ja, je moet onderzoeken van AI-bedrijven onafhankelijk kunnen verifiëren. Op Stanford pleiten wij voor een zogeheten National Artificial Intelligence Research Resource: een dataset en computerkracht die nodig zijn om grote modellen te bouwen, maar dan in het algemene belang en niet voor het winstbejag van een handvol bedrijven. Want die maken nu de AI-toepassingen, omdat ze eerder al zo veel data hebben verzameld of konden kopen. Een universiteit als Stanford, om maar een voorbeeld te noemen, heeft een vermogen van rond de 40 miljard dollar. Het is misschien een van de rijkste universiteiten ter wereld. Toch hebben we niet de computerkracht en de datasets die nodig zijn voor dit soort onderzoek, dus je moet echt krachten bundelen. Want commerciële bedrijven als Google, Microsoft en OpenAI hebben die computerkracht wel. In het Amerikaanse Congres is inmiddels wetgeving geïntroduceerd om dit mogelijk te maken.’

Maarten: ‘Ook op atoomgebied zijn allerlei toezichthoudende instanties gecreëerd. Maar daaraan proberen sommige landen zich te onttrekken. Werkt zo’n instantie wel?’

‘Door AI zouden wapensystemen op hol kunnen slaan’

Schaake: ‘Er zijn grote verschillen tussen landen in de manieren waarop ze naar AI kijken en die gebruiken. Wereldwijde overeenstemming over het voorkomen van rampen ermee en het inperken van risico’s zal lastig zijn, maar je moet ergens beginnen. In China optimaliseert de Communistische Partij technologie eigenlijk altijd als instrument van de staat.’

Maarten: ‘Daar proberen ze met gezichtsherkenning 1,3 miljard mensen in het snotje te houden.’

Schaake: ‘Dat heet een Sociaal Kredietsysteem, waarbij heel veel geregistreerd wordt en je bij bepaald gedrag minder toegang hebt tot allerlei dingen. Het is een soort puntentelling waar consequenties aan zitten. Een hoge score, bijvoorbeeld door betrouwbaar leningen af te lossen of positieve commentaren over de regering te posten, leidt tot voordelen zoals goedkoper reizen of eenvoudiger leningen afsluiten. In China is er verder niet alleen controle op wat er aan informatie mag binnenkomen, bijvoorbeeld geen sociale media uit Amerika, maar ook op welke data er naar buiten mogen. Want ze willen data, zelfs als die binnen Europese bedrijven tot stand zijn gekomen, behouden om AI mee te trainen. Dat is een totaal andere visie dan in democratieën. Daar werd tot nu toe ruimte gegeven aan de markt. En dat geldt vooral voor de VS, omdat zoveel van de machtige techbedrijven Amerikaans zijn.’

Maarten: ‘Dat herken ik. De overheid is voor veel Amerikanen een verdachte instantie. Maar wat gebeurt er nu op het gebied van internationale wetgeving?’

Schaake: ‘In reactie op de doorbraken in generatieve AI is vanuit de G7 – een forum van vooraanstaande industrielanden – een proces opgestart onder leiding van de Japanners. De landen onderzoeken of ze op een gemeenschappelijke manier kunnen omgaan met deze technologie. Maar de grootste impact zal uiteindelijk komen van nationale wetgeving, in ons geval Europese wetgeving. Europa kan een standaard stellen, ook voor wetgeving elders, even afgezien van China en politiestaten. De EU is heel invloedrijk, juist op het gebied van regelgeving.’

Maarten: ‘Hoever is Europa met AI-wetgeving?’

Schaake: ‘Het parlement heeft inmiddels een AI Act aangenomen. De onderhandelingen tussen de Europese Commissie, de lidstaten en het Europees Parlement daarover zijn al begonnen. Als de AI Act klaar is, zal het de eerste veelomvattende wet zijn over kunstmatige intelligentie.’

Maarten: ‘En verwacht je daarvan een effect?’

Schaake: ‘Ja, in combinatie met andere wetgeving, omdat er bijvoorbeeld al een databeschermingswet is. Er is ook net nieuwe wetgeving die mededingingsregels explicieter maakt voor grote techplatforms. En er is net een andere nieuwe wet die gaat over het modereren van content online, dus over wat wel en niet door sociale-mediabedrijven gedaan moet worden om illegale en schadelijke content tegen te houden. En in de Digital Services Act zitten ook transparantie-eisen voor algoritmes.’

‘Europa moet een eigen techsector ontwikkelen’

Maarten: ‘Wordt deep fake, bijvoorbeeld van mij zingend met een raar hoedje op, dan onmogelijk gemaakt?’

Schaake: ‘Het belangrijkste is dat kijkers weten dat een filmpje door een computer gegenereerd oftewel synthetisch is. Dus dat mensen kunnen weten dat jij nooit met dat gekke hoedje op hebt gelopen. Er is technologie in ontwikkeling die een soort authenticiteitskeurmerk zou kunnen geven. Ik verwacht dat dit soort garanties ook in een AI-wet komt, omdat gevreesd wordt voor de toekomst van de democratie. Mensen moeten kunnen weten waarmee ze te maken hebben. Het gevaar bestaat dat de gemiddelde internetgebruiker geen verschil meer ziet tussen wat wel en niet computergegenereerd is. Daar zijn al allerlei voorbeelden van geweest, van enigszins komisch tot onwerkelijk. Zoals een foto van de paus in een heel dure jas. Maar stel dat iemand een deep fake maakt met de stem van een wereldleider die de oorlog verklaart of mensen oproept een bepaald gebied te verlaten, dan kun je massaal effect sorteren. En dat is natuurlijk waar mensen op uit kunnen zijn, ook om de sfeer rond verkiezingen te beïnvloeden. Het kan ertoe leiden dat het brede publiek niets meer vertrouwt en afhaakt.’

Maarten: ‘Ik moet nu denken aan de bezwaren tegen de boekdrukkunst in de vijftiende eeuw. Critici vreesden dat iedereen de verschrikkelijkste dingen zou kunnen lezen en wilden de druktechniek verbieden.’

Schaake: ‘Dat kun je niet vergelijken. Bij AI gaat het niet alleen over content, maar ook over data. Bijna alle manieren waarop je nu foto’s, geluid, clips en tekst tot je neemt verlopen via platforms, zoals sociale media of zoekmachines. En daarbij wordt gericht gekeken naar welk specifiek stukje informatie bij jou terechtkomt. Er bestaan gedetailleerde dataprofielen over ons allemaal; die vormen de basis voor een gepersonaliseerde ervaring. Als wij nu allebei achter onze eigen computer gaan zitten en dezelfde dingen opzoeken, hebben we toch een totaal andere ervaring, omdat er al heel veel data over ons eerdere zoekgedrag zijn opgeslagen. Doordat iedereen een unieke ervaring heeft, is het lastiger om toezicht te houden. Zo worstelt de rechtsstaat met een nieuwe generatie technologie.’

Maarten: ‘Dan denk ik: trek de stekker uit het stopcontact als het te ingewikkeld wordt. Maar zo werkt het natuurlijk niet. Het is vast een naïeve vraag, maar waar huizen AI-systemen als ze losgebroken zijn?’

Schaake: ‘Je weet niet waar ze huizen en je weet ook niet waar ze al hun acties hebben gegenereerd. Deze zelflerende systemen zouden zich kunnen verspreiden over internet of zich juist binnen bepaalde systemen kunnen ophouden. De Microsofts van deze wereld beloven mooie dingen over cybersecurity, maar kunnen die niet waarmaken. Met AI wordt het veel eenvoudiger zwakke plekken in software te ontdekken. Hackers slagen daar nu soms ook in, maar met AI wordt dat gemakkelijker. Hoewel het gebruik van AI natuurlijk naar twee kanten werkt. Aan de ene kant kun je AI inzetten om gaten te dichten voordat ellendelingen erdoorheen glippen. Maar aan de andere kant wordt het eenvoudiger voor kwaadwillenden om die gaten te vinden. En de vraag is: wie heeft de beste systemen en waar gebruikt die partij ze voor?’

Maarten: ‘Die systemen ontsnappen dus, alsof je het hamsterkooitje hebt laten openstaan. Maar kan zoiets zich volledig verzelfstandigen en bijvoorbeeld in de krochten van internet blijven leven?’

Schaake: ‘Dat is de angst. Dat het gewoon zal doordenderen tot het zijn doel heeft bereikt. Nietsontziend, eigenlijk. En dat het spoor van vernieling dusdanig is dat er systeemproblemen optreden. Zo wordt er gewaarschuwd voor het op hol slaan van wapensystemen.’

Maarten: ‘Dat lijkt me een groot risico, omdat overheden over militaire zaken altijd liegen.’

‘Onze publieke organisaties zijn afhankelijk van Amerikaanse techbedrijven’

Schaake: ‘Ik zou geen enkele overheid blind vertrouwen op militair gebied. En het is inderdaad waar dat staten ver gaan om hun eigen belang na te jagen. Ook met het gebruik van technologie. Maar er zijn inmiddels bedrijven die in feite meer kunnen dan staten. En dat creëert een heel eigen dynamiek die we niet eerder hebben gezien. De aard van militaire conflicten verandert. Bij de inzet van een tank zie je vroeg of laat bandensporen of brokstukken. Maar bij digitale aanvalsmethoden is dat ingewikkelder. Ze zijn moeilijker te traceren en er zijn minder regels voor.’

Maarten: ‘Onlangs riep een aantal techprominenten ertoe op de ontwikkeling van AI een halfjaar stil te zetten. Hoe kijk jij daartegenaan?’

Schaake: ‘Niemand van hen is zelf zes maanden gestopt. Die periode is ook veel te kort. Het kwam op mij meer over als een soort strategische of tactische move. Zo van: “Wij hebben gewaarschuwd dat overheden snel iets moesten doen, maar dat hebben ze niet gedaan en daardoor zijn er nu problemen.” Ik geloof niet dat er echt verandering uit die hoek gaat komen.’

Maarten: ‘In economisch opzicht zijn er drie grote spelers in deze wereld: China, de VS en de EU. De VS leven met de mogelijkheid dat een dorpsgek het land over een paar jaar weer gaat regeren en China is een door en door onbetrouwbare partner. De verandering moet eigenlijk voornamelijk van de EU komen.’

Schaake: ‘Inderdaad, maar ik zie in Europa weer andere zorgwekkende ontwikkelingen. De EU ontwikkelt namelijk weinig zelf op techgebied. Ze zet standaarden via wetgeving, maar standaarden worden ook gezet via producten, gewoon doordat ze bestaan. Europa zou daarom eigen techbedrijven moeten ontwikkelen. We hebben daarvoor wel de expertise, maar goede mensen gaan vaak naar de VS. Dat heeft met toegang tot durfkapitaal te maken, wat er weer toe leidt dat ondernemers erg gepusht worden om snel winst te maken. En daar gaat natuurlijk veel zorgvuldigheid bij verloren. We zien dat grote bedrijven die generatieve AI-producten maken de drang hebben die snel in de markt te zetten. Het idee is dat de eerste die de markt kan domineren, dat voor langere tijd zal doen.’

Maarten: ‘Kan Europa wel een eigen techindustrie opbouwen?

Schaake: ‘Daarover wordt al heel lang nagedacht. Maar met de benodigde investeringen en het wegnemen van obstakels gaat het gewoon niet voorspoedig genoeg. Er zou een wat meer geïntegreerde Europese markt voor investeringen moeten komen, maar dat is moeilijk. Ook zijn er verschillen in regelgeving en taal. We zijn als EU eigenlijk nog onvoldoende één natie, daar komt het op neer.’

Maarten: ‘Stel dat EU-voorzitter Ursula von der Leyen jou een volmacht geeft om te doen wat naar jouw idee gedaan moet worden op het gebied van AI, ook als voorbeeld voor de rest van de wereld. Wat zou je dan meer doen dan de EU nu doet?’

Schaake: ‘Dan denk ik dat het cruciaal is toegang voor onderzoekers af te dwingen – dat staat nu niet in de conceptwet. Maar ik zou ook investeren in een publieke digitale infrastructuur in Europa. Kijk naar universiteiten, omroepen, ziekenhuizen en andere publieke organisaties: die zijn erg afhankelijk van Amerikaanse techbedrijven. Dat ondermijnt hun publieke functie en er ontstaan daardoor ook geen goede alternatieven. Dat is heel jammer. Er zijn door digitalisering een heleboel mooie dingen mogelijk, maar je moet oppassen voor surveillance capitalism. Digitalisering moet voor burgers nuttig zijn en een gezonde plek in de democratie innemen.’

Meer lezen uit dit nummer? Bestel hier uw exemplaar