‘Killeralgoritmen’: het bewaken van de menselijke factor in militaire AI

Waar gaat het DILEMA-project over?
‘We kijken naar militaire AI in brede zin. Veel van de aandacht voor dit onderwerp gaat uit naar ‘killerrobots’ (autonome wapensystemen), en die zijn zeker belangrijk in ons project, maar wij kijken ook naar de implicaties van het hele scala aan militaire toepassingen van AI. Ons doel is ervoor te zorgen dat militaire AI-technologie bij het ontwerp aansluit bij ethische normen en in lijn is met het internationaal recht. We willen niet wachten tot de technologie is ontwikkeld om daarna pas na te kunnen gaan of deze voldoet aan onze normen en waarden. Ook willen we, vanuit een meer juridisch oogpunt, niet wachten tot schade zich voordoet voordat we nadenken over de juridische implicaties.’

‘Een ander belangrijk onderdeel van het project is de vraag hoe AI-technologie, soms op zeer subtiele wijze, invloed kan hebben op de menselijke factor en het menselijk oordeel. Zo kijken we naar het gebruik van algoritmen op alle niveaus in de commandostructuur. Deze algoritmen worden geacht de menselijke besluitvorming te ondersteunen. Maar als in de praktijk een machine binnen 5 seconden een beslissing voorstelt op basis van een miljoen datapunten, heeft een mens niet het cognitieve vermogen om die beslissing te kunnen heroverwegen of te besluiten dat deze verkeerd is. Formeel worden dit soort grote beslissingen over leven en dood niet aan machines gedelegeerd, maar in werkelijkheid gebeurt het wel, en dat moet dringend worden onderzocht.’

Zijn er nieuwe wetten nodig?
‘Er zijn al wetten rond AI – er is geen sprake van een juridisch vacuüm, zeker niet wat militair gebruik betreft. We hebben gevestigde normen van het internationaal humanitair recht die van toepassing zijn, ongeacht de technologie die gebruikt wordt. Wat het gebruik door private bedrijven betreft, zijn er vaak wel enige beperkingen opgelegd door de staten waarin bedrijven zijn gevestigd, maar deze zijn mogelijk niet afdoende. Daarnaast is er nog het probleem van technologie die door private partijen wordt ontwikkeld, zoals beeldherkenningssystemen, en vervolgens voor militaire doeleinden wordt ingezet. Zulke systemen zijn voor een specifiek doel ontworpen en worden vervolgens voor een heel ander doel gebruikt. Dat kan zeer problematisch zijn, omdat er bij de ontwikkeling geen rekening is gehouden met bijvoorbeeld het onderscheid tussen burgers en strijders. Er moet dus een manier zijn om dit soort dingen te controleren als technologie voor een ander doeleinde wordt gebruikt dan waarvoor deze in eerste instantie is gemaakt. Misschien zijn er niet zozeer nieuwe wetten nodig, maar moeten we de al bestaande wetten strikter toepassen.’

Hoe wijdverbreid is het huidige gebruik van militaire AI?
‘Er is veel belangstelling voor militaire AI, en we zien dat er in een aantal landen steeds meer gebruik van wordt gemaakt. Op dit moment wordt er geen gebruik gemaakt van ‘killerrobots’, en dat zal ook in de nabije toekomst nog niet het geval zijn. Maar in de praktijk zien we al wel zogenoemde ‘killeralgoritmen’. Zo wordt er al gebruikgemaakt van een aantal van zulke algoritmen bij de identificatie van mogelijke militaire doelwitten. Die scannen beelden van honderden kilometers terrein en combineren dat met andere soorten data, zoals metadata van telefoons. Ze voegen dit alles samen en melden dan bijvoorbeeld – simpel uitgedrukt: ‘Hier bevindt zich een terroristenkamp’. En als er dan sprake is van beïnvloeding van het beoordelend vermogen van de mens door dergelijke informatie, hebben we al te maken met mogelijke schendingen van de wet of van ethische normen, en bovendien met issues rondom aansprakelijkheid en verantwoordelijkheid. Want als we in een situatie terechtkomen waarin een beslissingsondersteunend algoritme wordt gebruikt op een manier waarbij de mens niet echt de controle heeft en dat leidt tot een oorlogsmisdaad, dan kunnen we de individuele persoon misschien niet strafrechtelijk aansprakelijk stellen, omdat die persoon niet voldoende opzettelijk heeft gehandeld of niet de hoge drempel van strafrechtelijke verantwoordelijkheid heeft bereikt.’

‘Daarom is dit het moment om de zorgen rondom militaire AI aan te pakken. Technologie ontstaat niet uit een vacuüm. Wat ontstaat is het resultaat van onze keuzes. AI ontwikkelt zich sneller dan ooit, en we moeten ervoor zorgen dat wetten en ethiek er vanaf het begin in zijn verankerd.’