De chatbot Grok mag zijn 'uitkleedfunctie' niet meer aanbieden in Nederland. De rechtbank in Amsterdam heeft de tool donderdag verboden, nadat het Fonds Slachtofferhulp en het expertisecentrum Offlimits dat hadden geëist in een kort geding.
Grok is een toepassing van xAI, het Amerikaanse bedrijf van zakenman Elon Musk. Gebruikers konden de chatbot opdracht geven om met kunstmatige intelligentie naaktbeelden te maken.
Dat kunnen afbeeldingen van volwassenen zijn, maar ook van kinderen. De afgebeelde personen kunnen virtueel zijn en alleen online bestaan, maar het kan ook om nepbeelden van echte mensen gaan.
Om dat onmogelijk te maken, trokken Fonds Slachtofferhulp en Offlimits naar de rechter. Om hun eis kracht bij te zetten, hadden ze gedeeld die ze met Grok hadden gemaakt. Daarop waren schaars geklede virtuele kinderen met volwassen mannen te zien.
De rechter stelt de 2 eisers in het gelijk. Volgens de rechter is het aannemelijk dat de makers van Grok "onrechtmatig en toerekenbaar bijdragen aan een klimaat van online grensoverschrijdend gedrag". xAI heeft controle over Grok en moet misbruik dus voorkomen, ook als de makers van het platform niet zelf de beelden creëren.
Geen wereldwijd verbod, wel zware dwangsom
Het verbod geldt voor beelden van mensen die in Nederland wonen en voor het maken en verspreiden van de beelden in Nederland.
De beide organisaties hadden een wereldwijd verbod op de 'nudification tool' geëist, maar daarin ging de rechtbank niet mee, omdat hij van oordeel is dat hij daar niet voor bevoegd is. Op Europees vlak heeft de Europese Commissie begin dit jaar al een onderzoek geopend.
De makers van Grok krijgen ook een dwangsom opgelegd. Elke dag dat de uitkleedfunctie beschikbaar is, moeten ze 100.000 euro betalen. Dat kan oplopen tot een maximaal bedrag van 10 miljoen euro. En zolang Grok zich niet aan het verbod houdt, mag de dienst ook niet worden aangeboden als onderdeel van X, het vroegere Twitter.
Niet haalbaar
De advocaten van Grok zeiden bij de behandeling van het kort geding dat het bedrijf kindermisbruik wil voorkomen, maar dat het niet haalbaar is om elke vorm van misbruik te elimineren. "Er zullen altijd gebruikers zijn die beveiligingsmaatregelen omzeilen", stelden de advocaten.
De makers van Grok zeiden ook dat er maatregelen waren genomen om misbruik te voorkomen, maar de rechtbank veegt dat van tafel. Er is "gerede twijfel" of de maatregelen wel genoeg zijn en "wel degelijk aanleiding voor zorg".
In een reactie spreekt Offlimits van een "baanbrekende" beslissing. Volgens directeur Robbert Hoving is het de eerste keer ter wereld dat zo'n dienst wordt verboden. "Fantastisch dat mensenrechten niet onderdoen voor commerciële belangen. Grok deed er alles aan om het te laten voortbestaan, met een zweem dat ze er alles aan deden om mensen te beschermen", zegt hij.
