Apple veroorzaakte dezer dagen consternatie met de aankondiging van zijn nieuwe besturingssysteem iOS 15 voor zijn nieuwste iPhone 13, watchOS 8, iPadOS 15 en MacOS Monterey. Deze gaat cloud-foto’s scannen op kinderporno.

Dankzij ingebouwde kunstmatige intelligentie in zijn nieuwe besturingssysteem wilde Apple met het algoritme neural Match foto’s in accounts van iPhone-gebruikers in de online opslagdienst iCloud vergelijken met onder andere 200.000 fotobestanden van NCMEC, National Center for Missing & Exploited Children, de Amerikaanse particuliere non-profitorganisatie voor kinderbescherming. Dat is misschien goed bedoeld, maar riekt ook naar degoutante marketing om nieuwe producten te promoten over de rug van de slachtoffers van kinderporno en -misbruik.

De foto’s van NCMEC hebben alle een code. Het algoritme van Apple geeft bij vergelijking door of in de foto-opslag iCloud van de Apple-klant via een versleutelde code (NeuralHash) dezelfde foto van kinderporno of beelden van kindermishandeling staat. Dat gebeurt al in de iPhone. “Voordat een afbeelding wordt opgeslagen in iCloud-foto’s, wordt op het apparaat een matchproces voor die afbeelding uitgevoerd”, aldus Apple.

Een medewerker van Apple krijgt van dit softwaresysteem een signaal op zijn scherm, controleert de melding met de iCloud-foto’s, en sluit bij een ’match’ het Apple-account van de klant. Die mag nog in bezwaar gaan tegen deze ingreep. Volgens Apple heeft het systeem een ’extreem hoge mate van nauwkeurigheid’. Er is ’minder dan een kans van één op een biljoen (1.000.000.000.000) per jaar dat een bepaald account onjuist wordt aangewezen’, stelt Apple.

Gesloten software
Maar niemand krijgt echter inzicht in hoe dit zoekprogramma is gebouwd, aldus Apple. Dat zegt met de software tegemoet te komen aan de jarenlange oproep van politici en organisaties van ouderen aan Silicon Valley om hard op te treden tegen verspreiders van kinderporno. Kinderbeschermers wereldwijd steunen Apple nadrukkelijk. De software wordt voorlopig alleen voor apparaten in de Verenigde Staten ingevoerd.

Dit leidde tot een hevig oproer in de sekte van Apple-oïden. Op de Amerikaanse techmedia krijsen academici, gebruikers, privacy-experts en hoogleraren databeveiliging moord en brand. Vijfduizend organisaties en personen ondertekenden een oproep aan Apple-topman Tim Cook om hiermee te stoppen. „Dit is een absoluut afschuwelijk idee, omdat dit zal leiden tot massale controles van onze telefoons en laptops”, zegt Ross Anderson, hoogleraar beveiligingstechniek aan de Universiteit van Cambridge. Het algoritme is volgens hem eenvoudig uit te bouwen. Zoals naar het volgen van heel andere soorten foto’s, bijvoorbeeld van demonstraties tegen een regering, waarschuwt onder andere softwareontwikkelaar Alec Muffett, eerder werkzaam bij Facebook.

‘Screaming voices’
Op internet startten direct initiatieven die zich ‘the screaming voices of a minority’ noemen. De groepen, die stellen tegen kinderporno te zijn maar ook privacy hoog in het vaandel te hebben, proberen Apple tot een genuanceerde aanpak van verspreiding van kinderporno te bewegen. De in 1976 opgebouwde grootmacht uit Cupertino in Californië kreeg een trouwe schare fans dankzij scherp bewaakte privacy-regels. Apple zette zich daarmee succesvol af tegen concurrenten. „Omdat Apple belooft nooit mee te kijken met je berichten, foto’s en je locatie niet volgt”, zo verklaart iCulture, een website die Apple-producten beoordeelt, de waarde voor gebruikers.

Apple reageerde op de recente zorgen over de ’privacy-apocalyps’ met de mededeling dat het alleen misbruikbeelden gaat scannen die in meerdere landen en minimaal twee verschillende databases voor kinderveiligheid als zodanig zijn zijn gemarkeerd. Google, Microsoft en Dropbox voeren soortgelijke controles al in hun cloud-opslag uit, terwijl ook Facebook, Twitter en Reddit wettelijk verplicht zijn in VS content met kinderporno te melden bij de autoriteiten.

Het systeem van Apple zorgt er in theorie dat beelden zonder kindermisbruik niet gemarkeerd kunnen worden door het systeem van Apple. Het bedrijf laat verder weten dat de techgigant pas een iCloud-account zal markeren als het systeem dertig of meer afbeeldingen als kindermisbruik identificeert. Deze drempel zou gekozen zijn om een ‘drastische veiligheidsmarge’ te bieden, ter voorkoming van foutieve positieven. Deze drempel kan op termijn worden gewijzigd, naarmate de prestaties van het systeem in de echte wereld worden geëvalueerd. Maar of een foto van de kleine meid in een zwembroekje in haar opblaasbadje niet gemarkeerd wordt valt te betwijfelen.

Voordat deze drempel van dertig beelden wordt overschreden, kan Apple naar eigen zeggen geen gegevens ontcijferen en is het niet mogelijk voor Apple om het aantal matches voor een bepaald account te controleren. Nadat de drempel van dertig beelden wordt overschreden, kunnen Apple-servers alleen vouchers ontcijferen die overeenkomen met de positieve overeenkomsten. De servers krijgen geen informatie over andere afbeeldingen. Deze vouchers zouden toegang bieden tot een visuele afgeleide versie van een positief gemarkeerde afbeelding, zoals een versie met lage resolutie. Deze worden vervolgens menselijk beoordeeld, voordat de techgigant een account afsluit en doorstuurt naar een kinderveiligheidsorganisatie.

Verwarring gezaaid
Bij aankondiging hadden verschillende partijen kritiek op Apple’s plannen. Volgens het Center for Democracy & Technology zou het bedrijf hiermee een infrastructuur voor surveillance en censuur op, die kwetsbaar is voor misbruik wereldwijd. Apple beloofde daarop de fotoscanfunctie alleen te gebruiken voor het opsporen van kindermisbruik. Apple’s softwarehoofd, Craig Federichi, erkende dat het bedrijf verwarring heeft gecreëerd met de aankondiging, maar de techgigant blijft bij de update. Het bedrijf heeft zijn uitrolplannen voor de feature niet veranderd na de kritiek.

In Europa is het voornemen van Apple voorlopig onbegonnen werk, vanwege de privacywet AVG. Is het wel Apple’s taak om de detective uit te hangen? Die taak ligt normaliter bij politie en andere opsporingsdiensten, met de kanttekening dat burgers, hosts, beheerders van servers en websites geacht worden melding te doen van strafbare feiten en kunnen worden aangepakt. Apple-medewerkers delen de zorg van privacyvoorvechters dat regimes met minder nobele bedoelingen de snuffelsoftware kunnen gaan misbruiken om ander materiaal dan kinderporno op te sporen. Het opent de poort naar censuur, zo wordt gevreesd.

Het zou namelijk niet de eerste keer zijn dat Apple toegeeft aan de druk van repressieve regimes. In China stond Apple in 2017 toe dat gegevens van Chinese burgers op servers terecht kwamen die onder controle staan van een Chinees staatsbedrijf. De New York Times ontdekte dat Chinese ambtenaren dit datacenter controleren en runnen. Apple kwam zelfs tegemoet aan het ‘verzoek’ van de regering in Beijing de digitale sleutels, die toegang geven tot de gegevens van haar Chinese klanten, in dat datacenter te bewaren. Als klap op de vuurpijl stopte Apple met de encryptietechnologie die het bedrijf in andere datacenters toepast. Ook dit was een knieval voor de Chinese regering.

Baas over eigen telefoon
De kinderporno-detectie in iCloud-foto’s is uitsluitend bedoeld om foto’s van misbruik uit de Apple-servers te weren. Alleen evident strafbaar materiaal valt niet te uploaden. Het bezit van kinderporno is in de meest landen, waaronder Nederland en België, illegaal. De ai-functie werkt alleen bij opslag in de iCloud. Volgens Apple is er geen invloed op andere gegevens op het apparaat. Het systeem werkt niet als iCloud-foto’s worden uitgeschakeld en de gebruiker kan nog steeds alles in zijn eigen opslagruimte op het toestel bewaren. Apple pareert daarmee de veelgehoorde kritiek als zou de bezitter van een iPhone geen baas meer zijn over zijn eigen toestel.

De nieuwe functie in de VS is niet van toepassing op de berichten-app Messenger. Hierin is de veiligheid van de communicatie anders geregeld. Ouders krijgen de optie hun kinderen te beschermen tegen de uitwisseling van seksueel expliciete afbeeldingen. Foto’s worden onscherp gemaakt. Daarnaast wordt het kind gewaarschuwd als een foto niet door de beugel kan. Als extra voorzorgsmaatregel kunnen ouders ook een alert krijgen. Maar dit gebeurt met medeweten van hun kinderen. De alert-optie geldt alleen voor kinderaccounts van twaalf jaar en jonger. Bij kinderaccounts van dertien tot zeventien jaar wordt het kind nog steeds gewaarschuwd voor seksueel expliciete afbeeldingen, maar worden de ouders niet ingelicht.

Een andere vraag die rijst is of de opsporing door Big Tech niet zal leiden tot een lawine van meldingen die de autoriteiten overstelpt. En of er niet veel (drie/tien)dubbel werk wordt gedaan. Overigens heeft de opsporing – onder aanvoering van de Amerikaanse inlichtingendiensten – de afgelopen jaren enkele omvangrijke kinderpornonetwerken opgespoord, zie hier bijvoorbeeld bij RTL en de staatspropagandaomroep. Dit alles zonder twijfel dankzij de NSA/Echelon, de CIA en de FBI.

Resteert nog de kwestie dat je nooit álle viezeriken kunt opsporen, zeker niet in landen waar seksuele omgang met minderjarigen in de koeltoer meer geaccepteerd is. Slimme daders zullen ook altijd hun materiaal bewaren op niet door derden te bereiken apparaten of op DVD’s, geheugenkaarten, USB-sticks, externe opslag en dergelijke. Of is Apple werkelijk bezig binnen te sluipen in de privacy van gebruikers, zodat straks 1984 het mogelijke scenario wordt?

---

Meer over de invloed van Big Tech op de moderne maatschappij, die wij al enige jaren goed in het oog houden, vindt u hier.