All vår digitala aktivitet registreras och lagras i form av enorma mängder data.

– Just nu vet vår mobiloperatör, utifrån mobilens GPS-koordinater, exakt var vi befinner oss och att vi pratar med varandra i ett rum. Om du hade haft ett läkarbesök idag hade mobiloperatören vetat det också, berättar Stanley Greenstein.

Genom att använda artificiell intelligens och maskininlärning, av vilka algoritmer (beräkningsmodeller) är en viktig komponent,  kan kommersiella företag finna mönster kopplade till mänsklig beteende i datamängder och därmed minimera risken för felaktiga, kostsamma, beslut. Det kan till exempel handla om en bank som använder algoritmer för att bedöma en kunds kreditvärdighet. Baserat på insamlad data från tidigare kunder om till exempel kön, ålder, utbildning, umgängeskrets, hälsa och hur en viss konstellation av värden på dessa parametrar samvarierar med betalningsförmåga gör algoritmen en statistisk bedömning av om den enskilde kunden kommer att kunna betala tillbaka sitt lån – så kallad profilering eller prediktiv modellering.

– Beslutet fattas av algoritmen i en ”svart låda”. Vare sig kunden eller banktjänstemannen har någon egentlig insyn i hur det går till. Så vem har egentligen moraliskt och juridiskt ansvar för beslutet? Den enskilde banktjänstemannen? Banken? Den som skrev algoritmen?

Prediktiv modellering kan utnyttjas för positiva ändamål men det finns också en fara för att de används i syfte att sortera bort oönskade människor.

Med vilken rätt sorteras vissa människor bort?

– Det här väcker många moraliskt komplicerade frågor. Med vilken rätt sorteras vissa människor bort? Hur hantera

Stanley Greenstein
Enligt Stanley Greenstein är det juridiska skyddet i EU mot kränkningar av individens autonomi inte tillräckligt. FOTO: Staffan Westerlund

brister i algoritmen som gör att människor sorteras bort på felaktiga grunder? Hur ska den enskilde individen kunna protestera mot att ha blivit bortsorterad när bortsorteringen sker utan att den enskilde lägger märke till det?
Algoritmer används inte bara för att sortera bort oss utan även för att styra våra beteenden. Utifrån våra tidigare beslut, mönster i data och andra bakgrundsvariabler skräddarsyr de vårt urval av musik och film, förslag på vilka vi ska dejta och umgås med samt vilken information vi tar del av.

– Vi vistas i så kallade filterbubblor som hotar vår autonomi. Det lömska är att vi trivs i filterbubblorna. De är en sorts gyllene burar som förstärker våra uppfattningar. Men det är inte bra för demokratin om vi aldrig konfronteras med uppfattningar vi inte sympatiserar med, säger Stanley Greenstein.

Metoden att manipulera människor till att omedvetet göra vissa val och utesluta andra kallas nudging och bygger på resultat från modern forskning som visar att människan mer sällan än vad man tidigare har trott baserar sina beslut på rationella överväganden. Det finns naturligtvis inget kommersiellt intresse i sig att genom nudging skapa filterbubblor; de är en biprodukt av målet om vinstmaximering genom att de ”ger kunden mer av vad kunden vill ha”. Det finns inget som hindrar att nudging används även i andra syften, till exempel att en stat styr människor att göra val som är bra för deras hälsa.

Integritetsskyddet är otillräckligt

I sin avhandling Our Humanity Exposed – Predictive Modelling in a Legal Context från 2017 analyserade Stanley Greenstein bland annat Europakonventionen och Dataskyddsförordningen (GDPR). Den senare träder i kraft från och med den 25 maj 2018. Han menar att det juridiska skydd som finns inom EU mot kränkningar av individens autonomi och integritet till följd av profilering är  otillräckligt.

– GDPR nämner visserligen begreppet profilering, men som helhet bygger förordningen på principer som kan betraktas som gammaldags i förhållande till dagens tekniska utvecklingsnivå. Dessutom är den komplex och vag.
Han anser emellertid att lösningen kanske inte står att finna i den traditionella juridiken, åtminstone inte enbart. En framkomlig väg kan vara olika soft law-lösningar.

– Jag kan tänka mig olika certifieringar där företag visar att de är beredda att gå längre i skyddet av den personliga integriteten än vad som krävs enligt gällande rätt. Alla företag har ett intresse av att ha ett gott renommé.
Hur och vilken instans som ska kontrollera efterlevnaden är en öppen fråga. Men Stanley Greenstein upplyser om att det redan idag finns organisationer – till exempel  Algorithm Watch – som granskar algoritmer och bedömer deras påverkan på samhället. Kontrollfunktioner i form av lagstiftning och internationella överenskommelser ska inte heller uteslutas.

Dubbelexponerad bild: Ung kvinna samt programkod och kretskort
Prediktiv modellering kan utnyttjas för positiva ändamål men det finns också en fara för att de används i syfte att sortera bort oönskade människor. FOTO: Creative Commons

 

Vi inte förstår konsekvenserna av vårt samtycke

Det är svårt för den enskilde individen att granska algoritmerna. Teknisk utveckling pågår för att skapa tekniker som kan garantera att ett beslut från en algoritm har gått rätt till, exempelvis genom att skapa algoritmer som kontrollerar andra algoritmer. Detta kan bidra till att öka insynen i de beslut som fattas av artificiell intelligens, enligt Stanley Greenstein.

För att minimera riskerna med datoriseringen av samhället har tillvägagångssättet de senaste decennierna varit att ge individen mer beslutskontroll i den tekniska processen. Den tanken är central i GDPR: individen antas få ökat inflytande över behandlingen av personuppgifter genom att ge sitt samtycke. Men den tekniska komplexiteten i dagens samhälle gör en sådan lösning ohållbar enligt Stanley Greenstein.

– Vi befinner oss i underläge i förhållande till de autonoma beslutsfattande systemen och de som använder sig av dem. Tyvärr måste vi som individer börja inse att vi kanske inte alltid är i en position att fatta de klokaste besluten vad gäller våra intressen med tanke på  den förmåga artificiell intelligens har att förutsäga och manipulera oss. Vi kan som individer inte göra ett informerat samtycke eftersom vi inte förstår konsekvenserna av vårt samtycke. Vissa beslut kommer kanske att kräva ett större inslag av paternalistiskt tänkande, vilket kan uppfattas som provocerande, säger Stanley Greenstein.

 

Artikeln är publicerad i Nyhetsbrevet Juridicum nr 1 2018.

 

Text: Staffan Westerlund