Forældrevejledning: 'kunstig intelligens' bruges til at vurdere babysittere baseret på deres sociale medier historie
Da Jessie Battaglia begyndte at lede efter en ny babysitter til sin en-årige søn, ønskede hun mere information, end hun kunne få fra en kriminel baggrundskontrol, overordnede kommentarer og et ansigt til ansigt-interview.
Så vendte hun sig til Predictim, en onlinetjeneste, der bruger "avanceret kunstig intelligens" til at vurdere en babysitters personlighed og målrettede sine scannere på en kandidat tusindvis af Facebook, Twitter og Instagram-indlæg.
Systemet tilbød en automatiseret "risikovurdering" af en 24-årig kandidat, der sagde, at hun var i en "meget lav risiko" for at være stofmisbrugere. Men det gav en lidt højere risikovurdering - en ud af fem - for mobning, chikanering, "respektløs" og en "dårlig holdning".
Systemet forklarede ikke, hvorfor det havde truffet den beslutning. Men Battaglia, som havde troet sitteren, var troværdig, pludselig følte tvivl.
"Sociale medier viser en persons karakter, " siger Battaglia, 29, der bor i nærheden af ​​Los Angeles. "Så hvorfor kom hun ind på en to og ikke en?"
Predictim tilbyder forældre den samme playbook, som snesevis af andre tekniske firmaer sælger til arbejdsgivere over hele verden: kunstige intelligenssystemer, der analyserer en persons tale, ansigtsudtryk og online historie med løfter om at afsløre de skjulte aspekter af deres privatliv.
Teknologien er ved at omforme, hvordan nogle virksomheder nærmer sig rekruttering, ansættelse og revision af arbejdstagere, der giver arbejdsgivere et uovertruffen blik på jobkandidater gennem en ny bølge af invasiv psykologisk vurdering og overvågning.
Tech firmaet Fama siger, at det bruger AI til politimedarbejderes sociale medier til "giftig opførsel" og advare deres chefer. Og rekrutteringsteknologiselskabet HireVue, der arbejder med virksomheder som Geico, Hilton og Unilever, tilbyder et system, som automatisk analyserer ansøgernes tone, ordvalg og ansigtsbevægelser under videointerviews for at forudsige deres dygtighed og adfærd på jobbet. (Kandidater opfordres til at smile for de bedste resultater.)
Men kritikere siger, at Predictim og lignende systemer frembyder deres egne farer ved at gøre automatiserede og evt. Livsændrende beslutninger næsten ukontrollerede.
Systemerne er afhængige af black-box-algoritmer, der giver små detaljer om, hvordan de reducerede kompleksiteten af ​​en persons indre liv til en beregning af dyd eller skade. Og selvom Predictims teknologi påvirker forældrenes tankegang, forbliver det helt uprøvede, stort set uforklarlige og sårbare over for stille forstyrrelser over, hvordan en passende babysitter skal dele, se og tale.
Der er denne "gale rush at gribe AI's magt til at træffe alle mulige beslutninger uden at sikre, at det er ansvarligt for mennesker, " siger Jeff Chester, administrerende direktør for Center for Digital Democracy, en teknisk advokatgruppe. "Det er som om folk har drukket den digitale Kool-Aid og mener, at dette er en passende måde at styre vores liv på."
Predictim's scanninger analyserer hele historien om en babysitters sociale medier, som for mange af de yngste sittere kan dække de fleste af deres liv. Og sitterne bliver fortalt, at de vil have en stor ulempe for de konkurrencedygtige job, hvis de nægter.
Predictims chef og medstifter Sal Parsa sagde, at selskabet, der blev lanceret i sidste måned som en del af University of California i Berkeley's SkyDeck tech incubator, tager etiske spørgsmål om brugen af ​​teknologien alvorligt. Forældre, sagde han, skulle se vurderingerne som en ledsager, der "kan eller ikke afspejler sitterens faktiske attributter."
Men faren for at ansætte en problematisk eller voldelig babysitter, tilføjede han, gør AI til et nødvendigt redskab for enhver forælder, der håber at holde hans eller hendes barn sikkert.
"Hvis du søger efter voldsomme babysittere på Google, vil du se hundredvis af resultater lige nu, " sagde han. "Der er mennesker derude, der enten har psykiske sygdomme eller er bare født onde. Vores mål er at gøre alt, hvad vi kan for at stoppe dem."
En Predictim-scanning starter ved $ 24, 99 og kræver en babysitters navn og e-mail-adresse og hendes samtykke til at dele bred adgang til hendes sociale medier konti. Babysitteren kan afvise, men en forælder bliver underrettet om hendes afslag, og i en e-mail bliver babysitteren fortalt "den interesserede forælder vil ikke kunne ansætte dig, før du fuldfører denne anmodning."
Predictims ledere siger, at de bruger sprogbehandlingsalgoritmer og en billedgenkendelsessoftware kendt som "computersyn" for at vurdere babysitters Facebook, Twitter og Instagram-stillinger til spor om deres offlineliv. Forældrene gives udelukkende til rapporten og behøver ikke at fortælle sitter resultaterne.
Forældre kan formentlig se på deres sitters offentlige sociale medier selv. Men de computergenererede rapporter lover en dybtgående inspektion af års onlineaktivitet, kogt ned til et enkelt tal: en berusende simpel løsning på en upraktisk opgave.
Risikovurderingen er opdelt i flere kategorier, herunder eksplicit indhold og stofmisbrug. Opstarten har også annonceret, at dets system kan evaluere babysittere på andre personlighedstræk, såsom høflighed, evne til at arbejde med andre og "positivitet".
Virksomheden håber at opføre multibillion-dollar "forældre outsourcing" industrien og er begyndt at reklamere gennem betalt sponsorater af forældre og "mumie" blogs. Selskabets marketing fokuserer stærkt på dets evne til at afsløre skjulte hemmeligheder og forhindre "hver forælders mareridt", der citerer kriminalsager, herunder en Kentucky babysitter debiteret tidligere i år med alvorlig skade en otte måneder gammel pige.
"Har forældrene til den lille pige, der er skadet af denne babysitter, været i stand til at bruge Predictim som en del af deres vettingproces, siger et firma marketingdokument, " de ville aldrig have forladt hende alene med deres dyrebare barn. "
Men tekniske eksperter siger, at systemet rejser sine egne egne rødder, herunder bekymringer for, at det præger forældrenes frygt for at sælge personlighedsscanning af uprøvet nøjagtighed.
De stiller også spørgsmålstegn ved, hvordan systemet uddannes, og hvor sårbare de kan være at misforstå de slørede betydninger af sitters sociale medier brug. For alle, men højrisikoscanningerne, gives forældrene kun et forslag om tvivlsom adfærd og ingen specifikke sætninger, links eller detaljer for at vurdere alene.
Når en babysitters skanning blev markeret for mulig mobning, var den ubemandede mor, der bad om det, at hun ikke kunne vide, om softwaren havde set et gammelt film citat, sangtekst eller anden sætning i modsætning til det faktiske mobbingssprog.
Men Predictim siger ikke desto mindre, at det er gearing til en landsdækkende ekspansion. Direktører hos Sittercity, en online børnepasning markedsplads besøgt af millioner af forældre, sagde, at de lancerer et pilotprogram i begyndelsen af ​​næste år, der vil folde i Predictims automatiske ratings ind i webstedets nuværende udvalg af sitter screenings og baggrundskontrol.
"Find en sitter kan komme med en masse usikkerhed", siger Sandra Dainora, Sittercitys produktchef, som mener, at værktøjer som disse snart kan blive "standard valuta" for at finde plejere online. "Forældre søger altid den bedste løsning, den mest forskning, de bedste fakta."
Washington Post