Umělá inteligence má problém se zaujatostí a je to naše chyba

V roce 2016 vědci z Bostonské univerzity a Microsoftu pracovali na algoritmech umělé inteligence, když objevili rasistické a sexistické tendence v technologii, z níž vycházejí některé z nejpopulárnějších a nejkritičtějších služeb, které denně využíváme. Zjevení šlo proti konvenční moudrosti, že umělá inteligence netrpí genderovými, rasovými a kulturními předsudky, které my lidé děláme.

Vědci provedli tento objev při studiu algoritmů vkládání slov, což je typ umělé inteligence, který pomocí korelace a asociací mezi různými slovy analyzuje velká těla textu. Například vyškolený algoritmus vkládání slov může pochopit, že slova pro květiny úzce souvisí s příjemnými pocity. Na praktičtější úrovni rozumí vkládání slov, že pojem „počítačové programování“ úzce souvisí s „C ++“, „JavaScriptem“ a „objektově orientovanou analýzou a designem“. Když je tato funkce integrována do aplikace pro skenování životopisů, umožňuje zaměstnavatelům najít kvalifikované kandidáty s menším úsilím. Ve vyhledávačích může přinést lepší výsledky tím, že zobrazí obsah, který sémanticky souvisí s hledaným výrazem.

Vědci z BU a Microsoftu zjistili, že algoritmy pro vkládání slov mají problematické předpojatosti, jako například spojování „počítačového programátora“ s mužskými zájmeny a „domácí ženy“ se ženskými. Jejich nálezy, které publikovali ve výzkumném článku vhodně nazvaném „Člověk je počítačovému programátorovi jako žena je v domácnosti“? byla jednou z několika zpráv, která odhalila mýtus neutrality umělé inteligence a vrhla světlo na algoritmické zkreslení, což je jev, který dosahuje kritických rozměrů, protože algoritmy se stále více zapojují do našich každodenních rozhodnutí.

Počátky algoritmického zkreslení

Algoritmy strojového učení a hlubokého učení jsou základem nejmodernějšího softwaru poháněného umělou inteligencí. Na rozdíl od tradičního softwaru, který pracuje na základě předdefinovaných a ověřitelných pravidel, si hluboké učení vytváří svá vlastní pravidla a učí se příkladem.

Například pro vytvoření aplikace pro rozpoznávání obrázků založenou na hlubokém učení programátoři „zaškolí“ algoritmus tím, že mu dodají označená data: v tomto případě fotografie označené názvem objektu, který obsahují. Jakmile algoritmus prozkoumá dostatek příkladů, může shromáždit běžné vzorce mezi podobně označenými daty a použít tyto informace k klasifikaci neznačených vzorků.

Tento mechanismus umožňuje hluboké učení provádět mnoho úkolů, které byly u softwaru založeného na pravidlech prakticky nemožné. Ale také to znamená, že software pro hluboké učení může zdědit skryté nebo zjevné předpojatosti.

„AlI algoritmy nejsou ze své podstaty neobjektivní, “ říká profesor Venkatesh Saligrama, který vyučuje na Katedře elektrotechniky a počítačového inženýrství na Bostonské univerzitě a pracoval na algoritmech vkládání slov. "Mají deterministickou funkčnost a vyzvednou všechny tendence, které již existují v datech, na nichž trénují."

Algoritmy vkládání slov testované vědci z Bostonské univerzity byly vyškoleny na stovkách tisíc článků ze Zpráv Google, Wikipedie a dalších online zdrojů, do nichž jsou hluboce zakořeněna sociální zaujatost. Jako příklad lze uvést, že vzhledem k tomu, že v technologickém průmyslu dominuje obočí, mužská jména přicházejí častěji s technologickými úkoly - což vede k algoritmům, které spojují muže s úlohami, jako je programování a softwarové inženýrství.

„Algoritmy nemají sílu lidské mysli rozlišovat mezi správným a špatným, “ dodává Tolga Bolukbasi, doktorandka posledního roku na BU. Lidé mohou posoudit morálku našeho jednání, i když se rozhodneme jednat proti etickým normám. Ale pro algoritmy jsou data konečným určujícím faktorem.

Saligrama a Bolukbasi nebyli první, kdo vznesl znepokojení nad touto zaujatostí. Vědci z IBM, Microsoft a University of Toronto zdůraznili potřebu zabránit algoritmické diskriminaci v příspěvku zveřejněném v roce 2011. Tehdy byla algoritmická zaujatost esoterickým problémem a hluboké učení se stále nedostalo do hlavního proudu. Dnes však algoritmická zaujatost zanechává stopy na mnoha věcech, které děláme, jako je čtení zpráv, hledání přátel, nakupování online a sledování videí na Netflixu a na YouTube.

Dopad algoritmického zkreslení

V roce 2015 se Google musel omluvit poté, co algoritmy pohánějící jeho aplikaci Fotky označily dva černé lidi jako gorily - snad proto, že v jeho datovém souboru školení nebylo dostatek obrázků černých lidí. V roce 2016 bylo ze 44 výherců soutěže krásy posuzované AI téměř všechen bílý, několik Asijců a pouze jeden měl tmavou pleť. Opět bylo důvodem, že algoritmus byl většinou trénován s fotografiemi bílých lidí.

Fotky Google, do prdele. Můj přítel není gorila. pic.twitter.com/SMkMCsNVX4

- jackyalciné na tu moc nereaguje. DM (@jackyalcine) 29. června 2015

V poslední době test IBM a společnosti Microsoft na analýzu obličeje zjistil, že algoritmy společností byly téměř bezchybné při detekci pohlaví mužů se světlou pokožkou, ale často se mýlily, když byly předloženy obrázky žen s tmavou pokožkou.

I když tyto incidenty pravděpodobně způsobily zanedbatelné poškození, totéž nelze říci o algoritmech AI v kritičtějších oblastech, jako je zdravotní péče, vymáhání práva a nábor. V roce 2016 šetření společností ProPublica zjistilo, že COMPAS - software řízený umělou inteligencí, který vyhodnocuje riziko recidivy u pachatelů - byl zaujatý vůči lidem barvy. Objev byl obzvláště znepokojivý, protože soudci v některých státech používají COMPAS k určení, kdo chodí svobodně a kdo zůstává ve vězení.

V jiném případě studie reklamní platformy Google, která je založena na algoritmech hlubokého učení, zjistila, že muži byli častěji zobrazováni reklamy na vysoce placená místa než ženy. Samostatná studie zjistila podobný problém s reklamami na pracovní místa LinkedIn. Ještě jeden ukázal, že algoritmy neobjektivního najímání byly o 50 procent pravděpodobnější, že pošlou pozvánku na rozhovor osobě, jejíž jméno bylo evropsko-americké, než někomu, kdo má afroamerické jméno.

Podobným hrozbám čelí oblasti, jako je schvalování půjček, rating a stipendium.

Algoritmická zaujatost je dále znepokojující kvůli tomu, jak by mohla zesílit sociální zaujatost. Pod iluzí, že AI je chladná, matematický výpočet postrádá předsudky nebo zaujatost, lidé mohou mít tendenci důvěřovat algoritmickému úsudku, aniž by to zpochybňovali.

V rozhovoru s Wired UK, lektor kriminologie na University of Napier, Andrew Wooff, poznamenal, že „policejní svět, který je pod tlakem času a na zdroje, “ by mohl způsobit, že se policisté příliš spoléhají na algoritmická rozhodnutí. "Dokážu si představit situaci, kdy by se policista mohl na systém spolehnout více než na své vlastní rozhodovací procesy, " řekl. "Částečně by to mohlo být tak, že můžete ospravedlnit rozhodnutí, když se něco pokazí."

Spoléhání se na zkreslené algoritmy vytváří zpětnou vazbu: Děláme rozhodnutí, která vytvářejí více zkreslená data, která budou algoritmy analyzovat a trénovat v budoucnosti.

Tento druh věcí se již děje na sociálních sítích, jako jsou Facebook a Twitter. Algoritmy provozující zpravodajské kanály vytvářejí „filtrační bubliny“, které zobrazují obsah, který odpovídá preferencím a zaujatostem uživatelů. To může vést k tomu, že budou méně tolerantní vůči opozičním názorům a mohou také dále polarizovat společnost tím, že projdou klínem v politické a sociální propasti.

„Algoritmická zaujatost by mohla mít dopad na jakoukoli skupinu, “ říká Jenn Wortman Vaughan, vedoucí výzkumník společnosti Microsoft. „Skupiny, které jsou v údajích nedostatečně zastoupeny, mohou být zvláště ohroženy.“

V doménách, které jsou již známé pro zaujatost, jako je endemická diskriminace žen v technice, by algoritmy umělé inteligence mohly tyto předsudky zdůraznit a vést k dalšímu odsunutí okrajů na skupiny, které nejsou dobře zastoupeny.

Zdraví je další kritickou doménou, zdůrazňuje Wortman. „Mohlo by to způsobit vážné problémy, pokud je algoritmus strojového učení používaný pro lékařskou diagnostiku vyškolen na údaje z jedné populace a v důsledku toho na ostatních nepracuje dobře, “ říká.

Předpojatost může být škodlivá i jemnějším způsobem. "Minulý rok jsem plánoval vzít si dceru na ostříhání a hledat online obrázky 'účesů pro batole' pro inspiraci, " říká Wortman. Vrácené obrázky však byly téměř všechny bílé děti, především s rovnými vlasy, a co je překvapivější, hlavně chlapci, všimla si.

Odborníci nazývají tento jev „reprezentativní škodou“: když technologie posiluje stereotypy nebo zmenšuje specifické skupiny. „Je těžké kvantifikovat nebo měřit přesný dopad tohoto druhu zaujatosti, ale to neznamená, že to není důležité, “ říká Wortman.

Odstranění zkreslení z algoritmů AI

Stále kritičtější důsledky zaujatosti umělé inteligence upoutaly pozornost několika organizací a vládních orgánů a podnikají se některé pozitivní kroky k řešení etických a sociálních otázek souvisejících s používáním umělé inteligence v různých oblastech.

Společnost Microsoft, jejíž produkty se silně spoléhají na algoritmy umělé inteligence, zahájila před třemi lety výzkumný projekt s názvem Spravedlnost, odpovědnost, transparentnost a etika v umělé inteligenci (FATE), jehož cílem je umožnit uživatelům využívat vylepšené poznatky a účinnost služeb využívajících umělou inteligenci bez diskriminace a zaujatost.

V některých případech, jako je soutěž krásy posuzovaná AI, může být nalezení a oprava zdroje neobjektivního chování algoritmu AI stejně snadné jako kontrola a výměna fotografií v datovém souboru školení. Ale v jiných případech, jako jsou algoritmy vkládání slov, které vědci z Bostonské univerzity zkoumali, je předpojatost ponořena do údajů o školení jemnějším způsobem.

Tým BU, ke kterému se připojil výzkumník společnosti Microsoft Adam Kalai, vyvinul metodu klasifikace vložení slov na základě jejich kategorizace podle pohlaví a identifikace analogií, které byly potenciálně zkreslené. Ale neučinili konečné rozhodnutí a každé podezřelé sdružení by vedlo 10 lidí na Mechanickém Turku, online trhu Amazon pro úkoly související s daty, kteří by rozhodli, zda bude toto sdružení odstraněno nebo ne.

„Nechtěli jsme do procesu vkládat své vlastní zkreslení, “ říká Saligrama, profesorka a výzkumná pracovnice společnosti BU. "Právě jsme poskytli nástroje k objevování problematických asociací. Lidé učinili konečné rozhodnutí."

V novějším článku Kalai a další vědci navrhli použití samostatných algoritmů pro klasifikaci různých skupin lidí namísto použití stejných opatření pro každého. Tato metoda se může ukázat jako účinná v doménách, kde jsou již existující data zkreslená ve prospěch konkrétní skupiny. Například algoritmy, které by hodnotily uchazečky o programovací práci, používaly kritéria, která jsou pro tuto skupinu nejvhodnější, místo použití širší sady dat, která je hluboce ovlivněna existujícími předpojatostmi.

Microsoft Wortman vidí inkluzivitu v průmyslu umělých inteligencí jako nezbytný krok k boji proti zaujatosti v algoritmech. „Pokud chceme, aby naše systémy umělé inteligence byly užitečné pro všechny, a nejen pro určité demografické údaje, pak společnosti musejí najímat různé týmy, aby pracovaly na umělé inteligenci, “ říká.

V roce 2006 pomohl Wortman založit program Ženy ve strojovém učení (WiML), který pořádá každoroční seminář, na kterém se ženy, které studují a pracují v odvětví umělé inteligence, mohou setkat, propojit, vyměňovat si nápady a účastnit se panelových diskusí se staršími ženami v průmyslu a akademii. Podobným úsilím je nový workshop Black in AI Workshop, který založil Timnit Gebru, další výzkumník společnosti Microsoft, jehož cílem je vybudovat v AI rozmanitější talenty.

Bolukbasi z Bostonské univerzity také navrhuje změnit způsob, jakým algoritmy AI řeší problémy. „Algoritmy vyberou sadu pravidel, která maximalizuje jejich cíl. Může existovat mnoho způsobů, jak dosáhnout stejné sady závěrů pro dané páry vstupních výstupů, “ říká. „Vezměte příklad testů s více možnostmi pro člověka. Jeden může dosáhnout správné odpovědi s nesprávným procesem myšlení, ale přesto dosáhnout stejného skóre. Vysoce kvalitní test by měl být navržen tak, aby minimalizoval tento efekt, a umožnil pouze lidem, kteří skutečně znát předmět, aby získal správná skóre. Znalost algoritmů, které si uvědomují sociální omezení, lze chápat jako analog k tomuto příkladu (i když ne přesný), kde je v cíli penalizováno učení nesprávné sady pravidel. Jedná se o pokračující a náročný výzkum téma."

Opacita AI komplikuje férovost

Další výzvou, která stojí v cestě spravedlivějším algoritmům umělé inteligence, je fenomén „černé skříňky“. V mnoha případech společnosti žiarlivě hlídají své algoritmy: Například společnost Northpointe Inc., výrobce softwaru COMPAS, software pro předvídání trestné činnosti, odmítla zveřejnit svůj vlastní algoritmus. Jedinými lidmi, kteří se zajímají o vnitřní fungování společnosti COMPAS, jsou její programátoři, nikoli soudci, kteří ji používají k vynesení rozsudku.

Kromě podnikového tajemství se algoritmy umělé inteligence někdy stočí tak, že důvody a mechanismy jejich rozhodnutí unikají i jejich tvůrcům. Ve Velké Británii používá policie v Durhamu systém AI HART k určení, zda mají podezřelí nízké, střední nebo vysoké riziko spáchání dalších trestných činů během dvou let. Ale akademický přezkum HART v roce 2017 zjistil, že „neprůhlednosti se zdá obtížné vyhnout.“ Částečně je to kvůli velkému množství a rozmanitosti údajů, které systém používá, což ztěžuje analýzu důvodů, na nichž stojí za jeho rozhodnutím. "Tyto údaje by mohly být volně zpřístupněny veřejnosti, ale vyžadovaly by si obrovské množství času a úsilí, abych jim plně porozuměl, " uvádí článek.

Několik společností a organizací se snaží dosáhnout průhlednosti AI, včetně společnosti Google, která spustila GlassBox, iniciativu, jejímž cílem je lepší pochopení chování algoritmů strojového učení, aniž by došlo ke snížení kvality výstupu. Agentura obrany pro pokročilé výzkumné projekty (DARPA), která dohlíží na použití AI v armádě, rovněž financuje úsilí umožňující algoritmům AI vysvětlit jejich rozhodnutí.

V jiných případech bude při řešení zaujatosti klíčový lidský úsudek. Aby zabránil tomu, aby se existující rasové a sociální předsudky lidí vplížily do algoritmů HART, poskytl Durham Constabulary členům svých zaměstnanců povědomí o bezvědomí. Policie také podnikla kroky k odstranění datových bodů, jako jsou rasové rysy, které by mohly vytvářet důvody pro neobjektivní rozhodnutí.

Lidská odpovědnost

Z jiného úhlu pohledu mohou algoritmy AI poskytnout příležitost k zamyšlení nad našimi vlastními předsudky a předsudky. „Svět je zkreslený, historické údaje jsou zkreslené, a proto není překvapivé, že dostáváme zkreslené výsledky, “ řekla The Guardian Sandra Wachter, výzkumnice v etice a algoritmech dat na Oxfordské univerzitě.

Wachter je součástí výzkumného týmu z Alan Turing Institute v Londýně a University of Oxford, který publikoval dokument vyzývající k nařízení a institucím, které by vyšetřovaly možnou diskriminaci pomocí algoritmů AI.

Joanna Brysonová, počítačová vědkyně z University of Bath a spoluautorka výzkumné práce o algoritmickém zaujatosti, také mluvila s The Guardian : „Mnoho lidí říká, že ukazuje, že AI je předsudek. Ne. jsou předsudky a AI se to učí. “

V roce 2016 společnost Microsoft spustila Tay, Twitter bot, který se měl učit od lidí a zapojovat se do inteligentních rozhovorů. Ale do 24 hodin od spuštění Tay ho Microsoft musel ukončit poté, co začal chrlit rasistické komentáře, které vyzvedl ze svých rozhovorů s uživateli Twitteru. Možná to je připomínka, že je minulost, že my lidé uznáváme svou vlastní roli při zjevování a šíření jevu algoritmického zkreslení a podnikáme společné kroky ke zrušení jeho účinků.

„Je to velmi komplikovaný úkol, ale je to odpovědnost, které bychom se jako společnost neměli vyhýbat, “ říká Wachter.