Jak se googleova skládačka snaží detoxikovat internet

Internet se může cítit jako toxické místo. Trollové sestupují v sekcích komentářů a vláknech sociálních médií, aby vrhli nenávistné projevy a obtěžování, a potenciálně poučné diskuse proměňovali v útoky ad hominem a skupinové hromady. Vyjádření názoru online často nevypadá, že by za výsledný vitriol stálo.

Masivní sociální platformy - včetně Facebooku, Twitteru a YouTube - připouštějí, že nemohou adekvátně hlídat tyto problémy. Jsou v závodě ve zbrojení s roboty, trolly a každým dalším nežádoucím, který proklouzne přes filtry obsahu. Lidé nejsou fyzicky schopni číst každý jednotlivý komentář na webu; ti, kteří se to často pokoušejí litovat.

Tech giganti experimentovali s různými kombinacemi moderování člověka, algoritmů umělé inteligence a filtrů, aby se brodili potopou obsahu tekoucího jejich kanály každý den. Jigsaw se snaží najít prostřední půdu. Dceřiná společnost Abeceda a technologický inkubátor, dříve známý jako Google Ideas, začíná prokazovat, že strojové učení (ML) vytvořené v nástrojích pro lidské moderátory může změnit způsob, jakým přistupujeme k problému toxicity na internetu.

Perspektiva je API vyvinuté společností Jigsaw a týmem společnosti Google pro boj proti zneužívání. Používá ML k detekci zneužívání a obtěžování online a hodnotí komentáře na základě vnímaného dopadu, který mohou mít na konverzaci, ve snaze usnadnit život lidským moderátorům.

Perspektiva mezi křikem

Technologie open source byla poprvé ohlášena v roce 2017, i když její vývoj začal o několik let dříve. Některé z prvních webů, které experimentovaly s Perspektivou, byly zpravodajské publikace jako The New York Times a weby jako Wikipedia. Ale nedávno společnost Perspective našla domov na webech, jako je Reddit a platforma pro komentáře, Disqus (která se používá na PCMag.com.)

CJ Adams, produktový manažer společnosti Perspective, uvedl, že projekt chce prozkoumat, jak jsou hlasy lidí umlčeny online. Jigsaw chtěla prozkoumat, jak cílené zneužívání nebo celková atmosféra obtěžování může vyvolat chladivý efekt, odrazující lidi do bodu, kdy mají pocit, že nestojí za čas ani energii přidat svůj hlas do diskuse. Jak často jste viděli tweet, příspěvek nebo komentář a rozhodli jste se neodpovídat, protože bojovat proti trolům a dostat Mad Online prostě nestojí za zhoršení?

„Je velmi snadné zničit online rozhovor, “ řekl Adams. "Je snadné skočit dovnitř, ale jedna osoba, která je skutečně mizerná nebo toxická, by mohla vytlačit další hlasy. Možná 100 lidí čte článek nebo zahájí debatu, a často skončíte s nejhlasitějšími hlasy v místnosti, které zůstanou jediné, " na internetu, který je optimalizován pro oblíbené a sdílené položky. Takže všechny tyto hlasy umlčujete. Poté, co definuje debatu, je ten nejhlasitější hlas v místnosti - křičící zápas."

Jigsaw a Google

Byl to těžký rok pro sesterskou společnost Jigsaw, Google, která se potýkala s problémy s bezpečností dat, potlačením zaměstnanců ohledně své účasti na projektech pro Pentagon a Čínu a odhalením ohledně zacházení se sexuálním obtěžováním. Nemluvě o sporném kongresovém slyšení, při kterém byl generální ředitel Sundar Pichai grilován zákonodárci.

V Jigsaw, altruistickém inkubátoru abecedy, byly věci trochu méně dramatické. Tým strávil čas zkoumáním více technických forem cenzury, jako je otrava DNS pomocí aplikace Intra a DDoS útoky s Project Shield. S perspektivou je cíl abstraktnější. Spíše než pomocí strojového učení k určení toho, co je nebo není proti dané sadě pravidel, je výzva Perspektivy intenzivně subjektivní: klasifikace emočního dopadu jazyka.

K tomu potřebujete zpracování přirozeného jazyka (NLP), které rozdělí větu na přímé vzory. Perspektivní tým čelí problémům, jako je potvrzující zaujatost, skupinové přemýšlení a obtěžující chování v prostředí, kde technologie zvýšila jejich dosah a znesnadnila jejich řešení.



AI je „špatně a hloupě někdy“

Zlepšení online konverzací pomocí strojového učení není jednoduchý úkol. Je to stále nové pole výzkumu. Algoritmy mohou být zkreslené, systémy strojového učení vyžadují nekonečné upřesnění a nejtěžší a nejdůležitější problémy jsou stále do značné míry prozkoumány.

Výzkumná skupina AI pro konverzaci, která vytvořila perspektivu, začala setkáním s novinami, vydavateli a dalšími weby, které pořádají konverzace. Některé z prvních webů, které experimentovaly s touto technologií, byly New York Times , Wikipedia, The Guardian a The Economist .

V roce 2017 tým otevřel úvodní ukázku Perspektivy prostřednictvím veřejných webových stránek v rámci alfa testu, který lidem umožnil zadat miliony odporných a urážlivých komentářů. Bylo to něco jako neslavný neúspěšný experiment Tay Tayb od Microsoftu, kromě toho, že Jigsaw namísto toho, aby přiměl bota, aby odpověděl rasistickými tweety, použil davovou virulenci jako tréninková data ke krmení svých modelů, což pomohlo identifikovat a kategorizovat různé typy zneužívání online.

Počáteční veřejná zkušební jízda neproběhla hladce. Kabelové „Trolls Across America“, které na základě hodnocení v perspektivě rozebraly toxicitu v celé zemi, ukázaly, jak algoritmus neúmyslně diskriminoval skupiny podle rasy, genderové identity nebo sexuální orientace.

Adams byl upřímný ohledně skutečnosti, že počáteční testování Perspektivy odhalilo velké slepé skvrny a algoritmické zkreslení. Stejně jako Amazonův šrotovaný náborový nástroj, který trénoval desítky let chybných údajů o práci a vyvinul vlastní předpojatost vůči uchazečkám o studium, měly modely z raného pohledu perspektivní nedostatky kvůli údajům, na nichž byly vyškoleny.

„V příkladu často cílených skupin, pokud jste se podívali na distribuci v komentářích v souboru údajů o školení, došlo k úběžně malému počtu komentářů, které obsahovaly slovo„ gay “nebo„ feministka “, a používali jej pozitivně způsobem, “vysvětlil Adams. „Urážlivé komentáře používají slova jako urážky. Takže ML, při pohledu na vzorce, by řekla:„ Hej, přítomnost tohoto slova je docela dobrý prediktor toho, zda je tento sentiment toxický. “

Alfa algoritmus může například mylně označit tvrzení jako „Jsem hrdý gay muž“ nebo „Jsem feministka a transgender“ s vysokým skóre toxicity. Ale veřejně transparentní tréninkový proces - i když bolestivý - byl pro Jigsawa neocenitelnou lekcí v důsledcích neúmyslného zkreslení, řekl Adams.

Při tréninku modelů strojového učení na něco tak zneklidňujícího a osobního, jako je online zneužívání a obtěžování, existence algoritmického zkreslení také zdůrazňuje, proč samotná AI není řešením. Společenské společnosti, jako je Facebook a YouTube, nabízely funkce moderování obsahu AI svých platforem pouze proto, aby najaly tisíce lidských moderátorů, aby upustily od skandálu a korektně korigovaly.

Jigsaw je připínáček je hybridem obou. Perspektiva nejsou algoritmy AI rozhodující ve vakuu; API je integrováno do rozhraní pro správu komunity a moderování obsahu, které slouží jako pomocný nástroj pro lidské moderátory. Perspektivní inženýři popisují moderování nenávistné řeči s ML a bez ML pomocí analogie kupce sena: AI pomáhá automatizací procesu třídění, potlačuje obrovské kupce sena dolů a přitom dává lidem poslední slovo nad tím, zda je komentář považován za urážlivý nebo obtěžování.

„Je to nová schopnost ML, “ řekl Adams. "Lidé mluví o tom, jak inteligentní AI je, ale často nemluví o všech způsobech, jak je to špatné a někdy hloupé. Od samého začátku jsme věděli, že to udělá spoustu chyb, a tak jsme řekli:" Toto nástroj je užitečný pro moderování člověka pomocí stroje, ale není připraven k automatickému rozhodování. “ Nalezení této toxické řeči však může mít problém s „jehlou v kupce sena“ a dostat ji na hrst sena. “



Co je skóre toxicity?

Nejrozdělovanějším aspektem Perspektivního modelování je uvedení čísel do proměnné tak subjektivní jako „toxicita“. První věc, na kterou Adams poukázal, je, že skóre Perspektivy jsou známkou pravděpodobnosti, nikoli závažnosti. Vyšší čísla představují vyšší pravděpodobnost, že se vzory v textu podobají vzorům v komentářích, které lidé označili jako toxické.

Pokud jde o to, co „toxický“ ve skutečnosti znamená, tým Perspektivy to definuje široce jako „hrubý, neúctivý nebo nepřiměřený komentář, který vás pravděpodobně přiměje opustit diskusi“. Ale jak to může být nepatrné. V roce 2018 se Jigsaw spojila s Rhodes Artificial Intelligence Lab (RAIL) s cílem vyvinout modely ML, které mohou vyzvednout nejednoznačné formy hrozivé nebo nenávistné řeči, jako je odmítavý, blahosklonný nebo sarkastický komentář, který není otevřeně nepřátelský.

Až do tohoto bodu byla většina modelů Perspectiveu trénována tak, že lidé žádali, aby hodnotili internetové komentáře v měřítku od „velmi toxických“ po „velmi zdravé“. Vývojáři pak mohou model kalibrovat a označit komentáře nad určitým prahem, od 0, 0 do 1, 0. Skóre nad 0, 9 znamená vysokou pravděpodobnost toxicity a skóre 0, 5 nebo nižší znamená mnohem nižší stupeň algoritmické jistoty. Perspektiva také používá tzv. Normalizaci skóre, což vývojářům poskytuje konzistentní základní linii, od které lze interpretovat skóre. Adams vysvětlil, že v závislosti na fóru nebo webu mohou vývojáři kombinovat modely. Když tedy komunitě nevadí vulgismus, lze tento atribut zvážit.

Adams mi ukázal demo moderační rozhraní integrované s Perspect API. Na panelu administrátora vedle možností třídění komentářů podle nejvyššího, nejnovějšího atd. Je malá ikona příznaku pro třídění podle toxicity. K dispozici je také vestavěný mechanismus zpětné vazby pro lidského moderátora, aby řekl Perspective, že skóroval komentář nesprávně a vylepšil model v průběhu času.

Proklikal se prostřednictvím demo rozhraní pro moderování komentářů na stránce Wikipedia Talk, které byly skórovány různými perspektivními modely, a histogramovým grafem, který rozděluje, které komentáře budou pravděpodobně útokem na autora stránky nebo útokem na jiného komentátora.

"Chceme vytvořit nástroje pro moderování pomocí strojů, které by označily věci, které má člověk zkontrolovat, ale nechceme, aby nějaká centrální definice nebo někdo řekl, co je dobré a co špatné, " řekl Adams. „Takže pokud třídím podle toxicity, vidíte, že na vrchol přicházejí komentáře. Ale pokud vám záleží více, řekněme, na identitních útocích nebo hrozbách než na metrikách, jako je nadávání, možná byste nepoužili obecný model toxicity. ingredience, které můžete smíchat. Nabízíme je a vývojáři je zváží. “

Experiment RAIL zaujímá granulárnější přístup. Studenti Oxfordského gradu vytvářejí datový soubor desítek tisíc komentářů z kanadských novin Globe a sekce Mail 's Comments a Wikipedia Talk. Žádají lidské „anotátory“, aby odpověděli na otázky týkající se každého komentáře týkajícího se pěti pod atributů „nezdravého obsahu“: nepřátelské nebo urážlivé (trollové), odmítavé, blahosklonné nebo patronizující, sarkastické a nespravedlivé zobecnění.

Navržení těchto jemnějších atributů odhalilo nové komplexní problémy s nezamýšleným zaujatím vůči konkrétním skupinám a falešně pozitivní sarkastickými komentáři. Je to součást rostoucí bolesti AI, krmení modelů stále více a více dat, aby jí pomohla porozumět předpokládaným nepřímým významům za lidskou řečí. Tým stále prochází a komentuje tisíce komentářů a plánuje vydat konečný dataset začátkem tohoto roku.

„Chceme pracovat na něčem, kde komunita může získat řadu komentářů, a pak jim můžeme přizpůsobit vlastní kombinaci perspektivních modelů, “ řekl Adams.



Reddit's Curious Testbed

Reddit je mikrokosmem všeho, co je na internetu dobré a hrozné. K dispozici je subreddit komunita pro každé téma a výklenek, bizarní zájem, na který si vzpomenete. Jigsaw nepracuje s Redditem na podnikové úrovni, ale jedno z nejzajímavějších míst, na kterém se testuje moderování AI Perspective, je na subredditu zvaném r / changemyview.

Překvapivě existují rohy internetu, kde stále probíhá skutečná debata a diskuse. Změna mého pohledu nebo CMV není jako většina ostatních subredditů. Cílem je zveřejnit názor, který přijímáte, může být vadný nebo otevřený změnám, poslouchat a porozumět jiným názorům a zjistit, zda mohou změnit názor na problém. Vlákna sahají od běžných témat, jako je řádné pořadí prohlížení filmů Star Wars, až po seriózní diskuse o otázkách, včetně rasismu, politiky, kontroly zbraní a náboženství.

Change My View je zajímavým testovacím bodem pro Perspect, protože subreddit má svůj vlastní podrobný soubor pravidel pro zahájení a moderování konverzací, které podněcují argumenty a vzrušující debatu záměrně. Kal Turnbull, který prochází u / Snorrrlaxem na Redditu, je zakladatelem a jedním z moderátorů r / changemyview. Turnbull pro PCMag řekl, že Perspektivní API je velmi dobře v souladu s článkem Rule 2, což v podstatě zakazuje hrubou nebo nepřátelskou řeč.

"Zní to jako jednoduché pravidlo, ale je v něm spousta nuance, " řekl Turnbull, který má sídlo ve Skotsku. "Je těžké automatizovat toto pravidlo, aniž by byl chytrý o jazyce." Reddit vám dává tuto věc zvanou AutoModerator, kde můžete nastavit filtry a klíčová slova pro označování. Existuje však tolik falešných pozitiv a může být docela obtížné je chytit, protože někdo může vyslovit špatné slovo, aniž by někoho urazil, a také může někoho urazit, aniž by použil špatná slova. “

Jigsaw oslovil Turnbull v březnu 2018. Spolupráce začala s Pravidlem 2, ale brzy tým vytvořil Perspektivní modely i pro jiná pravidla. Nejedná se o úplnou integraci rozhraní API s otevřeným zdrojovým kódem, ale spíše o botu Reddit, která umožňuje moderátorům označit komentáře zaznamenané nad daným prahem toxicity.

Za posledních šest let to Turnbull a další mody dělají všechno ručně z fronty zpráv AutoModerator (označená klíčová slova) a uživatelských sestav. Jigsaw používal roky poznámek porušujících pravidla od moderátorů, které sledovali prostřednictvím rozšíření prohlížeče, a postavil modely Perspective na základě těchto dat v kombinaci s některými z existujících modelů toxicity Perspective. V průběhu roku 2018 poskytovaly režimy CMV zpětnou vazbu v otázkách, jako je nadměrný počet falešně pozitivních výsledků, a Jigsaw vylepšil prahové hodnoty pro bodování, zatímco nadále modeloval více pravidel CMV.



Složité rozsudky v online debatě

(Perspektivní robot integrovaný do rozhraní moderátora Reddit.)

Perspektiva není živá pro všechny moderování pravidla subredditu. Některá složitější nebo abstraktní pravidla jsou stále nad rámec toho, čemu tento druh ML rozumí.

Pravidlo 4 například upravuje systém Delta bodů sub, zatímco pravidlo B brání uživatelům v hraní na ďábelova obhájce nebo použití příspěvku pro „soapboaxing“. Takové pokročilé moderování vyžaduje kontextová data a prosté lidské porozumění, aby bylo možné zjistit, zda někdo argumentuje bodem ze skutečných důvodů, nebo jednoduše trollingem.

V dohledné budoucnosti budeme stále potřebovat lidské mody. Tyto složitější scénáře úsudku jsou tam, kde moderátoři CMV začínají vidět trhliny v AI modelování, a inteligentnější automatizace by mohla určit, zda je toto vše škálovatelné.

"Myslím, že důvod, proč je to tak složité, je proto, že je to kombinace našeho úsudku o jejich původním příspěvku a jejich interakcí během celé konverzace. Takže to není jen jeden komentář, který spouští model, " řekl Turnbull. „Pokud se argument pohybuje tam a zpět a na konci je komentář, který říká 'děkuji' nebo potvrzení, necháme to jít, i když bylo pravidlo porušeno dříve v podprocesu. Nebo lehkomyslný vtip, který v kontextu by se mohlo zdát hrubé - je to hezká lidská věc, a to je něco, co bot ještě nedostane."

Change My View je v současné době jediným subredditem, který v současné době aktivně využívá modely Perspective ML pro moderování, ačkoli Adams řekl, že tým obdržel žádosti o přístup od několika dalších. Specifická sada pravidel CMV z něj dělala ideální testovací případ, ale perspektivní modely jsou poddajné; jednotlivé subreddity mohou přizpůsobit skórovací algoritmus tak, aby odpovídal jejich obecným zásadám.

Dalším krokem pro Turnbull je vypnutí CMV z Redditu, protože komunita to vyrůstá, řekl. Posledních šest měsíců nově vytvořené spuštění moderátorů spolupracuje s Jigsawem na vyhrazeném místě s hlubší funkčností, než je rozhraní modů a robotů Reddit.

Projekt je stále pouze v testování alfa, ale Turnbull hovořil o funkcích, jako jsou proaktivní upozornění, když uživatel píše komentář, který by mohl porušit pravidlo, vestavěný reporting, který moderátorům poskytne více kontextu, a historická data pro rozhodování. Turnbull zdůraznil, že neexistují žádné plány na vypnutí nebo migraci subredditu, ale je nad tím novým experimentem nadšený.

• Všechny komentáře jsou vhodné k tisku

  V závislosti na dni v týdnu se web The New York Times dostane od 12 000 do více než 18 000 komentářů. Do poloviny roku 2017 byly sekce komentářů moderovány pracovníky komunitního managementu na plný úvazek, kteří četli každý jednotlivý komentář a rozhodli se, zda jej schválí nebo zamítne.

  Bassey Etim, který do tohoto měsíce byl komunitním redaktorem Times , strávil deset let v komunitním pultu a byl jeho editorem od roku 2014. Na vrcholu pracovního dne by tým mohl mít několik lidí moderujících komentáře k názorovým příběhům, zatímco ostatní řeší zpravodajské příběhy. Tabulka se rozdělila a sledovala různé povinnosti, ale tým přibližně tuctu lidí byl neustále přidělen nebo se pohyboval v závislosti na nejnovějších zprávách okamžiku. Také krmili tidbity z komentářů zpět reportérům pro potenciální krmení příběhu.

  Nakonec vyšlo najevo, že to bylo více než 12 lidí. Sekce komentářů k příběhům by se musela uzavřít po dosažení maximálního počtu komentářů, které by tým mohl moderovat.

  Skupina pro vývoj publika v novinách již experimentovala se strojovým učením pro základní, zřejmé schvalování komentářů, ale Etim řekl, že to nebylo zvlášť chytré nebo přizpůsobitelné. The Times poprvé oznámilo své partnerství s Jigsaw v září 2016. Od té doby se jeho sekce komentářů rozšířily z objevování na méně než 10 procentech všech příběhů na přibližně 30 procent dnes a lezení.

  Z pohledu Jigsaw viděl inkubátor příležitost nakrmit perspektivní anonymizovaná data z milionů komentářů denně, moderovaných profesionály, kteří by mohli pomoci proces upřesnit. Výměnou za anonymizovaná data o školení ML spolupracovali Jigsaw a Times na vytvoření platformy s názvem Moderátor, která byla uvedena do provozu v červnu 2017.



Uvnitř moderátora, rozhraní komentářů NYT

(Obrázek se svolením The New York Times )

Moderátor kombinuje Perspektinové modely s více než 16 miliony anonymizovaných, moderovaných komentářů Times, které sahají až do roku 2007.

Tým komunity ve skutečnosti v rozhraní Moderátor vidí ovládací panel s interaktivním histogramovým grafem, který vizualizuje rozpis komentářů nad určitou prahovou hodnotu. Mohou například přetáhnout posuvník sem a tam, aby automaticky schválili všechny komentáře pouze se souhrnným skóre 0 až 20 procent, což je založeno na kombinaci potenciálu komentáře k obscénnosti, toxicitě a pravděpodobnosti, že budou odmítnuty. Níže jsou tlačítka pro rychlé moderování, která schvalují nebo odmítají komentář, odloží jej nebo označí komentář, aby se pokračovalo ve zlepšování modelování Perspektivy.

"Pro každou část webu jsme analyzovali příchozí komentáře a způsob, jakým by je Perspektiva označila. Použili jsme veřejné modely Perspect i naše vlastní modely jedinečné pro The New York Times , " řekl Etim. "Analyzoval bych komentáře z každé sekce a pokusil se najít mezní bod, ve kterém bychom se pohodlně řekli:" Dobře, všechno nad touto pravděpodobností pomocí těchto specifických značek toxicity, jako je například obscénnost, schválíme."

Strojové učení schvaluje poměrně malé procento komentářů (přibližně 25 procent, jak říká Etim), protože Times pracuje na zveřejňování komentářů k více příběhům a nakonec dokonce přizpůsobuje, jak modely filtrují a schvalují komentáře pro různé části webu. Modely schvalují pouze komentáře; odmítnutí je stále řešeno výhradně lidskými moderátory.

Tyto ruční meze komentářů jsou pryč. Komentáře obvykle uzavírají příběh buď 24 hodin po jeho publikování online, nebo den po jeho publikování v tisku, řekl Etim.

"Nenahrazujeme vás stroji"

Další fází je zabudování dalších funkcí do systému, které pomohou moderátorům upřednostnit, které komentáře se mají nejprve podívat. Automatizace toho, co bylo vždy ručním procesem, stále více umožňovala moderátorům trávit čas aktivně spoluprací s reportéry a odpovídat na komentáře. Je vytvořena smyčka zpětné vazby, kde komentáře vedou k následným zprávám a dalším příběhům - mohou ukládat a přerozdělovat zdroje a vytvářet tak více žurnalistiky.

"Moderátoři a perspektiva učinili Times mnohem citlivějším pro čtenářské obavy, protože máme zdroje, abychom to dokázali, ať už je to psaním příběhů sami, nebo spoluprací s reportéry, abychom vymysleli příběhy, " řekl Etim. „Skvělá věc na tomto projektu je, že jsme nikoho neopustili. Nenahrazujeme vás stroji. Prostě používáme lidi, které máme efektivněji a abychom činili opravdu těžká rozhodnutí.“

Příspěvek je otevřený práci s jinými publikacemi, které pomáhají zbytku odvětví implementovat tento druh technologie. Může pomoci místním zpravodajským střediskům s omezenými zdroji k udržování sekcí komentářů bez velkého vyhrazeného personálu ak použití komentářů, jak to dělají Times , k nalezení potenciálních potenciálních zákazníků a žurnalistické kampaně.

Etim přirovnával AI-asistované moderování k tomu, aby dal farmáři mechanický pluh versus rýč. S pluhem můžete dělat mnohem lépe.

"Pokud se Perspektiva může vyvíjet správným způsobem, může, doufejme, vytvořit alespoň soubor pokynů, které jsou opakovatelné pro malé prodejny, " řekl. „Je to dlouhá hra, ale už jsme založili spoustu nadace, která bude součástí toho zážitku čtenáře. Možná by tyto místní noviny mohly mít znovu komentáře a založit trochu předmostí proti hlavním sociálním hráčům.“



Křičí do propasti

V tomto okamžiku většina z nás viděla lidi napadající nebo obtěžující na sociálních médiích, aby vyjádřili svůj názor. Nikdo nechce, aby se jim to stalo, s výjimkou trollů, kteří na tomhle druhu prospívají. Dozvěděli jsme se, že křičí na cizince, který nikdy nebude poslouchat racionální argument, není cenným využitím našeho času.

Perspektiva se snaží podporovat tuto dynamiku, ale CJ Adams uvedl, že širším cílem je publikovat data, výzkum a nové open-source modely UX a vytvářet nové struktury konverzace - skličující úkol. Udělat z internetu zdravé místo, které stojí za čas lidí, znamená škálovat tyto systémy mimo sekce s komentáři a dílčími zprávami. Nástroje AI musí být v konečném důsledku schopny zvládnout gargantuanské sociální aplikace a sítě, které dominují našim každodenním digitálním interakcím.

Nejenže přímým způsobem, jak toho dosáhnout, je posunout technologii od moderátorů k samotným uživatelům. Adams ukázal na projekt Coral, aby získal představu o tom, jak by to mohlo vypadat.

Projekt Coral byl původně založen jako spolupráce mezi Mozilla Foundation, New York Times a Washington Post. Coral staví nástroje s otevřeným zdrojovým kódem, jako je platforma Talk, která povzbuzuje online diskuzi a dává zpravodajským webům alternativu k vypínání sekcí komentářů. Talk v současné době využívá platformy pro téměř 50 online vydavatelů, včetně pošty , časopisu New York, The Wall Street Journal a The Intercept.

Začátkem tohoto měsíce získala Vox Media projekt Coral od Mozilla Foundation; plánuje jej „hluboce integrovat“ do Chorusu, jeho platformy pro správu obsahu a vyprávění příběhů.

Perspektiva má zásuvný modul pro projekt Coral, který používá stejné základní technologie - bodování toxicity a prahové hodnoty ML -, aby uživatelům poskytoval proaktivní návrhy při psaní, řekl Adams. Když tedy uživatel píše komentář obsahující fráze označené jako zneužití nebo obtěžování, může se uživateli zobrazit upozornění: „Než to zveřejníte, nezapomeňte si přečíst pokyny pro komunitu“ nebo „Jazyk v tomto komentáři může porušovat naše pokyny pro komunitu. Náš moderátorský tým to brzy zkontroluje. “

„To malé škrábnutí může lidem pomoci jen chvilku přemýšlet, ale také nikoho neblokuje, “ řekl Adams. "Nezastavuje to diskusi."

Je to mechanismus, který jsou integrovány platformy pro videohry a streamování, které zabraňují zneužívání a obtěžování. Uživatelé systému Twitter by z takového systému mohli jednoznačně těžit.

Hovoří to k myšlence, kterou vědec z MIT Andrew Lippmann vynalezl v PCMag's Future Issue: Mluvil o vestavěných mechanismech, které by lidem umožnily zastavit se a přemýšlet, než budou něco sdílet online, aby pomohly zabránit šíření dezinformací. Koncept se vztahuje i na online diskusi. Vytvořili jsme komunikační systémy bez tření, které dokážou exponenciálně zesílit dosah prohlášení, ale někdy může být malé tření dobrou věcí, řekl Lippmann.

Perspektiva se netýká použití AI jako plošného řešení. Je to způsob, jak zformulovat ML modely do nástrojů pro lidi, které jim pomohou připravit vlastní zkušenosti. Jedním z kontrapunktu je, že pokud lidem ještě více usnadníte vyladění online šumu, který se jim nelíbí, internet se stane ještě více ozvěnou, než již je.

Na otázku, zda by nástroje, jako je Perspektiva, v konečném důsledku mohly tuto situaci ještě zhoršit, Adams uvedl, že věří, že existují online ozvěny, protože neexistují žádné mechanismy, které by hostily diskusi, kde by lidé mohli smysluplně nesouhlasit.

"Cesta nejmenšího odporu je:" Tito lidé bojují. Nechme je, ať se se sebou dohodnou ve svých koutech. Nechte lidi silo, "řekl. „Necháte lidi, aby křičeli všichni ostatní z místnosti, nebo ukončíte diskusi. Chceme, aby Perspektiva vytvořila třetí možnost.“

Adams sestavil ukázkový scénář. Pokud se zeptáte místnosti s 1 000 lidmi, „Kolik z vás dnes četlo něco, o co vám opravdu záleželo?“ většina uživatelů internetu odkazuje na článek, tweet, příspěvek nebo něco, co čtou online. Ale pokud se jich potom zeptáte, „Kolik z vás si myslí, že stálo za to, abyste se k tomu vyjádřili nebo aby probrali diskusi?“ všechny ruce v místnosti půjdou dolů.

„Pro tolik z nás to prostě nestojí za námahu. Struktura diskuse, kterou právě teď máme, znamená, že je to odpovědnost. Pokud máte aktuální rozumnou myšlenku nebo něco, o co se chcete podělit, pro většinu lidí to neudělají“ Nechci se zúčastnit, “řekl Adams. "To znamená, že z toho 1 000 lidí, kteří by mohli být v místnosti, máte v diskusi pouze hrstku; řekněme, 10 lidí. Mám hlubokou víru, že můžeme vybudovat strukturu, která umožní, aby se dalších 990 vrátilo zpět do diskuse." a dělá to tak, aby zjistili, že stojí za svůj čas. “