Ibm Watson pomáhá studentům vysokých škol učit se mandarinky

Univerzity prošli ve svých jazykových studiích dlouhou cestu, přesahovaly pouhé tradiční třídy v přednáškovém sále a přednastavené hodiny bez interakce. Nyní mají studenti přístup k technologiím, jako je umělá inteligence (AI) a zpracování přirozeného jazyka (NLP), v ponořeném prostředí učení. To se děje v laboratoři kognitivních a pohlcujících systémů (CISL) na Troy v New Yorku, v areálu Rensselaer Polytechnic Institute (RPI). Právě zde se institut spojil s IBM Research a vytvořil techniku ​​pro šestitýdenní letní kurz, ve kterém studenti komunikují s agenty AI v prostředích, které zahrnují pouliční trhy a restaurace.

Kurz s názvem „AI-Assisted Immersive Chinese“ je vybaven 360 stupňovým panoramatickým zobrazovacím systémem počítačově generovaných scén v laboratoři Cognitive Immersive Room (CIR), které se také nazývá „Situační místnost“. Virtuální scény se odehrávají v Číně. Studenti hovoří s avatary, které jsou poháněny Watson Assistantem, a jsou opraveny podle jejich řeči a výslovnosti. V CIR studenti používají konverzační umělou inteligenci, narativní generaci, povědomí o prostorovém kontextu a techniku ​​rozpoznávání gesta a obličeje.

CIR je příkladem rozmanitosti možností pro IBM Watson v několika průmyslových odvětvích kromě vzdělávání. Tato odvětví zahrnují zemědělství, lidské zdroje (HR) a správu loďstva.

V RPI, kromě asistenta Watsona, používají studenti ve svých studiích také Watsonův text na řeč, Watsonův text na řeč a překladač jazyků.

Studenti se učí Mandarin pomocí AI v areálu RPI. (Obrazový kredit: IBM Research / RPI)

Aktivní učení

Pro Juliana Wonga, juniora v RPI, byl pohlcující zážitek z umělé inteligence lákavým způsobem, jak se naučit Mandarina, protože mu to dává aktivnější způsob, jak se učit. Protože Mandarin je tónový jazyk, ve kterém změna výšky hřiště může změnit význam slov, avatary ve zkušenostech s umělou inteligencí poskytují zpětnou vazbu o tónu, aby se ujistily, že Wong a ostatní studenti získávají správnost výslovností.

Práce s AI v CIR poskytuje pěknou rovnováhu s běžným časem ve třídě, podle Wonga. „Setkání za účelem rozhovoru s počítačem… rozhodně pomáhá s mnoha aspekty výuky jazyka, zejména s verbálními schopnostmi, “ řekl Wong.

Třída Wong's Mandarin se schází čtyřikrát týdně. V pondělí a pátek navštěvuje třídu v tradiční třídě u Heleny Zhou, docentky na RPI. Tam se učí novou slovní zásobu a dostane úvod do frází a gramatických struktur. V úterý a ve čtvrtek se třída schází v CIR, kde studenti vedou rozhovory s virtuálními agenty. V prostředí restaurace Wong řekl, že studenti mohou projít celým procesem sedění v restauraci, prohlížení jídelního lístku, objednávání jídla, rozhovoru s číšníkem o tom, jak je jídlo připravováno, a placení účtu. Mezi další prostředí patří zahrada, trh a školní areál.

Třída Mandarin v pohlcující třídě se liší od tradičního prostředí, protože podle Zhou poskytuje multimodální zkušenost s jazykem a videem. Řekla, že tradiční třída bude méně pohlcující a interaktivní. "V simulaci v pohlcující třídě máme dva agenty, kteří spolu bojují, abychom se pokusili přesvědčit studenty, aby si produkt koupili, " řekl Zhou. „Studenti by tedy spíše rozuměli na základě osobní zkušenosti, než aby sledovali videa nebo poslouchali pouze přednášky. Věřím, že kulturu vyzvednou snadněji než pouhým učením se z učebnic nebo poslechem pásek.“

V CIR studenti dělají kvízy související se scénami, se kterými interagovali, a zvedají ruce, aby dali odpovědi. Technika počítačového vidění z kamer v místnosti zachycuje jejich gesta. Asistent AI podává kvíz související se scénou a studenti musí odpovědět frází v čínštině.

„Pokud si chcete vybrat jednu z vyskakovacích oken, která jsou na obrazovce, pak můžete natáhnout ruku, otevřít dlaň a pak ji zavřít, “ vysvětlil Wong. "Vyberete si, na kterém místě je kurzor. Pokud jde o malé kvízy, pokud víte, jaká je správná odpověď, můžete přesunout ruku k postavám, které chcete vybrat, a pak je uzavřít rukou a vybrat je. dáme vám vědět, jestli máte pravdu nebo ne. “

Virtuální agent chápe studenty většinu času, s výjimkou případů, kdy nemusí mít mikrofon blízko úst. Systém má různá nastavení rozpoznávání hlasu, která vyzvednou studenty, pokud jsou mimo jejich výslovnost. Poskytuje také okamžitou zpětnou vazbu v konverzaci, pokud nemáte profesora. Ve vlastní době chodí studenti ve třídě Mandarin na web, kde si mohou procvičovat hlasové klipy.

Skvělou vlastností pohlcujícího zážitku v RPI je prostorové kontextové povědomí, ve kterém více virtuálních agentů na obrazovce může zjistit, s kým z nich navazujete oční kontakt. „Pokud při pohledu na jednoho agenta něco řeknete, pak tento agent odpoví, a ne ten druhý, “ řekl Wong.

Student používá technologii gesta a technologie rozpoznávání obličeje IBM Watson jako součást třídy Mandarin na RPI. (Obrazový kredit: IBM Research / RPI )

Jak se vyvíjel pohlcující zážitek

Působivý zážitek na RPI byl vytvořen, když se setkali profesoři jazyků a profesoři herního designu, aby diskutovali o lepším způsobu výuky jazyka. Podle Hui Su, který je zároveň ředitelem kognitivního uživatelského zážitku ve společnosti IBM Research a ředitelem CISL, se plán na vývoj hry na hraní rolí brzy promítl do diskuse o tom, jak učit Mandarin prostřednictvím simulace reálných scénářů. IBM a RPI začaly tento kurz rozvíjet na konci roku 2015 a tehdy založily společnou laboratoř. CISL se pak brzy vytvořil.

"Účelem laboratoře je vybudovat kognitivní a pohlcující prostředí ke zlepšení skupinových aktivit, ke zvýšení inteligence skupiny v souvislosti s učením a rozhodováním, " uvedl Su. "Zaměřujeme se také na budování kognitivních pohlcujících zasedacích místností… abychom se podívali na data kritické situace a pokusili se smysluplné informace a vytvořit rozhodnutí nebo doporučení pro tvůrce rozhodnutí."

V rámci programu výuky jazyků AI experimentují IBM a RPI s pitchovou konturovou analýzou. Su popsal, jak tato technologie funguje. „Když mluvíte slabiku, když vyslovíte slabiku, základní technologie zachytí hlas a vytvoří vizuální obrys toho, jak tuto slabiku vyslovíte, “ řekl Su. "Potom použije tento vizuální obrys a porovná tento vizuální obrys s vizuální konturou rodilého mluvčího."

Studenti pak mohou upravit svou výslovnost tak, aby dosáhli správného tónu. Dozví se, že potřebují změnit výslovnost určitých slabik. S vědomostmi, které studenti získají učením Mandarin v ponořené třídě pomocí technologie Watson, budou mít větší sebevědomí konverzaci v reálném životě, podle Su.

"Celá myšlenka je poskytnout dostatek kulturního kontextu prostřednictvím našeho pohlcujícího prostředí a technologie AI, aby studenti mohli cvičit cvičení, " řekl Su. "Nebudou mít obavy, jako když mluví v reálném životě s lidmi."

Student cvičí Mandarin ve virtuálním prostředí restaurace pomocí technologie IBM Watson. (Obrazový kredit: IBM Research / RPI )

Most mezi technickým průmyslem a akademií

IBM a RPI jsou schopny vybudovat most mezi vědci IBM a členy fakulty, přičemž IBM vkládá výzkumného pracovníka do kampusu, konkrétně Su. Mezitím Zhou, profesor třídy na RPI, také poskytuje zpětnou vazbu návrhářům, uživatelům a učitelům o tom, jak zlepšit pohlcující zážitek ve třídě.

"Musím jim poskytnout okamžitou zpětnou vazbu k ladění nebo vylepšování designu, abychom mohli studentům nabídnout přirozenější učebnu, " řekl Zhou. "Takže je tu spousta práce, ale stojí to za to."

Budoucnost jazykového učení

• Nejlepší software pro výuku jazyků pro rok 2019 Nejlepší software pro výuku jazyků pro rok 2019
• IBM vydává předtrénované nástroje Watson AI v několika průmyslových odvětvích IBM vydává předtrénované nástroje Watson AI v několika průmyslových odvětvích
• Mluví AI opravdu jazykem? Mluví AI opravdu jazykem?

Tento typ pohlcujícího prostředí je podle Zhoua cenný z důvodu schopnosti poskytovat zdánlivě reálné prostředí. „Pohlcující prostředí umělé inteligence může nejen zlepšit mluvení studentů a poslech, ale také pragmatiku používání tohoto jazyka v reálných situacích, “ řekl Zhou. "Proto je AI pro mě jako instruktora ideální, aby studenti mohli získat pocit, že budou jazyk používat brzy, dokonce i pro začátečníky, aniž by cestovali do země."

Multimodální vzdělávací prostředí, jako jsou prostředí nabízená na RPI, rozšíří roli AI ve třídě. Díky zkušenostem, které AI poskytuje prostřednictvím virtuálních agentů, budou studenti připraveni řešit různé scénáře v reálném světě s nezbytnými jazykovými znalostmi.