Budování umělé inteligence, která chápe kontext: Výzvy a průlomy

Když jsem před deseti lety začal pracovat se systémy umělé inteligence, jejich neschopnost porozumět kontextu byla bolestně zřejmá. Položili jste zdánlivě přímočarou otázku a dostali jste odpověď, která se zcela minula cíli, protože systém nedokázal pochopit kontextové nuance, kterým lidé intuitivně rozumí. Porozumění kontextu představuje jednu z nejvýznamnějších výzev ve vývoji umělé inteligence. Na rozdíl od lidí, kteří bez námahy interpretují význam na základě situačního uvědomění, kulturních znalostí a konverzační historie, tradiční systémy umělé inteligence fungovaly primárně na rozpoznávání vzorců a statistické analýze, aniž by skutečně „pochopily“ širší kontext. Tato kontextová mezera se projevuje mnoha způsoby: umělá inteligence nemusí rozpoznat sarkasmus, přehlédnout význam kulturních odkazů nebo zapomenout dřívější části konverzace, které poskytují klíčový kontext pro interpretaci nových informací. Je to jako mluvit s někým, kdo má vynikající slovní zásobu, ale nemá žádné sociální uvědomění ani si nepamatuje, co jste řekli před pěti minutami.

Kontext není jednotný pojem, ale spíše vícerozměrný rámec, který zahrnuje různé prvky:
Jazykový kontext zahrnuje slova, věty a odstavce obklopující konkrétní výrok. Když někdo řekne: „Nesnáším to,“ význam se dramaticky změní, pokud předchozí věta zní: „Tato židle se kymácí“ oproti „Tato hudba je krásná“.
Situační kontext zahrnuje pochopení prostředí, načasování a okolností, za kterých komunikace probíhá. Žádost o „pokyny“ znamená něco jiného, když stojíte ztraceni na rohu ulice, než když sedíte na konferenci o vedení.
Kulturní kontext zahrnuje sdílené znalosti, reference a normy, které formují komunikaci. Když někdo zmíní „hrát Hamleta“, odkazuje na nerozhodnost – ale umělá inteligence bez kulturního kontextu by mohla začít recitovat Shakespeara.
Meziosobní kontext zahrnuje dynamiku vztahů, sdílenou historii a emoční stavy, které ovlivňují interakce. Přátelé rozumí vzájemným vtipům a dokáží rozpoznat jemné změny v tónu, které signalizují emoce.
Aby systémy umělé inteligence skutečně chápaly kontext tak, jak ho chápou lidé, musí pochopit všechny tyto dimenze současně – což je monumentální výzva, která zaměstnává výzkumníky po celá desetiletí.

Rané pokusy o vytvoření kontextově orientované umělé inteligence se silně spoléhaly na systémy založené na pravidlech a ručně kódované znalosti. Vývojáři pečlivě programovali tisíce pravidel „pokud a pak“ pro zpracování specifických kontextů. Například: „Pokud uživatel zmíní „cítí se sklesle“ a dříve hovořil o pracovním pohovoru, pak se při odpovědi na tento pohovor odvolávejte.“ Tento přístup se rychle stal neudržitelným. Počet potenciálních kontextů je v podstatě nekonečný a ruční programování reakcí pro každý scénář je nemožné. Tyto systémy byly křehké, neschopné zobecnit na nové situace a často selhávaly při setkání s neočekávanými vstupy. Statistické metody, jako jsou n-gramy a základní strojové učení, situaci poněkud zlepšily tím, že umožnily systémům rozpoznávat vzory v používání jazyka. Tyto přístupy se však stále potýkaly s dlouhodobými závislostmi – propojováním informací zmíněných mnohem dříve v konverzaci s aktuálními výroky – a nemohly zahrnout širší znalosti světa. Ještě sofistikovanější přístupy neuronových sítí, jako jsou rané rekurentní neuronové sítě (RNN) a sítě s dlouhou krátkodobou pamětí (LSTM), zlepšily kontextové povědomí, ale stále trpěly „kontextovou amnézií“, když se konverzace zdlouhaly nebo byly složité.

Průlom nastal v roce 2017 s uvedením architektury Transformer, která zásadně změnila způsob, jakým systémy umělé inteligence zpracovávají sekvenční informace. Na rozdíl od předchozích modelů, které zpracovávaly text slovo po slově v daném pořadí, Transformers používají mechanismus zvaný „vlastní pozornost“, který jim umožňuje zvažovat všechna slova v pasáži současně a zvažovat vztahy mezi nimi. Tato architektura umožnila modelům zachytit mnohem delší kontextové závislosti a udržet si povědomí o informacích zmíněných o tisíce slov dříve. Slavný článek Vaswaniho a kol. s názvem „pozornost je vše, co potřebujete“ ukázal, že tento přístup by mohl dramaticky zlepšit kvalitu strojového překladu lepším zachováním kontextového významu napříč jazyky. Tato architektonická inovace připravila půdu pro modely jako BERT, GPT a jejich nástupce, které prokázaly stále sofistikovanější schopnosti kontextového porozumění. Tyto modely jsou předtrénovány na rozsáhlých korpusech textu, což jim umožňuje absorbovat vzorce používání jazyka v nesčetných kontextech, než jsou doladěny pro konkrétní aplikace. Rozsah těchto modelů exponenciálně vzrostl, z milionů parametrů na stovky miliard, což jim umožňuje zachytit stále jemnější kontextové vzorce. Největší modely nyní zřejmě disponují základními znalostmi „selského rozumu“, které jim pomáhají jednoznačně rozpoznat matoucí odkazy a pochopit implicitní význam.

Ačkoliv se kontextové chápání založené na textu dramaticky posunulo, lidé se k pochopení kontextu nespoléhají pouze na slova. Situace interpretujeme pomocí vizuálních podnětů, tónu hlasu, řeči těla a dokonce i jemných faktorů prostředí. Nedávné průlomy v multimodální umělé inteligenci začínají tuto mezeru překlenovat. Systémy jako CLIP, DALL-E a jejich nástupci dokáží propojit jazyk a vizuální informace a vytvořit tak bohatší kontextové chápání. Pokud se například zobrazí obrázek přeplněného stadionu spolu s textem o „hře“, tyto systémy dokáží na základě vizuálních podnětů odvodit, zda se jedná o baseball, fotbal nebo americký fotbal. Audiovizuální modely nyní dokáží detekovat emoční stavy z tónu hlasu a výrazů obličeje, což přidává další klíčovou vrstvu kontextového chápání. Když někdo řekne „Skvělá práce“ sarkasticky oproti upřímnému, význam se zcela změní – tento rozdíl si tyto novější systémy začínají uvědomovat. Další hranicí je integrace těchto multimodálních schopností s konverzační umělou inteligencí, aby se vytvořily systémy, které chápou kontext napříč různými smyslovými kanály současně. Představte si asistenta s umělou inteligencí, který rozpozná, že vaříte (vizuální kontext), slyší váš frustrovaný tón (zvukový kontext), všimne si, že čtete recept (textový kontext), a nabídne vám relevantní pomoc bez explicitního nabádání.

I s pokročilými jazykovými modely se systémy umělé inteligence potýkají s udržováním konzistentní kontextové paměti během delších interakcí. Rané modely velkých jazyků „zapomínaly“ detaily zmíněné dříve v konverzaci nebo si konfabulovaly odpovědi, místo aby uznaly mezery ve znalostech. Nedávné průlomy v generování rozšířeného vyhledávání (RAG) řeší toto omezení tím, že umožňují systémům umělé inteligence odkazovat na externí znalostní báze a historii předchozích konverzací. Spíše než aby se tyto systémy spoléhaly pouze na parametry zakódované během trénování, mohou aktivně vyhledávat relevantní informace v případě potřeby, podobně jako lidé nahlížejí do své paměti. Kontextová okna – množství textu, které může umělá inteligence zvážit při generování odpovědí – se v nejpokročilejších systémech dramaticky rozšířila z pouhých několika stovek tokenů na stovky tisíc. To umožňuje mnohem souvislejší generování dlouhého obsahu a konverzaci, která zachovává konzistenci napříč dlouhými výměnami. Stejně důležité jsou pokroky ve schopnostech uvažování. Moderní systémy nyní mohou provádět vícekrokové úkoly uvažování, rozdělovat složité problémy na zvládnutelné kroky a zároveň zachovávat kontext v celém procesu. Například při řešení matematického problému mohou sledovat mezivýsledky a předpoklady způsobem, který odráží lidskou pracovní paměť.

S tím, jak se systémy umělé inteligence stávají zdatnějšími v chápání kontextu, objevují se nové etické aspekty. Systémy, které chápou kulturní a sociální nuance, by mohly potenciálně efektivněji manipulovat s uživateli nebo zesilovat škodlivé předsudky přítomné v trénovacích datech. Schopnost uchovat kontextovou paměť napříč interakcemi také vyvolává obavy o soukromí. Pokud si umělá inteligence pamatuje osobní údaje sdílené před týdny nebo měsíci a neočekávaně je vyvolá, uživatelé mohou mít pocit, že jejich soukromí bylo narušeno, i když se o tyto informace dobrovolně podělili. Vývojáři pracují na řešení těchto obav pomocí technik, jako je řízené zapomínání, mechanismy explicitního souhlasu s ukládáním osobních údajů a strategie zmírňování předsudků. Cílem je vytvořit umělou inteligenci, která dostatečně dobře rozumí kontextu, aby byla užitečná, aniž by se stala dotěrnou nebo manipulativní. Existuje také výzva transparentnosti. S tím, jak se kontextové chápání stává sofistikovanějším, je pro uživatele stále obtížnější pochopit, jak systémy umělé inteligence docházejí ke svým závěrům. Techniky pro vysvětlení rozhodování umělé inteligence v kontextově závislých scénářích jsou aktivní oblastí výzkumu.

Průlomy v kontextovém porozumění transformují řadu oblastí:

Ve zdravotnictví dokáže kontextově vnímavá umělá inteligence interpretovat stížnosti pacientů v rámci jejich anamnézy, životního stylu a aktuálně užívaných léků. Když pacient popíše příznaky, systém může klást relevantní doplňující otázky na základě tohoto komplexního kontextu, místo aby se řídil obecným scénářem.

Systémy zákaznických služeb nyní uchovávají historii konverzací a informace o účtu během interakcí, čímž eliminují frustrující potřebu opakovat informace. Dokážou detekovat emoční stavy z jazykových vzorců a podle toho upravit svůj tón – stát se formálnějšími nebo empatičtějšími podle toho, co vyžaduje kontext.

Vzdělávací aplikace využívají kontextové porozumění ke sledování studijní cesty studenta, identifikují mezery ve znalostech a mylné představy. Tyto systémy místo poskytování standardizovaného obsahu přizpůsobují vysvětlení na základě předchozích otázek, chyb a prokázaného porozumění studenta.

Analýza právních a finančních dokumentů enormně těží z kontextového porozumění. Moderní umělá inteligence dokáže interpretovat ustanovení v širším kontextu celých smluv, příslušných právních předpisů a judikatury a odhalovat nesrovnalosti nebo potenciální problémy, které by mohly uniknout lidským kontrolorům, kteří se potýkají s přetížením informacemi.
Kreativní nástroje, jako jsou asistenti psaní, nyní zachovávají tematickou konzistenci napříč dlouhými díly a navrhují obsah, který odpovídá zavedeným postavám, prostředím a narativním obloukům, spíše než generické doplňování textu.

Do budoucna by několik slibných směrů výzkumu mohlo dále transformovat kontextovou umělou inteligenci:

Modely epizodické paměti si kladou za cíl dát systémům umělé inteligence něco podobného lidské autobiografické paměti – schopnost pamatovat si konkrétní události a zážitky, spíše než jen statistické vzorce. To by umožnilo mnohem personalizovanější interakce založené na sdílené historii.

Rámce kauzálního uvažování se snaží překročit rámec rozpoznávání vzorců založeného na korelacích a porozumět vztahům příčina-následek. To by umělé inteligenci umožnilo uvažovat o kontrafaktuálních teoriích („Co by se stalo, kdyby...“) a vytvářet přesnější předpovědi v nových kontextech. Vyvíjejí se mezikulturní kontextové modely, které mají pochopit, jak se kontext mění v různých kulturních rámeccích, čímž se systémy umělé inteligence stávají přizpůsobivějšími a méně zaujatými vůči západním kulturním normám. Výzkum vtělené umělé inteligence zkoumá, jak fyzický kontext – umístění v prostředí se schopností s ním interagovat – mění kontextové chápání. Roboti a virtuální agenti, kteří mohou vidět, manipulovat s objekty a navigovat v prostoru, vyvíjejí odlišné kontextové modely než textové systémy.
Konečným cílem zůstává vytvoření umělé obecné inteligence (AGI) s kontextovým chápáním podobným lidskému – systémů, které dokáží bezproblémově integrovat všechny tyto formy kontextu, aby komunikovaly a uvažovaly o světě stejně efektivně jako lidé. I když jsme od tohoto milníku stále daleko, tempo průlomů naznačuje, že se tímto směrem stabilně pohybujeme.
S tím, jak se tyto technologie dále vyvíjejí, transformují náš vztah se stroji z rigidních interakcí založených na příkazech na plynulou, kontextově bohatou spolupráci, která se stále více podobá komunikaci mezi lidmi. Umělá inteligence, která skutečně rozumí kontextu, není jen technickým úspěchem – představuje zásadní posun v technologické cestě lidstva.