Já a AI

Aby AI zůstala dobrým sluhou, učme se být dobrými pány.

Umělá inteligence už není jen okénko, do kterého napíšete otázku a dostanete odpověď.

Je také napověda v telefonu, překladač, který ani nevnímáme jako AI, vyhledávač, který nám předem přerovná svět, filtr ve fotoaparátu, systém čtoucí snímky, doporučovač videí, generátor obrázků, pomocník v kanceláři, programátor, který napíše část aplikace, nebo agent, který dostane úkol, rozmyslí si postup a začne pracovat v dalších systémech.

Slibovaná AI apokalypsa začíná prostě tím, že se v tom začínáme vespolek trochu ztrácet. 🫠

Ne proto, že bychom byli hloupí. Spíš proto, že se nám pod rukama mění samotná povaha nástroje. Z kladiva se stává dílna. Z dílny zaměstnanec. Ze zaměstnance oddělení. A z oddělení možná podivně rychlý kolektiv, který se umí sám pustit do práce dřív, než jsme si stačili ujasnit, co přesně jsme vlastně chtěli.

Takže: pojďme se na chvíli zastavit.

Ne abychom se naučili předpovídat budoucnost. To se nám v technologických dějinách příliš nedaří. Spíš abychom získali brýle, díky kterým dokážeme rozpoznat, co máme právě před očima.

Od neviditelné AI k agentovi, který jedná

AI můžeme potkat v několika různých podobách. Nejsou to úplně schody, po kterých všichni poslušně stoupáme. Spíš vrstvy, které se překrývají a občas se převlékají jedna za druhou.

1. AI, o které ani nevíme

Napovídač textu. Automatický překlad. Doporučený příspěvek. Rozpoznání obličeje. Spam filtr.

V této vrstvě AI většinou nepůsobí jako někdo, s kým bychom si šli popovídat. Prostě je zabudovaná v prostředí. Pomáhá nám, řadí nám svět, někdy nás trochu postrkuje a někdy za nás potichu rozhoduje, co vůbec uvidíme.

2. Specializovaný nástroj

Překladač, generátor obrázků, nástroj pro úpravu fotografií, rozpoznávání řeči, čtení dokumentů, tvorba titulků, práce s tabulkami nebo vyhledávání v rozsáhlém archivu. Bezedný zdroj videí roztomilých koťátek! 😸

Tady už víme, že používáme něco chytrého. Zpravidla ale stále očekáváme jednu hlavní věc: zadám vstup, dostanu výstup.

3. Konverzační model a multimodální platforma

Sem patří chatboty, LLM a nástroje, které pracují s textem, obrazem, zvukem, soubory, tabulkami nebo kódem.

Jejich zvláštnost nespočívá jen v tom, že umějí více věcí. Umějí se také přizpůsobovat našemu způsobu práce. Postupně už s nimi můžeme přímo přemýšlet nahlas, nechat si vysvětlit odborný text, připravit varianty, rozebrat problém, naplánovat projekt nebo postupně zpřesňovat, co jsme vlastně chtěli.

To je úžasné. A také zrádné.

Konverzace vytváří pocit porozumění. Systém může znít velmi pozorně, a přitom nemusí mít lidské porozumění tomu, co je pro nás důležité. Umí skvěle pokračovat v určitém vzorci. To ještě neznamená, že ví, kdy už vzorec přestal platit.
Učíme se s ním pracovat jako s kolegou, který je trochu víc sebevědomý, než je zdrávo, a zároveň nám ukrutně podkuřuje, abychom mu to pokaždé znova odpustili.

4. Agent, který přebírá část workflow

Agent není jen chatbot s lepším jménem. Agent dostane cíl, nástroje a určitou míru oprávnění. Může si rozdělit úkol na kroky, použít databázi, otevřít web, přečíst dokument, zavolat jiný nástroj, připravit výsledek a podat zprávu o tom, co provedl.

Tady se mění zásadní věc:

Nepoužíváme už pouze nástroj k provedení úkolu. Začínáme delegovat část pracovního postupu.

Agent tak může například nejen napsat odpověď na e-mail, ale také:

• přečíst příchozí zprávu,

• vyhledat údaje v interním systému,

• ověřit několik podmínek,

• připravit návrh řešení,

• založit záznam,

• předat případ člověku,

• a informovat nás, co se stalo.

To už není jen asistent, to už je juniorní pracovník. Jen velmi rychlý, velmi snadno kopírovatelný a bez přirozeného studu z toho, že si není jistý.

5. Agentní systém nebo roj agentů

Více agentů může spolupracovat. Jeden plánuje, druhý hledá, třetí kontroluje, čtvrtý provádí a pátý připravuje report.

To může být elegantní architektura. Ovšem může to být také pět velmi sebevědomých skřítků, kteří si mezi sebou předávají chybu a na konci ji opatří pěkným souhrnem (a pošlou šéfovi).

Čím více agentů, nástrojů, pravidel, výjimek a návazností zapojíme, tím více roste schopnost systému vykonat práci — ale také obtížnost rozpoznat, proč přesně ji vykonal právě takhle.

(Nadlidská) komplexita je jev, o kterém ještě hodně uslyšíme.

AI jako potkan v potrubí

O AI se často mluví jako o tajemné bytosti, která nám kdesi z hloubi internetu odpovídá. Jako věštecká koule. 🔮
Mně někdy připadá užitečnější představit si ji jako potkana v potrubí.

Na začátku našemu (venkoncem zatím relativně dobře ochočenému) krysákovi uložíme:

• přání,

• problém,

• kontext,

• data,

• dokumenty,

• pravidla,

• oprávnění,

• časový limit,

• očekávání.

Potkan probíhá kanály a dělá to nejlepší, co ho v dané chvíli napadne. Některé části jeho cesty jsou tvrdě deterministické. Některé statistické. Některé závisí na modelu, který pravděpodobně odhadne nejvhodnější pokračování. Některé kroky provede na požádání kámoš potkan v jiném systému. Některé věci se vrácí jako návrh, jiné jako vykonaný čin.

Na konci nám potkánek vyplivne výsledek.

A pak se ukáže, že jsme krysákovi uložili otázku „vyřiď to“ a očekávali jsme, že systém ví:

• co znamená vyřídit,

• co je důležitější než rychlost,

• kterou výjimku máme chránit,

• kdy má přestat,

• komu má říct, že si není jistý,

• co nesmí změnit,

• a co je ve skutečnosti účelem celého procesu.

AI často neudělá chybu proto, že by ještě nebyla dost dobrá. Udělá ji proto, že jsme jí poskytli příliš špatně definovaný prostor a příliš málo skutečně použitelných mantinelů. AI si hraje na člověka a my si rádi představujeme, že chápe stejně jako člověk. Ale je to spíš takový přičinlivý hlodavec. 🐀

Dobrý sluha, ale zlý pán

Rčení o dobrém sluhovi, co by byl špatným pánem mega otřepané. Přesto je v něm něco dost aktuálního, že?

Dobrý sluha není ten, kdo všechno udělá bez ptaní. To by mohl být také velmi nebezpečný sluha. (Pamatujete na příběh o Golemovi?)

Dobrý sluha:

• ví, k čemu slouží,

• zná hranice svého oprávnění,

• umí si říct o doplnění zadání,

• pozná situaci, kdy nemá pokračovat,

• neschovává nejistotu pod uhlazený výsledek,

• a nechává po sobě dost stop, aby jeho pán dokázal pochopit, co se stalo.

Dobrý pán zase:

• ví, jaký účel má služba sledovat,

• rozlišuje mezi výsledkem a skutečným dopadem,

• nedává sluhovi klíče od celého domu jen proto, že hezky mluví,

• pravidelně kontroluje, jestli se nezměnily okolnosti,

• a nenechá se přesvědčit, že rychlost sama o sobě je důkazem správnosti.

V případě AI to znamená, že nestačí umět napsat dobrý prompt. Potřebujeme také umět navrhnout prostředí, ve kterém může AI bezpečně pracovat. Jojo. To sprosté slovíčko: AI Governance.

Kdo je analytička zodpovědné implementace AI?

Není to člověk, který obejde firmu s katalogem nástrojů a každému oddělení vybere nějakého roztomilého nápomocného robůtka na ozdobu. 🤖

A není to ani člověk, který nadšeně automatizuje všechno, co se automatizovat dá.

Analytička odpovědné implementace se ptá trochu méně opojně a výrazně komplikovaněji:

Co má být díky AI lepší — a pro koho?

Nejdřív potřebuje pochopit skutečný proces. Ne jen organizační diagram a oficiální metodiku. Skutečný proces: co lidé dělají, co obcházejí, kde čekají, komu volají, co si pamatují v hlavě, co řeší mimo systém a kde se rozhodnutí opírá o zkušenost, která nikde není napsaná.

Potom hledá místa, kde má AI smysl. Některé úkoly je lepší řešit obyčejným pravidlem, formulářem nebo integrací. Některé zvládne RPA neboli robotická automatizace přesně podle postupu (když se stane A, udělej B, nepřemýšlej). Některé jsou vhodné pro copilota s velkým jazykovým modelem. Některé opravdu potřebují agenta nebo pořádný agentní roj.

A některé by se automatizovat neměly vůbec. Předvídat dlouhý horizont a zajistit dostatečnou efektivitu v řádu let a dostatečnou bezpečnost v řádu desetiletí, je ten nejtěžší úkol vůbec.

Práce analytičky vypadá přibližně takto

1. Pozorování

Jak práce probíhá v realitě? Co vidí systém? Co ví pracovník? Co se děje po telefonu, na chodbě, v hlavě nebo v excelové tabulce, která nikdy nebyla oficiálně schválena?

2. Rozložení procesu

Kde je vstup, rozhodnutí, předání, výjimka, kontrola a výstup? Co je opakovatelné? Co je kreativní? Co je citlivé? Co se dá ověřit pravidlem a co vyžaduje úsudek?

3. Volba správné míry autonomie

Někdy stačí, aby AI připravila návrh. Jindy může provést přesný přenos dat z místa na místo. Jindy může vést několikakrokový workflow. Rozhodující není, co nástroj umí v demu, ale co smí dělat v konkrétním prostředí.

4. Návrh mantinelů

Co agent nesmí? Jaký má rozsah dat? Jaké nástroje smí použít? Kdy se musí zastavit? Kdy musí požádat o člověka? Jaký dopad smí způsobit bez dalšího schválení?

5. Ověřování v malém

Nejprve malý a vratný experiment. Jasná metrika. Předem definovaný způsob, jak poznáme úspěch i selhání. Žádné „vono se to nějak ujme“.

6. Uvedení do provozu

Technické spuštění není totéž jako implementace. Lidé potřebují vědět, co se změnilo, co od systému čekat, co kontrolovat a kam hlásit podivné chování. Škálování je věda!

7. Průběžné sledování

Model se může změnit. Data se mohou změnit. Lidé začnou systém používat jinak, než se plánovalo. Výjimky se mohou stát novým pravidlem. Proces se může postupně obalit dalšími záplatami, až mu přestane rozumět i ten, kdo ho kdysi navrhl. Nadlidská komplexita (podruhé)!

Zdpovědná implementace proto nekončí ostrým nasazením - ale neměla by končit ani nezřízenou automatickou rekurzí zešložiťovacích zlepšováků.

RPA, agenti a proč někdy chceme hloupější automat

Když potřebujeme přenést data z jednoho systému do druhého, přesně podle daných pravidel, možná nechceme AI, která bude několik minut přemýšlet o širším kontextu a nakonec se rozhodne, že by bylo elegantnější udělat něco úplně jiného. To je taková past umělointeligenční módy. Občas je lepší udělat to jednoduše.

Většinou chceme automat, který poslušně:

1. otevře soubor,

2. přečte sloupec,

3. převede formát,

4. zapíše hodnotu,

5. zkontroluje počet řádků,

6. skončí.

To je krása RPA a deterministických workflow. Nejsou „hloupější“ jako urážka. Jsou předvídatelnější jako vlastnost.

Agent se hodí tam, kde je potřeba pracovat s neúplným zadáním, hledat cestu, interpretovat text nebo koordinovat více kroků. RPA se hodí tam, kde chceme přesnost, opakovatelnost a snadné ověření.

V dobře navrženém systému se tyto přístupy nebudou soupeřit. Budou se doplňovat.

Co se stane, když automatizace předběhne organizaci?

Tady začíná část, která mě zajímá možná nejvíc. A zároveň o ní lidi hrozně málo přemýšlejí a mluví.

Představme si, že automatizace převezme dvě třetiny práce každého pracovníka. Neproběhne žádná dramatická revoluce. Jen se přestane nabírat. Lidé, kteří odejdou, se nenahradí. Někteří zůstanou a začnou spravovat automatizaci.

Za rok už nikdo pořádně nedělá původní práci. Všichni spravují systém, který ji dělá. Human-in-the-loop. 😇♻️

Za několik let přichází nová generace. Učí se spravovat systém jako operátoři a posluhovačky AI. Už se pomalu nemá od koho naučit původní řemeslo.

Je to jako kdyby uklízečka přestala uklízet a začala spravovat armádu robotických vysavačů. Nová kolegyně se naučí spravovat roboty. Ale nebude už umět ručně vytřít schodiště, zvolit vhodný čistič, rozvrhnout si práci.

Tomu se říká deskilling — odumírání dovednosti, která se přestane používat. Děje se bohužel nejen s přílivem nových zaměstnanců, ale i těm, kdo prostě svou dovednost přestali aktivně používat. (Nejčastěji se uvádí snižování orientace v mapě a prostoru kvůli navigacím.)

A není to argument proti automatizaci. Je to argument pro to, aby organizace přemýšlela, které znalosti musí udržovat, jak bude kontrolovat systém a jak obnoví kritickou funkci, když se cokoli ... potento, žejo.

Automatizace může předběhnout člověka v provádění procesu.

Nesmí ale předběhnout celou organizaci v chápání rafinovanosti procesu.

Lidská nadvláda, nebo lidské razítko?

„Human-in-the-loop“ se většinou nepřekládá. Dalo by se ale asi říct, že je to člověk v koloběhu nebo člověk v procesní smyčce. Už ten název je dvojsečný. Člověk ve smyčce není nutně ten, který má nad celým procesem reálnou kontrolu.

Může jít také o člověka, který průběžně slouží stroji a na konci svým podpisem stvrdí výsledek. 

Systém všechno rozhodl. Člověk tomu nerozumí, nemá čas výsledek přezkoumat a zároveň je tím, kdo se pod rozhodnutí podepíše. A má za to zodpovědnost.

To není skutečný lidský dohled. To je spíš lidské razítko.

A někdy možná takový dvounohý bílý kůň 🎠: přidání lidské figury na konec procesu, aby organizace mohla říct, že rozhodnutí přece prošlo lidskýma rukama.

Skutečně smysluplný lidský dohled potřebuje alespoň:

• dostatek času,

• dostatečnou znalost úkolu, procesu a kontextu,

• možnost výstup odmítnout,

• pravomoc systém zastavit a proces měnit,

• schopnost poznat, kdy je výsledek podezřelý,

• a možnost získat informace z jiného zdroje než pouze z vlastního logu (sebeobhajoby systému).

EU AI Act u vysoce rizikových systémů pracuje právě s požadavkem na kompetentní lidský dohled, monitorování a odpovědné používání. Zákon ale sám o sobě nezaručí, že člověk nebude jen posledním razítkem. To je otázka skutečné architektury procesu.

Auditovatelný neznamená automaticky pravdivý

Dříve se nabízelo jednoduché řešení: AIčko musí všechnu svou činnost psát do logu.

Jenže log je záznam tvořený týmž systémem, který se zaznamenávaných činů dopouští. Dobrých i špatných. Log může být neúplný. Může zachycovat jen to, co jsme se rozhodli sledovat. Může být opožděný. A v dostatečně složitém agentním systému je zpropadeně obtížné zjistit, zda log popisuje celou skutečnost, nebo jen příběh, který systém o svém jednání sestavil.

Auditní stopa je důležitá. Nestačí však sama o sobě.

Potřebujeme také:

• nezávislé zdroje událostí,

• oddělená oprávnění,

• kontrolu skutečného stavu dat,

• testovací scénáře, které systém nezná předem,

• limity dopadu,

• možnost izolovat část systému,

• a plán, jak kritický proces převzít, když systému přestaneme věřit.

Někdy je důležitější než otázka „Co agent tvrdí, že udělal?“ otázka:

Co se ve světě skutečně změnilo?

Odpovědná AI není zákaz magie

Odpovědná implementace neznamená, že budeme každý nový nástroj vítat s výrazem člověka, kterému právě nabídli práci s koštětem v radioaktivním skladu.

AI může být báječná. Zatím teda. 🤪

Může zpřístupnit znalosti, pomoct malému týmu, ušetřit rutinní práci, zrychlit analýzu, objevit souvislosti, které bychom sami hledali týdny, převést složitý text do srozumitelné podoby, pomoci s tvorbou, výukou, překladem i výzkumem.

Jen není dobré zaměňovat:

• plynulost za pravdu,

• rychlost za kvalitu,

• sebejistotu za kompetenci,

• automatizaci za zlepšení,

• lidské schválení za lidské porozumění,

• a množství výstupů za skutečnou hodnotu.

Dobrý návrh AI systému začíná u správně zvoleného účelu a končí u pozitivního dopadu na život skutečných lidí. Nástroj je prostředek k něčemu smysluplnému. Ne hračka, která nakonec zničí, co jsme milovali.

Takže co s tím může dělat běžný člověk?

Nemusíme se každý stát programátorem, vášnivým tech-kutilem ani odborníkem na každý nový model.

Za mě vlastně většinou stačí být pozorným pozorovatelem a klást si užitečné otázky:

• Co tento systém skutečně dělá?

• Je to nástroj, workflow, nebo agent?

• Jaká rozhodnutí smí dělat bez člověka?

• Z jakých dat vychází?

• Kde může udělat chybu?

• Jak rychle se chyba rozšíří?

• Kdo ji pozná?

• Kdo může systém zastavit?

• Co zůstane lidem v hlavě a v rukou, když automatizace převezme běžnou práci?

• Dokázali bychom kritický proces obnovit, kdybychom tomuto systému přestali věřit?

Tohle jsou brýle pro pozorování vývoje a použití AI.

Ne mapa, která by předstírala, že krajina je a zůstane stejná.

A proč o tom píšu právě já?

Protože mě dlouhodobě zajímá člověk v prostředí.

U nadání se dívám na to, jak prostředí podporuje nebo poškozuje rozvoj člověka. V geopsychologii na to, jak krajina, historie, infrastruktura a lidé společně vytvářejí prožitek. U AI na to, jak člověk deleguje práci systému a jak se nová vrstva postupně vplétá do organizace.

Ve všech případech mě zajímá totéž:

Jak vytvořit podmínky, ve kterých může složitý systém dobře sloužit svému účelu, aniž by se stal nepochopitelným pánem?

Nejsem vášnivá tech-sestra ani odpůrkyně AI. Jsem zvědavá analytička a hledačka cest. To se nevylučuje. ☺️

Ráda rozplétám, co se v procesech skutečně děje, kde má AI smysl, jaký typ automatizace je vhodný a jaké mantinely potřebuje. Myslím, že přemýšliví lidé jsou to jediné, co dokáže poslat současný vývoj k nějakým relativně světlým zítřkům. Kde je člověk naživu a jeho život je víc, než jen služba mašině.

Chcete být dobrými pány dobrých sluhů?

Můžeme spolu:

• rozebrat váš pracovní proces,

• najít vhodné AI use-cases,

• rozlišit, co má dělat pravidlo, RPA, chatbot nebo agent,

• navrhnout malý a vratný pilot,

• promyslet mantinely, kontrolní body a výjimky,

• připravit podklady pro implementaci,

• nebo jen společně zjistit, co vám nový nástroj vlastně nabízí a kde už začíná marketingová mlha.

A jestli zatím jen pozorujete, co se kolem vás děje, je to také dobrý začátek.

AI se mění rychle. Roste komplexita. Roste tlak na efektivitu. 

Zásadní je naučit dívat tak, abyste poznali, co se skutečně děje. Co zvládnete a kde si potřebujete říct o pomoc.

Moje zdroje a další čtení - k zamyšlení i poučení

• NIST AI Risk Management Framework

• Evropský AI Act — úplné znění

• Evropská komise: Regulatory framework for AI