Šestý díl seriálu Obsah s AI: 10 strategií, které fungují. Nový díl vychází každý pátek.
Nejužitečnější způsob, jak přemýšlet o dělbě práce mezi člověkem a modelem, není filozofický. Je provozní: co model zvládne rychleji a stejně dobře, a co dělá hůř nebo vůbec.
Co model zvládne rychle a spolehlivě
První verzi struktury textu. Nemusí být dobrá, stačí, že existuje, protože upravovat je snazší než začínat na prázdné stránce. Deset variant téže myšlenky pro výběr té nejlepší. Převod textu z jednoho formátu do druhého, tedy z článku do e-mailu, ze zápisu do shrnutí.
Dál sumarizaci dlouhého podkladu, kontrolu konzistence terminologie napříč dokumentem a hledání míst, kde si text protiřečí. To jsou úlohy, kde jde o práci s textem jako s materiálem, a v těch jsou modely spolehlivé.
A konečně nápady, které vy zúžíte. Model vygeneruje třicet úhlů pohledu, z nichž pětadvacet je použitelných leda jako výplň. Zbylých pět ale obsahuje jeden, který vás nenapadl, a ten se vyplatí.
Společné mají tyhle úlohy jednu vlastnost: výsledek jde okamžitě posoudit. Vidíte, jestli je struktura logická nebo shrnutí přesné, a nemusíte to nikde ověřovat.
Co model nezvládne
Nemá jak vědět, co se stalo minulý týden ve vašem oboru, pokud mu to neřeknete. Nemá názor, za který někdo ponese odpovědnost, protože odpovědnost nese jen ten, komu z ní může něco hrozit. Nezná čísla z vašeho vlastního provozu.
A hlavně neumí rozhodnout, co vypustit. Ten bod je nejpodceňovanější. Redakční práce je z devadesáti procent škrtání a v tom jsou jazykové modely špatné, protože jejich výchozí sklon je přidávat.
Když modelu řeknete „vylepši tento text“, dostanete zpátky text delší. Když mu řeknete „zkrať to na polovinu“, obvykle uposlechne, ale vyškrtá právě ty konkrétní detaily, kvůli kterým text za něco stál, a nechá obecné rámování.
Škrtání je tedy práce, kterou si musíte nechat. Je zároveň tou částí, která z průměrného textu dělá dobrý, takže to není špatná dělba.
Čtyři funkční způsoby spolupráce
Prvním je, že člověk zadá koncept a model ho rozpracuje. Vhodné, když máte jasnou tezi a potřebujete objem. Riziko: pokud je koncept slabý, model ho neopraví, jen ho nafoukne. Slabý nápad na tři tisíce slov je horší než slabý nápad na tři sta.
Druhým je, že model generuje varianty a člověk vybírá. Vhodné na nadpisy, úhly pohledu a strukturu. Tady jsou modely opravdu užitečné, protože vygenerovat dvacet možností stojí minutu a lidský mozek vybírá líp, než vymýšlí od nuly.
Třetím je model jako oponent. Zadání typu „najdi tři nejsilnější námitky proti tomuto argumentu a nešetři mě“ dává v praxi lepší výsledky než „vylepši tento text“. Model má tendenci souhlasit, takže mu musíte explicitně říct, že nemá.
Čtvrtým je model jako převodník mezi obory. Zadání „popiš tenhle marketingový problém tak, jak by ho popsal epidemiolog“ produkuje občas nesmysl a občas skutečně nový úhel. Poměr je zhruba tři ku jedné ve prospěch nesmyslu, což se pořád vyplatí, protože ten jeden nápad z tvorby stojí minutu.
Proč detektory AI textu nefungují
To není názor, to je doložené. OpenAI spustil vlastní klasifikátor v lednu 2023 a v červenci téhož roku ho zrušil s odůvodněním „due to its low rate of accuracy“. Vlastní zveřejněná čísla: správně označil jen 26 % skutečně AI textů a 9 % lidských textů označil za AI.
Horší je, že chyby detektorů nejsou náhodné. Studie publikovaná v Cell Patterns v červenci 2023 testovala eseje TOEFL od nerodilých mluvčích angličtiny. Průměrná míra falešně pozitivních výsledků byla 61,22 % a alespoň jeden z testovaných detektorů označil za AI 89 z 91 esejů. U esejů amerických osmáků, tedy rodilých mluvčích, byla míra falešných poplachů 5,19 %.
Nerodilý mluvčí byl tedy obviněn víc než jedenáctkrát častěji. Pro české firmy, které publikují anglicky, to není akademický detail, ale konkrétní riziko, pokud někdo jejich texty prožene detektorem.
Turnitin při uvedení sliboval pod 1 % falešně pozitivních a v červnu 2023 jeho produktová ředitelka připustila, že na úrovni vět je to zhruba 4 %. Zajímavější detail pochází z jejich vlastního blogu: 54 % falešně označených vět leží přímo vedle vět, které skutečně napsala AI.
Detektor tedy selhává nejvíc přesně u toho způsobu práce, který popisuje celý tenhle díl, tedy u textu, kde se člověk a model střídají. Praktický důsledek je dvojí: nesnažte se projít detektorem a nepoužívejte ho jako kritérium kvality. Kritérium kvality je, jestli text obsahuje něco, co jinde není.
Co do textu přidat, aby stál za čtení
Vlastní čísla z provozu, i malá. Nemusíte mít data z tisíců zakázek, stačí věta „u našich osmnácti klientů z loňska to dopadlo takhle“. Je to konkrétní, ověřitelné a nikdo jiný to nemá.
Konkrétní jméno, místo a datum místo obecné situace. Popis toho, co nevyšlo, protože ten se v obsahu vyskytuje nejmíň a čte se nejlíp. A názor, u kterého je jasné, kdo ho zastává, protože anonymní názor nikoho nezavazuje.
Nejlepší test je hledat věty, které by mohly stát v článku kohokoli jiného. Projděte hotový text a ty věty vyhoďte nebo nahraďte. Co zbude, je vaše přidaná hodnota, a když nezbude nic, je to užitečná informace o tom, jestli ten text vůbec publikovat.
Předchozí díl: Viditelnost v roce, kdy se přestalo klikat. Příští pátek: Obrázky, a jak se pozná marketingový mýtus.
Celý seriál Obsah s AI
1. Proč většina rad o AI obsahu už neplatí · 2. Publikační plán, který počítá s tím, že objem nefunguje · 3. Prompty, které dělají rozdíl, a fact-checking · 4. Personalizace, která není jen jiné oslovení · 5. Viditelnost v roce, kdy se přestalo klikat · 6. Kde končí AI a začíná člověk · 7. Obrázky, a jak se pozná marketingový mýtus · 8. Měření, které něco říká · 9. Jeden obsah, víc kanálů, bez copy-paste · 10. Právo a etika, konkrétně a ke stavu k srpnu 2026 · 11. Postavit systém, ne hromadu článků · 12. Co si z celého seriálu odnést