Generativní předtrénovaný transformátor | AI slovník

Odborná definice

Generative pro-trained transformer označuje líniu autoregresívnych jazykových modelů založených na dekóderovej architektúre Transformer. Model se nejprve predtrénuje predikcí dalšího tokenu na rozsáhlých textových datech a následně se může dolaďovat, inštrukčne trénovat nebo prispůsobovat preferenciám. Při generování odhaduje rozdělení nasledujúceho tokenu vzhledem na předchozí kontext. GPT je název konkrétní modelové rodiny a tréninkové tradíce, ne obecné pomenování každého LLM nebo každého Transformera. Výkon omezuje tokenizace, kontextové okno a kvalita adaptace.

Srozumitelné vysvětlení

GPT čte text jako postupnost menších jednotek a po každém kroku odhaduje, co by malo následovat. Předtrénování mu dá širokou jazykovou a statistickou zkušenost, pozdější inštrukčné učení ho vede k formátu odpovědí, který lidé očakávají. Když píše odsek, nevyberá hotový záznam z jedné databáze, ale opakovaně volí další token podle kontextu. Tato schopnost vytváří plynulý text i tehdy, když chybí ověřený fakt. Název GPT se proto nemá zamieňat se všemi chatbotmi ani používat jako synonymum pro umělou inteligenci.

Časté otázky

Co přesně znamenají písmená GPT?

Generative vyjadřuje tvorbu sekvencí, pro-trained předchozí učení na velkém korpuse a transformer použitou neuronovou architekturu. Název nevypovedá o konkrétní velikosti ani o spůsobe bezpečnostného doladení.

Je každý velký jazykový model GPT?

Ne. LLM může používat jinou architekturu, cíl učení nebo modelovou rodinu. I dekóderový Transformer trénovaný na další token nemusí nést označení GPT, které je historicky spojené zejména s modely Openai.

Proč je předtrénování také důležité?

Model se naučí obecné jazykové reprezentace a regularity z velkého množství neoznačeného textu. Následná adaptace potom potřebuje méně úlohových dat, ačkoli může měnit chování, ne zcela prepisovat znalosti.

Jako GPT vybírá další token?

Z kontextu vypočítá logity pro slovník, převede jejich na pravděpodobnosti a použije dekódovaci strategii. Teplota, top p nebo deterministický výběr mění variabilitu, ne pravdivost modelu.

Co je hlavnou hranicou samotného názvu GPT?

Nevyjadruje kvalitu zdrojů, právně oprávnění, aktuálnost informací ani schopnost provádět bezpečné akce. Ty vznikají až vlastnostmi konkrétní verze a celého aplikačného systému.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.