Generative pre-trained transformer (GPT), definícia a použitie | AI slovník

Odborná definícia

Generative pre-trained transformer označuje líniu autoregresívnych jazykových modelov založených na dekóderovej architektúre Transformer. Model sa najprv predtrénuje predikciou ďalšieho tokenu na rozsiahlych textových dátach a následne sa môže dolaďovať, inštrukčne trénovať alebo prispôsobovať preferenciám. Pri generovaní odhaduje rozdelenie nasledujúceho tokenu vzhľadom na predchádzajúci kontext. GPT je názov konkrétnej modelovej rodiny a tréningovej tradície, nie všeobecné pomenovanie každého LLM alebo každého Transformera. Výkon obmedzuje tokenizácia, kontextové okno a kvalita adaptácie.

Zrozumiteľné vysvetlenie

GPT číta text ako postupnosť menších jednotiek a po každom kroku odhaduje, čo by malo nasledovať. Predtrénovanie mu dá širokú jazykovú a štatistickú skúsenosť, neskoršie inštrukčné učenie ho vedie k formátu odpovedí, ktorý ľudia očakávajú. Keď píše odsek, nevyberá hotový záznam z jednej databázy, ale opakovane volí ďalší token podľa kontextu. Táto schopnosť vytvára plynulý text aj vtedy, keď chýba overený fakt. Názov GPT sa preto nemá zamieňať so všetkými chatbotmi ani používať ako synonymum pre umelú inteligenciu.

Časté otázky

Čo presne znamenajú písmená GPT?

Generative vyjadruje tvorbu sekvencií, pre-trained predchádzajúce učenie na veľkom korpuse a transformer použitú neurónovú architektúru. Názov nevypovedá o konkrétnej veľkosti ani o spôsobe bezpečnostného doladenia.

Je každý veľký jazykový model GPT?

Nie. LLM môže používať inú architektúru, cieľ učenia alebo modelovú rodinu. Aj dekóderový Transformer trénovaný na ďalší token nemusí niesť označenie GPT, ktoré je historicky spojené najmä s modelmi OpenAI.

Prečo je predtrénovanie také dôležité?

Model sa naučí všeobecné jazykové reprezentácie a regularity z veľkého množstva neoznačeného textu. Následná adaptácia potom potrebuje menej úlohových dát, hoci môže meniť správanie, nie úplne prepisovať znalosti.

Ako GPT vyberá ďalší token?

Z kontextu vypočíta logity pre slovník, prevedie ich na pravdepodobnosti a použije dekódovaciu stratégiu. Teplota, top p alebo deterministický výber menia variabilitu, nie pravdivosť modelu.

Čo je hlavnou hranicou samotného názvu GPT?

Nevyjadruje kvalitu zdrojov, právne oprávnenia, aktuálnosť informácií ani schopnosť vykonávať bezpečné akcie. Tie vznikajú až vlastnosťami konkrétnej verzie a celého aplikačného systému.

Súvisiace pojmy

Zdroje a redakčná stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.