BERT

BERT je obojsmerný transformerový jazykový model predtrénovaný najmä maskovaním tokenov, ktorý vytvára kontextové reprezentácie vhodné pre porozumenie textu.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa hodnotí podľa vhodnosti pre úlohu, kvality dát, generalizácie, nákladov a prevádzkových obmedzení.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá generalizácia, zmena dát, halucinovaný alebo nepresný výstup a neprimerané náklady. Model treba priebežne merať, verziovať a používať iba v overenom rozsahu.

BERT sa od pojmov Bayesian network, Boltzmann machine, AI model odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.