Zpracování přirozeného jazyka | AI slovník

Odborná definice

Natural language processing, zkráceně NLP, je interdisciplinárna oblast, která vyvíja metody na výpočetní zpracování lidského jazyka v textové nebo řečové forme. Zahrnuje reprezentaci jazyka, analýzu struktury a významu, extrakci informací, vyhledávání, překlad, klasifikaci, sumarizaci, dialóg i generování. NLP spojuje lingvistiku, štatistiku a strojové učení. Konkrétní systém nemusí jazyku rozumět ludským způsobem, může pouze spolehlivě provádět úzko definovanou transformaci.

Srozumitelné vysvětlení

NLP je společný název pro technologie, které pracují s tím, co lidé píšu nebo říkají. Může rozdelit větu na tokeny, najít jména ve faktúre, preložit návod, vyhodnotit otázku zákazníka nebo vytvořit odpověď. Jednotlivé úlohy mají odlišné rizika. Chyba při vyhledávání synonym je jiná než nesprávný překlad dávkování lieku. Při návrhu řešení proto nestačí povedat, že se použije NLP. Je třeba určit jazyk, úlohu, datový zdroj, měření a způsob lidské kontroly.

Časté otázky

Patří zpracování řeči do NLP?

Ano, jazyková část řečových systémů patří do NLP, ačkoli rozpoznávání a syntéza řeči zahrnují i akustické modelování a zpracování signálu.

Proč je slovenčina náročnejšia než angličtina?

Má bohatšiu morfológiu, volnejší slovosled a méně rozsáhlých anotovaných datasetů. Model musí zvládnout skloňování, časování, diakritiku a doménové varianty při menším množstve dat.

Je každý chatbot NLP systém?

Chatbot pracujúci s jazykem používá NLP, ale může obsahovat i vyhledávání, pravidla, databáze, plánování nástrojů a bezpečnostní kontroly. NLP je pouze jedna vrstva celého řešení.

Jaké jsou typické vstupy NLP pipeline?

Vstupem může být surový text, přepis řeči, dokument s rozložením, konverzace nebo kombinace textu s metadátami. Předzpracování musí zachovat informace potřebné pro cílovou úlohu.

Jak se vybírá vhodná NLP metrika?

Podle úlohy a ceny chyby. NER potřebuje entitné F1, vyhledávání recall a rankingové metriky, generování faktickou kontrolu a lidské hodnocení, ne jednu univerzálnu přesnost.

Související pojmy

Zdroje a redakční stopa

NIST, Natural Language Processing Speech and Language Processing

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.