Rozpoznávání entít | AI slovník

Odborná definice

Entity recognition, často named entity recognition nebo NER, je úloha identifikovat v textu súvislé úseky, které označují entity, a přiřadit im kategorii, například osobu, organizaci, lokalitu, produkt nebo datum. Model rozhoduje o hranicích zmienky i její type. Tradičné NER obvykle vytváří neprekrývajúce se span-y a neurčuje, ku kterému konkrétnímu záznamu entita patří. Výkon závisí na anotovanej schémata, tokenizace, domény, jazyka a pravidel pro vnorené či nejednoznačné entity.

Srozumitelné vysvětlení

Ve vete Tesla otvorila závod při Berlíne může NER označit Tesla jako organizaci a Berlín jako lokalitu. Ještě však neví, který firemný záznam nebo které administratívne územie tím text myslí. Rozpoznávání entít je proto zvýrazňovač s typmi, ne úplné porozumění sveta. V medicíne nebo výrobe se používají vlastní kategorie a hranice. Výraz typ 2 může patrit k diagnóze, ale samostatně nedáva smysl, takže kvalita anotace hranic je stejně důležitá jako správný štítek. Doménové pravidla určují, co se ráta jako jedna entita.

Časté otázky

Co model při NER predikuje?

Pro každý token nebo span určuje, či patří do entity, kde entita začíná a končí a jaký typ její prislúcha podle anotovanej schémata.

Proč se používají schémata BIO nebo BILUO?

Kódují hranice entít na úrovni tokenů. Rozlišují začiatok, vnútro, koniec, samostatnou jedničku a token mimo entity.

Ví klasické NER zachytit vnorené entity?

Ne každý model. Prekrývajúce se span-y vyžadují jinou reprezentaci nebo samostatný span classifier, protože jednoduché sekvenční značkování povoluje jednu značku na token.

Jak se hodnotí hranice entity?

Nejčastěji exact span precision, recall a F1. Částečně prekrytá zmienka se při prísnom hodnocení počítá jako chyba, ačkoli typ může být správný.

Kdy pomůže kombinace pravidel a modelu?

Při stabilných názvoch, kódoch a registroch mohou pravidla doplnit statistický model. Konflikty a priorita komponentů musí být jasně otestované.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.