Slovenčina mení tvary slov. Vyhľadávanie s tým musí počítať.
Bez lematizácie môže fulltext pracovať iba s doslovnými tvarmi. Používateľ hľadá jeden tvar slova, ale dokument môže obsahovať iný pád, číslo alebo čas.
Zmluvy a zmluva
Dotaz na slovo zmluva má nájsť aj výskyty ako zmluvy, zmluve, zmluvou alebo zmluvách.
Presnejší index
Lematizované tvary zlepšujú šancu, že sa do výsledkov dostanú dokumenty s rovnakým významom, nie iba rovnakým zápisom.
Solr integrácia
LALS je vhodný ako jazyková vrstva pre slovenský fulltext a indexovanie dokumentov v podnikových riešeniach.
Príklad použitia lematizácie
Používateľ hľadá: zamestnanec podpísal zmluvu. Dokument obsahuje: zamestnanci podpisujú zmluvy. Lematizácia pomáha vyhľadávaču rozpoznať, že ide o súvisiace tvary tých istých slov.
Čo je lematizácia
Lematizácia je jazykové spracovanie textu, pri ktorom sa rôzne tvary slova priraďujú k základnému tvaru. Pri slovenčine je dôležitá najmä preto, že rovnaký význam sa v texte často objaví v inom páde, čísle alebo rode.
Lematizácia pri vyhľadávaní
Pri indexovaní dokumentov môže systém uložiť aj základné tvary slov. Keď používateľ zadá dotaz, vyhľadávanie potom nemusí porovnávať iba presný zápis, ale aj jazykovo súvisiace tvary.
Lematizácia nie je preklad
Lematizácia nemení význam textu a neprekladá ho do iného jazyka. Pomáha vyhľadávaču pochopiť, že slová ako zmluvou, zmluvách a zmluva patria k rovnakému základnému tvaru.
Lematizácia vs. jednoduché vyhľadávanie podľa slov
Jednoduchý fulltext bez jazykovej vrstvy je dobrý pri číslach, názvoch alebo presných výrazoch. Pri slovenskom texte však často potrebuje doplniť lematizáciu, aby našiel aj dokumenty s iným tvarom hľadaného slova.
Bez lematizácie
Dotaz zmluva nemusí nájsť všetky výskyty slova zmluvou, zmluve alebo zmluvách.
S lematizáciou
Vyhľadávanie dokáže pracovať so základným tvarom a vrátiť viac relevantných dokumentov.
V podnikových systémoch
Lematizácia pomáha najmä pri DMS, právnych dokumentoch, smerniciach, archívoch a interných znalostiach.
Kde lematizácia pomáha najviac
Podklady k LALS na stiahnutie
Ak potrebujete overiť výkonové tvrdenia alebo technické možnosti služby LALS, môžete si stiahnuť stručné PDF podklady.
LALS benchmark
Výkonnostná správa s výsledkami priepustnosti, latencie a škálovania služby LALS. PDF, 192 KB.
LALS technical overview
Technický prehľad služby, API endpointov, spracovania HTML a integrácie do vyhľadávacích riešení. PDF, 112 KB.
Časté otázky k lematizácii
Na čo slúži lematizácia pri vyhľadávaní?
Lematizácia pomáha nájsť dokumenty aj vtedy, keď sa hľadané slovo v texte nachádza v inom tvare. Pri slovenčine je to dôležité pre pády, číslo, rod a časovanie.
Je lematizácia potrebná aj pri modernom AI vyhľadávaní?
Áno, často je stále užitočná. Kvalitný textový index a jazykové spracovanie pomáhajú pripraviť lepšie kandidátske dokumenty, nad ktorými potom môžu pracovať ďalšie funkcie systému.
Aký je rozdiel medzi lematizáciou a odstránením diakritiky?
Odstránenie diakritiky rieši iba rozdiel medzi zápismi ako zmluva a zmluva bez diakritických znakov v iných slovách. Lematizácia rieši jazykové tvary, napríklad zmluva, zmluvy, zmluve alebo zmluvou.
Potrebujete slovenskú lematizáciu vo vlastnom riešení?
LALS je možné použiť samostatne alebo ako súčasť dokumentovej platformy Wonkers.