Identifikační kód | RIV/00216224:14330/14:00077514 |
Název v anglickém jazyce | Text Tokenisation Using unitok |
Druh | D - Článek ve sborníku |
Jazyk | eng - angličtina |
Obor - skupina | I - Informatika |
Obor | IN - Informatika |
Rok uplatnění | 2014 |
Kód důvěrnosti údajů | S - Úplné a pravdivé údaje o výsledku nepodléhající ochraně podle zvláštních právních předpisů. |
Počet výskytů výsledku | 1 |
Počet tvůrců celkem | 3 |
Počet domácích tvůrců | 3 |
Výčet všech uvedených jednotlivých tvůrců | Vít Suchomel (státní příslušnost: CZ - Česká republika, domácí tvůrce: A, vedidk: 8884439) Jan Michelfeit (státní příslušnost: CZ - Česká republika, domácí tvůrce: A, vedidk: 3393399) Jan Pomikálek (státní příslušnost: CZ - Česká republika, domácí tvůrce: A, vedidk: 4980190) |
Popis výsledku v anglickém jazyce | This paper presents unitok, a tool for tokenisation of text in many languages. Although a simple idea ? exploiting spaces in the text to separate tokens ? works well most of the time, the rest of observed cases is quite complicated, language dependent and requires a special treatment. The paper covers the overall design of unitok as well as the way the tool deals with some language or web data specific tokenisation cases. The rule what to consider a token is briefly described. The tool is compared to two other tokenisers in terms of output token count and tokenising speed. unitok is publicly available under the GPL licence at http://corpus.tools. |
Klíčová slova oddělená středníkem | tokenisation; corpus tool |
Stránka www, na které se nachází výsledek | - |