CLLE a réalisé un tokenizer qu'elle a intégré dans son analyseur syntaxique Talismane. Il existe aussi le tokenizer octokenize et Lo Congrès est en train de construire le sien, qui sera accessible grâce à une API.
Segmenteur de mots (tokenizer) et de phrases
