Tokenizer

CLLE a realizat un tokenizaire qu'a integrat dins son analisator sintaxic Talismane. Existís tanben lo tokenizaire octokenize e Lo Congrès es a bastir lo sieu, que serà accessible mercés a una API.