Il tuo testo è suddiviso in token
Un gettone può essere una parola intera, parte di una parola, punteggiatura o un'altra unità di testo. Ecco perché il conteggio delle parole e quello dei gettoni non sono la stessa cosa.
Codice, numeri, simboli e diversi sistemi di scrittura possono essere separati in modo diverso rispetto alla prosa inglese comune.



