Tu texto se divide en fichas
Un token puede ser una palabra entera, parte de una palabra, puntuación u otra unidad de texto. Por eso el recuento de palabras y el recuento de tokens no son lo mismo.
El código, los números, los símbolos y los diferentes sistemas de escritura pueden dividirse de forma distinta a la prosa inglesa ordinaria.



