Tokenizador para LLMs - Convertir y Analizar Tokens de Texto

Tokenizer

Tokeniza texto mediante Regex (simple). Muestra el número de tokens y los offsets.

Entradas

Resultado

El resultado de la tokenización se mostrará aquí...

Descubre más herramientas útiles

¿Quieres saber más sobre Zerlo y nuestra colección de herramientas online prácticas? Desarrollamos constantemente nuevas utilidades para la vida digital cotidiana.

Más información