Tokenizador para LLMs - Converter e Analisar Tokens de Texto

Tokenizer

Tokeniza texto via Regex (simples). Mostra a contagem de tokens e os offsets.

Entradas

Resultado

O resultado da tokenização será exibido aqui...

Descubra mais ferramentas úteis

Gostaria de saber mais sobre a Zerlo e nossa coleção de ferramentas online práticas? Estamos constantemente desenvolvendo novas utilidades para o dia a dia digital.

Saber mais