Skip to content
Home ยป Il tokenizer

Il tokenizer

L’algoritmo che genera testi nei modelli LLM funziona grazie ai Token.

Ogni frase viene divisa in pezzi che si chiamano “Token”, ossia “gettoni”. A ognuno dei quali viene assegnato un numero intero.