Informaticando Blog
Il tokenizer
L’algoritmo che genera testi nei modelli LLM funziona grazie ai Token. Ogni frase viene divisa in pezzi che si chiamano “Token”, ossia “gettoni”. A ognuno dei quali viene assegnato un numero intero.
I modelli LLM
Nell’intelligenza artificiale moderna vengono usati i cosiddetti modelli linguistici grandi. Large Linguistic Model
