文章详情

Token 与 Tokenization

在大语言模型的工作过程中，模型并不会直接处理完整的单词或句子，而是将文本拆分成更小的单位进行计算，这些最基本的文本单位被称为 Token。Token 可以理解为模型处理语言的最小单位，它既可能是一个完整的单词，也可能是单词的一部分，甚至可能是一个字符或标点符号。例如在英文句子中，一个常见的词语可能会被拆分为多个 Token，而在中文文本中，一个汉字往往对应一

4 阅读