文章详情

Embedding 原理

在大语言模型中，计算机并不能直接理解文本，因为神经网络只能处理数值形式的数据。因此，在文本进入模型之前，需要先将离散的 Token 转换为连续的向量表示，这一过程被称为 Embedding（向量嵌入）。Embedding 的核心目标是将语言中的词语映射到一个高维向量空间，使得语义相似的词语在向量空间中距离更接近，而语义差异较大的词语则相距较远。 从直观角度来

5 阅读