知识卡片
分词器三要素
分词器质量由算法、参数和训练语料共同决定:算法定义如何合并片段,参数决定词表和特殊符号,语料决定偏向哪种语言或领域。发散:模型换领域时,tokenizer 也可能成为隐形瓶颈。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《Hands-On Large Language Models 动手操作大型语言模型》第2章《Chapter 2. Tokens and Embeddings 第二章. 标记和嵌入》