知识卡片
文本拼接须保持训练格式
训练时以规范分隔符连接父文本,推断时应保持同样格式。直接拼接含EOS/BOS的两段token张量,与解码后按训练分隔符重编码可能不同;这种差异会改变条件机制输入,需显式处理特殊token和截断。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 因果与大语言模型
原书出处 · 1 处
- · 查看原书依据
king_and_prince = torch.cat([king, prince], dim=1) #4 kingdom = pyro.sample( #4 "Kingdom", TransformerModelDistribution( #4 kingdom_model, king_and_prince) #4 ) #4 king_text = convert_to_text(king) #5 prince_text = convert_to_text(prince) #5 kingdom_text = convert_to_text(kingdom) #5 return king_text, prince_text, kingdom_text #5 for _ in range(2): #6 king, prince, kingdom = causalLLM() #6 vignette = " ".join([king, prince, kingdom]) #6 print(vignette) #6 #1 Build the causal LLM. #2 Create the causal Markov
参考来源
- 位置:《Causal AI》第13章《因果与大语言模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/Causal AI/_epub-src/OEBPS/Text/chapter-13.xhtml)
- 结论依据:摘录中关于文本拼接须保持训练格式的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。
- 原始内容:king_and_prince = torch.cat([king, prince], dim=1) #4 kingdom = pyro.sample( #4 "Kingdom", TransformerModelDistribution( #4 kingdom_model, king_and_prince) #4 ) #4 king_text = convert_to_text(king) #5 prince_text = convert_to_text(prince) #5 kingdom_text = convert_to_text(kingdom) #5 return king_text, prince_text, kingdom_text #5 for _ in range(2): #6 king, prince, kingdom = causalLLM() #6 vignette = " ".join([king, prince, kingdom]) #6 print(vignette) #6 #1 Build the causal LLM. #2 Create the causal Markov