知识卡片
条件生成评分必须保留父输入
seq2seq机制p(child|parents)评分时,编码器输入应是生成时相同的父文本,labels应是子文本。原函数把输出同时当编码器输入和标签,得到的是另一条件任务的分数,不能用于原机制的似然或重要性权重。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 因果与大语言模型
原书出处 · 1 处
- · 查看原书依据
input_ids=output_sequence, #1 labels=output_sequence #1 ) #1 log_softmax = torch.nn.functional.log_softmax( #1 outputs.logits, dim=-1) #1 log_probs = log_softmax.gather(2, output_sequence.unsqueeze(-1)) #1 log_probs = log_probs.squeeze(-1).sum(dim=-1) #1 elif isinstance(model, BartForConditionalGeneration): outputs = model( #2 input_ids=output_sequence, #2 labels=output_sequence) #2 loss = outputs.loss #2 log_probs = -loss * output_sequence.size(1) #2 else: raise ValueError("Unsupported model type") return torch.tensor(log_probs.item())
参考来源
- 位置:《Causal AI》第13章《因果与大语言模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/Causal AI/_epub-src/OEBPS/Text/chapter-13.xhtml)
- 结论依据:摘录中关于条件生成评分必须保留父输入的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。
- 原始内容:input_ids=output_sequence, #1 labels=output_sequence #1 ) #1 log_softmax = torch.nn.functional.log_softmax( #1 outputs.logits, dim=-1) #1 log_probs = log_softmax.gather(2, output_sequence.unsqueeze(-1)) #1 log_probs = log_probs.squeeze(-1).sum(dim=-1) #1 elif isinstance(model, BartForConditionalGeneration): outputs = model( #2 input_ids=output_sequence, #2 labels=output_sequence) #2 loss = outputs.loss #2 log_probs = -loss * output_sequence.size(1) #2 else: raise ValueError("Unsupported model type") return torch.tensor(log_probs.item())