← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9863.i · 生成模型:Hunyuan

FakeNewsDataset数据类

理解等级:中级

按 PyTorch 规范自定义 Dataset 要实现 init、len 和 getitem。示例先把 tsv 读入并建好标签到索引的映射,再在 getitem 里拼接 [CLS]+句 A+[SEP]+句 B+[SEP],把字转成 id 序列,同时生成 segments_tensor(第一句及其 [SEP] 为 0,其余为 1)。测试集没有标签,就返回 None 而不构造 label_tensor。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 用BERT实现中文语句分类 · 查看原书依据

      tokens_tensor:两个句子合并后的索引序列,包含[CLS]与[SEP]。 segments_tensor:可以用来识别两个句子界限的分类张量。 label_tensor:将分类标签转换成类别索引的张量,如果是测试集则回传None。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0003.xhtml) - 结论依据:14.3.3 节给出 FakeNewsDataset 完整代码,14.3.4 节展示还原后的 [CLS]…[SEP]…[SEP] 与对应的 segments_tensor。 - 原始内容:tokens_tensor:两个句子合并后的索引序列,包含[CLS]与[SEP]。 segments_tensor:可以用来识别两个句子界限的分类张量。 label_tensor:将分类标签转换成类别索引的张量,如果是测试集则回传None。