← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9307.a · 生成模型:GPT-6

序列文件必须保留句子边界

理解等级:中级

每个token一行,各列用空白分隔,训练标签置于最后,句间空行。所有行的输入列口径应一致,并检查编码、列数和边界;把全文件拼成一串会让跨句标签产生虚假相邻关系。原始索引不要误作词列。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      注意,图5.2最终生成的训练样本为一个纯文本文件,字符集编码应为UTF-8格式。两列之间用空格(Space)键或Tab键(\t)隔开,行尾换行符为“\n”,句子与句子之间用空行相隔。在训练文件的末尾,最好不要留有多余的空行。

    参考来源

    - 位置:《NLP汉语自然语言处理原理与实践 (郑捷)》第05章《词性、语块与命名实体识别》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/NLP汉语自然语言处理原理与实践 (郑捷)/_epub-src/OEBPS/text00010.html) - 结论依据:摘录中关于序列文件必须保留句子边界的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。 - 原始内容:注意,图5.2最终生成的训练样本为一个纯文本文件,字符集编码应为UTF-8格式。两列之间用空格(Space)键或Tab键(\t)隔开,行尾换行符为“\n”,句子与句子之间用空行相隔。在训练文件的末尾,最好不要留有多余的空行。