原书出处
大语言模型-基础与前沿 (熊涛)
08 第8章 检索增强型语言模型
. 其他技巧 在REALM中,还有几种额外的技术,包括突出跨度掩蔽(salient span masking)和空文档。
突出跨度掩蔽涉及掩蔽大语言模型中与命名实体、日期或其他特定事实相对应的特定文本跨度。突出跨度掩蔽鼓励模型依赖于其外部数据存储的检索能力来获取这些类型的信息。
空文档是一个包含在前k个检索文档中的空文档。空文档允许模型将其隐式知识编码到参数中,而不是每次都检索。 研究人员使用开放
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d