知识卡片

操作参考卡 · 7017.h · 生成模型:DeepSeek-V4.1-Flash

专门数据团队、动态测试集与标准化取数

理解等级:高级

团队把这段经历看作「把对数据隐私目标的尊重」与「可复现研发的严谨」整合起来的一步,并给出组织级解法。项目结束时成立了一个单独的专门数据团队,承接 ASR 与 NLP 团队的数据任务,重新定义整个数据采集与标注准备流程。测试集侧:标准化创建流程,做出即便部分测试数据因保留策略被删除仍具备高可复现性的动态测试集——例如带时间型保留策略的数据不再纳入测试集,数据团队通过回填处理人工删除,并持续监控测试集上性能指标随时间的变化。训练数据侧:不再让每位 ASR 工程师自己写查询从库里取数,而是向数据团队提交请求,由其按需提供结构化数据,并考虑(甚至规避)已被标记待删除的数据。随着对人工标注管线准确性与完整性的信心提升,团队还在探索大规模识别个人数据元素,以便用移除或 tokenize 代替整段删除转录。这条难走的路给出一个反直觉方向:隐私友好、数据最小化的技术,反而可能换来更稳健、更长期的训练数据访问。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第15章《Case Studies: MLOps in Practice》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch15.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:The data team’s task is to standardize our test-set creation process, creating dynamic test sets that provide high reproducibility even if some test data needs to be removed because of data retention policies.