← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7008.o · 生成模型:DeepSeek-V4.1-Flash

Responsible AI 之解释:可解释性

理解等级:中级

Responsible AI 是训练或部署 ML 系统时应考量的伦理关切的统称,范围连业界与学界都尚未摸清,原书只举近年受关注较多的几点。首先是模型解释(可解释性,explainability):分析并呈现关于系统的信息、描述它如何工作。技术动机是控制模型质量、借模型理解数据;伦理动机是让受结论影响的人能理解、甚至质疑模型为何得出某结论。关键在于解释并不简单、也没有唯一正确答案:它服务于不同目的、面向不同受众,像医生对同行、对有生物工程学位的患者、对患认知障碍但仍有决策能力者会给出不同版本。查模型整体质量、确认对的理由做对的决定宜用全局解释;被拒贷者想知道原因以便将来改进,则宜用局部解释(解释此人被拒及最可行动的调整)。落地的最小起步:至少让终端用户知道算法用了哪些输入(连这点也常缺失),更好是给出相对特征重要性、放在显眼处并用通俗语言;再进一步用测试输入或反事实对做嗅觉测试(性别反事实不该改变信贷决定,体重反事实多半该改变医疗干预),并据此考虑提供全局或局部解释。核心是先判断受众成熟度与解释目的,再挑技术,没有现成万能方案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Fairness, Privacy, and Ethical ML Systems · 查看原书依据

      Explanation ML model explanation is the process of analyzing and presenting information about an ML system to describe how that system works. This process and the goal of making the model amenable to human understanding is often discussed in shorthand as explainability, and it’s a key area of interest with respect to ML.

    参考来源

    - 位置:《Reliable Machine Learning》第06章《Fairness, Privacy, and Ethical ML Systems》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch06.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Explanation ML model explanation is the process of analyzing and presenting information about an ML system to describe how that system works. This process and the goal of making the model amenable to human understanding is often discussed in shorthand as explainability, and it’s a key area of interest with respect to ML.