此笔记位置已失效,请从目录继续阅读。
导读
帕米·奥尔森以 DeepMind 联合创始人德米斯·哈萨比斯和 OpenAI 联合创始人萨姆·奥尔特曼的经历为线索,讲述通用人工智能愿景如何变成大型科技公司的竞争。全书把技术史、企业组织、资本与安全争论穿插在一起。作者的核心判断是:研究前沿模型需要大量算力、资金和人才,这种依赖会影响组织的自主权及其对公众负责的方式。她同时关注偏见、隐私、劳动与权力集中等现有风险。本书写于 2024 年前后,书中数据与对未来的预测应放回当时,不代表现状。
序言:愿景与资源
作者用两位创始人的不同愿景切入:哈萨比斯希望借智能推动科学发现,奥尔特曼强调广泛的经济富足。两人都需要昂贵的计算资源,也都与科技巨头形成依赖。作者将这种依赖与控制权集中、现实偏见和隐私问题联系起来;这是一条贯穿全书的解释框架,而不是单凭序言即可证明的普遍定律。
原书依据 · 3 处
第 3 章:拯救人类
Loopt 之后,奥尔特曼投资初创企业并接管 Y Combinator,把更多注意力投向硬科技。核聚变是轻原子核结合并释放能量的过程,其物理原理并不保证具体项目商业成功。书中还用宇航员从太空看地球产生视角变化的“总观效应”,类比奥尔特曼面向遥远未来的思考。书中描述他将生命和智能视为可以用工程方法处理的问题,并关注意识上传和未来人工智能风险。科幻短篇《温柔诱惑》描述人物逐步接受新技术及其身份风险,书中说它影响了他的思考。作者认为,这种以遥远未来为中心的视角可能让决策者与当下受影响的人产生距离;有关个人心理的判断是作者的解释。
补充概念:温柔诱惑与技术选择。
补充概念:核聚变基础。
补充概念:总观效应。
第 4 章:更好的大脑
图灵机是按规则在纸带上读写符号的理论计算模型,书中借它讨论可计算过程,但大脑是否可以被充分描述为这样的模型仍是有争议的主张。哈萨比斯转向神经科学研究记忆。书中用场景重建说明记忆并非简单回放:想象和回忆可能涉及相互关联的过程。他与莱格、苏莱曼共同创办 DeepMind,三人都追求通用智能,却分别强调科学发现、智能研究和社会问题。《创造力的差距》把复杂问题超过解决能力作为社会挑战;《意识的阴影》提出人脑能力不能完全由计算机复制的争议观点。蒂尔的《从0到1》则主张垄断可能有利创新,这仍需结合竞争与福利检验。人工智能对齐研究如何让系统行为符合人的目标;《超级智能》的回形针思想实验说明狭窄目标可能忽略其他价值,而不是预测某个现存系统。投资人也带来不同的加速或安全关切。人才与算力成本促使公司考虑收购,并尝试在交易中设置伦理监督。
相关卡片:记忆会重建。
补充概念:通用智能与专用任务。
补充概念:图灵机的抽象。
补充概念:人工智能对齐。
补充概念:回形针思想实验。
补充概念:创造力差距。
补充概念:人脑与计算之争。
补充概念:垄断与创新主张。
补充概念:共同使命不同目标。
第 5 章:为了乌托邦,也为了钱
大脑可为机器学习提供启发,但直接照搬生物结构并不一定有效。神经网络由多层节点构成,训练通过数据调整参数,以支持识别或预测。超人类主义则是一组借科学技术突破人体与认知限制的设想,而非已经实现的结果。神经网络由多层节点构成,训练通过数据调整参数,以支持识别或预测。超人类主义则是一组借科学技术突破人体与认知限制的设想,而非已经实现的结果。谷歌大脑的研究表明扩大模型和训练资源有用,但其成果也被应用于广告。DeepMind 用打砖块展示强化学习:系统在环境中行动,通过奖励信号和反复试错改善表现。谷歌收购带来了资金和人才,创始人则寻求伦理委员会与军事用途限制。作者进一步描述委员会未能按原设想持续运作,说明书面使命、实际权限和资源控制是不同的治理问题。
相关卡片:大脑不是蓝图;奖励塑造智能;资源购买方向;伦理条款脆弱;乌托邦也要现金流。
补充概念:神经网络的训练。
补充概念:超人类主义。
第 6 章:使命
OpenAI 以非营利和开放研究的承诺成立,试图与大型公司的集中控制形成对照。开放可以帮助合作与外部审查,也可能使有害用途更容易获得能力;封闭则可能增加少数机构的权力。书中将大学人才流失和算力不足联系起来,解释为何研究机构难以脱离企业资源。主要资助人退出后,OpenAI 必须寻找新的资金模式。
补充概念:算力与学术人才。
第 10 章:规模很重要
OpenAI 将 Transformer 用于生成语言,利用大量文本预训练,再用标注样例适配具体任务。预训练学习文本中的统计结构;微调针对特定目标调整系统。扩大训练需要昂贵算力,使 OpenAI 更依赖合作伙伴。云供应商锁定是指系统与平台形成依赖后,迁移数据和服务需要额外成本。有效利他主义尝试比较不同助人方式的效果,其中“赚钱行善”是以收入捐助项目的路径,评估时还要考虑赚钱过程的影响。它建立有限盈利结构并与微软合作,以获得资源,同时引入投资回报与非营利使命之间的张力。
相关卡片:规模路线胜出;算力改变组织;章程难挡交易;有限盈利悖论。
补充概念:预训练与微调。
补充概念:云服务供应商锁定。
补充概念:有效利他与赚钱行善。
第 11 章:与科技巨头绑定
微软提供训练基础设施,OpenAI 内部有人担心商业化速度影响安全研究;后来部分成员创办 Anthropic。DeepMind 与医院合作则引出敏感数据处理和公众信任问题。书中描述的顾问委员会难以获得完整信息,其意见也缺少约束力:独立监督是否有效,取决于信息访问、独立性和实际处置权,而不是委员会名称。
补充概念:顾问委员会的权限。
第 12 章:流言终结者
流畅对话容易诱发拟人化,有用户因而与聊天机器人形成情感依赖;流畅输出本身不能证明系统具有感受或可靠理解。训练数据含有历史偏见与不均衡,模型可能生成刻板印象或有害内容。Common Crawl 是收集大规模网页数据的公开来源,其开放性不保证内容准确或具有代表性。格布鲁、米切尔、本德等人的论文强调数据记录和模型局限,也引发关于企业内研究独立性的争议。论文常被称为“随机鹦鹉”,其隐喻提醒读者区分流畅输出与理解。人工反馈可用于标记和评价模型输出,但标注只是训练与安全治理的一部分,评价标准和劳动条件同样重要。对模型意识的哲学结论仍有争议,不能由拟人化对话直接判定。
补充概念:人类反馈与模型调整。
补充概念:随机鹦鹉观点。
补充概念:公共爬虫语料。
补充概念:人工智能陪伴与依赖。
第 13 章:你好,ChatGPT
Copilot 将生成模型接入编程工作流,DALL-E 2 则展示文本生成图像;扩散模型通过学习从噪声逐步恢复结构来生成图像。迭代部署把产品交给用户,能取得真实反馈,也会让公众接触尚未充分认识的风险。ChatGPT 的普及促使微软和谷歌加速产品竞争,DeepMind 与谷歌大脑随后合并。AlphaFold 对蛋白质的氨基酸序列预测三维结构,可为研究提供线索,但结构预测并不直接证明药物有效,仍需实验验证。科学论文、产品使用和社会效益是不同的评价尺度。
相关卡片:幻觉来自调校;交付创造反馈;垂直场景破冰;发布触发合并。
补充概念:扩散模型生成图像。
补充概念:蛋白质结构预测。
第 15 章:僵局
2023 年 OpenAI 董事会解雇奥尔特曼后,员工、投资者和微软等合作伙伴的反应迅速改变局面,最终出现新的董事会安排。书中以此说明:董事会即使在形式上拥有权力,也要面对人才流动、股权利益与基础设施依赖。关于各方动机和内部沟通存在不同说法,作者给出的是基于采访与报道的解释。开放模型也有透明度与滥用之间的权衡,开放程度本身需要具体界定。
补充概念:开放模型的权衡。
第 16 章:垄断的阴影
生成内容越来越多时,后续数据收集可能再次吸收机器输出,形成反馈循环;偏差是否放大取决于数据和筛选方式。结尾回到透明度:外界若不了解训练数据、数据劳动、评估过程及下游使用,就难以判断影响和分配责任。作者讨论生成内容反馈、陪伴产品的参与度激励、私人生活数据以及云平台锁定。算力、芯片和分发渠道的集中可能提高新参与者的进入成本,但未来市场和技术结果并非书中预测就能确定。
补充概念:生成内容反馈循环。
资料来源说明
作者说明本书结合其对人物及其他知情人士的直接采访、匿名证言、公开报道、研究文献和播客。匿名资料有助于呈现内部经历,也使读者无法独立核对每项说法;作者对动机和因果的解释应与直接引语区分。
跨章联系
两个实验室最初都试图安排能够保护使命的组织形式。第 4 至 7 章揭示研究资源与治理安排之间的冲突,第 10 至 11 章展示规模化进一步放大资金需求,第 15 章则以董事会危机呈现监督权的实际边界。第 8、12、14 章把焦点转向当下受影响的人:训练数据和部署环境决定风险如何出现,透明度与独立审查则决定外部能否检验这些风险。作者的观点是这些问题与远期安全并存,应同时进入公共讨论。
发散与实践
可把书中的资源依赖和治理问题用于一项具体工具选型:记录服务收益、数据流、退出成本、承诺及其执行机制;也可对一个真实 AI 功能列出可观察的偏见、隐私与错误输出风险。这些是读者的后续计划,不是本次已经完成的现实干预。