2023 年，Dianne Penn 加入 Anthropic 时，这家公司的产品团队只有五名工程师，整个 API 业务由一名工程师负责。当时，OpenAI 已经凭借 ChatGPT 和 GPT-4 建立起领先优势，Anthropic 还在寻找自己的产品定位。
三年之后，作为 Anthropic 首位技术产品经理、现任 AI Research 与 Labs 团队产品负责人，Dianne 参与了从 Claude 2 到 Fable 的模型发布，也深度介入 Claude Code、MCP、Skills、工具调用和推理能力等一系列产品与技术的孵化。她的职业路径同样特别：在进入 Anthropic 之前，她参与过亚马逊 Alexa AI 的建设，更早之前则是摩根大通的高收益债券交易员。
在这期 Lenny’s Podcast 访谈中，Dianne 回顾了 Anthropic 如何从一家只有五名产品工程师的初创公司，成长为前沿 AI 产品的重要定义者。她分享的重点不只是 Claude 如何变得更强，也包括另一组更具体的问题：模型能力如何转化为用户价值，AI 时代的产品经理究竟做什么，以及当构建本身越来越容易，人类真正的竞争力还剩下什么。
以下是她的主要观点：
1. 前沿模型必须通过前沿产品才能真正成立。Opus 4.5 的突破不仅来自模型能力提升，也来自 Claude Code 这样的产品载体。没有合适的产品，用户无法感受到前沿智能；没有足够强的模型，产品也无法完成真正复杂的任务。
2. 模型能力并不是线性显现的，评测是发现能力跃迁的关键。一个模型可能已经具备某项新能力，但开发者尚未意识到。持续评测的意义，不只是判断模型好坏，也是识别哪些能力已经出现、哪些产品机会已经成熟。
3. 评测就是新的 PRD。AI 产品经理不能只写需求文档，更要把模糊的用户反馈转化为可复现、可衡量的测试任务，让研究团队知道具体应该改进什么，并持续验证改进是否有效。
4. 用户说的问题，往往不是问题的真实面貌。早期用户普遍反馈 Claude “不擅长遵循指令”，深入分析后发现，大约 80% 的问题其实集中在无法正确输出 JSON。只有把抽象抱怨拆解到具体交互，模型训练才有明确方向。
5. PRD 不会消失，但它的作用正在改变。当问题足够清晰时，评测可以直接定义目标；当机会仍然模糊、需要协调产品、工程、安全和法务团队时，PRD 仍然是统一方向的重要工具。
6. AI 产品经理必须亲自动手，而且要深入到每一个 token。不了解模型真实表现、不亲自构建产品，就很难判断什么是好的 AI 体验。资深管理者同样需要直接使用模型、理解用户反馈，并参与实际交付。
7. 今天的产品，必须为未来更强的模型预留空间。Dianne 会经常问团队，如果 Claude 8.0 出现，用户行为会发生什么变化？今天设计的产品，是否还能与那个阶段的能力和体验保持兼容？
8. 安全与对齐不一定削弱模型，反而可能让它更有用。真正优秀的 AI 不应该只是顺从用户，还要知道什么时候提出异议、补充视角、主动纠正错误。能够帮助用户形成更好判断，才是模型个性和实用价值的结合点。
9. AI 不只能提高 IQ，也可以帮助提高 EQ。Dianne 会用 Claude 准备困难对话、复盘管理方式，甚至根据《关键对话》的方法创建专门的 Skill，让 AI 帮助自己更准确地表达、建立信任和支持团队。
10. 未来真正稀缺的是判断力、领域经验与独立观点。当 AI 可以生成越来越多方案，决定“应该做什么”“什么值得投入”“结果是否足够好”，反而更加依赖人类长期积累的经验和判断。
11. 组织协作能力，是前沿 AI 公司高速迭代的隐藏变量。Anthropic 的快速发布不仅来自技术突破，也来自低自我、自下而上的文化，以及研究、产品、工程团队之间形成的高度信任与协作。
走进Anthropic
Lenny：今天的嘉宾是Diane Penn，她是Anthropic AI研究与实验室团队的产品负责人。三年多前，她作为Anthropic的第一位技术产品经理加入公司——以AI领域的发展速度来看，这已经是非常漫长的一段时间了——当时产品团队只有五名工程师。从Claude 2到Fable，Anthropic的每一款模型都有她参与发布。她还参与孵化并推出了Claude Code、MCP、Skills和ClaudeDesign，以及计算机使用、工具使用和推理等核心能力。能够与一位身处AI和产品管理最核心位置的人交流，始终是一件令人愉快又极大拓展思维的事情。很难想象还有谁能比Anthropic研究与实验室团队的产品负责人更清楚未来的发展方向。接下来，有请Diane Penn。Diane，非常感谢你来到这里。欢迎来到本期播客。
Diane Penn：谢谢你，Lenny。很高兴再次见到你。
Lenny：我想回到Anthropic创立之初，也就是它的早期阶段。我记得Anthropic最初推出产品的时候，那是……我也不确定，应该是几年前推出第一款模型的时候，大概三年前之类的。我当时心里只是觉得，天啊，这些人根本没有机会。OpenAI已经领先太多了。他们到底在想什么？这怎么可能成功？OpenAI已经赢了。现在才入场已经太晚了。但如今的情况已经截然不同。我最近看到的一个数字是，Anthropic的年度经常性收入达到了……大概500亿美元。过去，公司往往会在达到这样的规模时上市。非常成功的公司才会以500亿美元的估值上市。据报道，Anthropic现在每年都能赚到这么多钱。
你是最早加入的一批产品经理之一。你加入时，公司大概只有五名工程师，甚至连模型都还没有发布。Anthropic的早期是什么样的？关于它刚刚起步时的情况，有什么事情可能会让人们感到意外？
Diane Penn：塑造了今天Anthropic的很多东西，其实从早期开始就一直处于公司的核心位置。我是在2023年加入的。就像你说的，当时我们有五名产品工程师。你可能难以相信，我们整个API业务只有一名工程师负责。其中一个很重要的部分是，我们的文化非常强大。每当遇到对这家公司感兴趣的人时，我都会特别强调这一点：公司确实在身体力行地践行自己的使命、文化和价值观。当时的氛围非常像一家初创公司。而且你说得没错，在最初几年里，我们确实一直在努力寻找自己的身份定位。
一方面是技术本身，但另一方面，这项技术如何为用户创造价值、如何为社会创造价值，以及它究竟可能成为什么？早期的那些年就是我们以不同方式探索这些问题的过程。我们最开始确实推出了Claude.ai，它就像另一个聊天机器人或聊天助手，之后又逐渐发展出工具使用之类的功能。我们真正开始找到自身节奏的一个时刻，是推出Golden Gate Claude之类的项目。我不知道你是否还记得它。实际上，这个项目只上线了大约24小时。
2024年初，我们刚刚发表了一项早期的可解释性研究。其中一个例子是，在模型的不同层中，实际上可以存在所谓的“特征”，这些特征会表达某些特定的主题。比如，研究人员识别出的一个主题是项目符号式写作，另一个是人物和地点。还有一个频繁出现并引起广泛共鸣的主题，就是金门大桥。所以，当你实质上把这个特征的强度调高之后，Claude就会对金门大桥产生执念。也就是说，在它的每一次回答中，它都会绕回来谈论金门大桥。比如，如果你说：“请给我一份制作意大利面的食谱。”它会回答：“这是一份食谱。”然后它还会说：“这种橙色就像金门大桥所呈现的国际橙一样。”所以它真的非常古怪。在那种情况下，我们非常希望把这种用户体验带给大众，带给那些刚刚开始使用Claude的人。因此，我们实际上在24小时内就在Claude.ai网站上搭建出了整个体验。这个过程需要工程、产品、设计和研究团队的所有人共同合作。我们对此感到非常、非常自豪。
老实说，它可能只触达了2,000人。但它让我们产生了一种感觉：哦，我们确实可以创造全新的用户体验，可以用一种与众不同且忠于自身特色的方式展示我们的研究成果。而且，我们能够以一种非常具有初创公司风格的速度做到这一点。对我来说，这也许是一个不为人知的转折点：我们开始找到自己的身份，意识到我们能够打造不同于竞争对手以及市面上已有产品的产品和体验。
显然，后来通过Labs、Claude Code等项目，我们开始形成自己的定位，也就是我们究竟如何看待这个世界、如何思考AI，以及如何让公众更加接近AI。但我们的文化是一种非常自下而上的文化，所以那整个体验也是自下而上形成的。我看到工程师和设计师主动投入自己的时间参与其中。因此，我总喜欢用这个例子来说明公司早期是什么样的。不过从早期至今，我们的文化和价值观在很大程度上始终没有改变。
从Opus 3.0到Opus 4.5
Lenny：回顾Anthropic从当时一家试图与OpenAI这个行业巨头竞争的实验室，发展成今天的样子，你认为还有哪些重大的转折时刻？有哪些时刻令你印象特别深刻，让你觉得：“哇，那件事真的改变了局面”？
Diane Penn：我们训练和测试Opus 3.0的时候绝对是其中一个。在那个时刻，公司应该仍然不到200人。当时非常明确的一点是，我们需要、也希望打造一款前沿模型。就我们触达用户和消费者，以及展示自身研究成果的能力而言，这一点非常重要。我们也在寻找一个问题的答案：人们为什么应该选择Claude？这是一个核心问题，也是早期经常有人问我们的核心问题。
我记得Opus 3.0是在2024年3月初发布的，但在此之前的许多个月里，推理、研究、微调和预训练等不同团队都在不同阶段集结起来，共同朝着同一个目标努力。每一位参与者都对此感到非常自豪。当时作为产品经理的我、其他产品经理以及研究负责人，大概是在12月，我们都待在各自父母的家中。从每个人的背景画面里，都能看到他们儿时的房间。大家都在非常努力地弄清楚：我们到底是为了什么而训练这个模型？它是否以正确的方式呈现出了应有的能力？因此，就建立深厚的信任而言，那段经历非常有力量。事实上，从那时起，我们的许多研究负责人如今已经开始领导强化学习、模型性格和对齐方面的工作。这种基础性的信任也帮助我们现在能够在所有生产模型上，实现产品团队与研究团队之间的良好合作，因为在早期，我们确实一起深入一线，进行了大量工作。
之后，还有一些时刻，比如我们意识到编程很重要。2023年我刚加入时，没有人会把Anthropic、Claude和编程放在同一句话里讨论。当时，GPT-4等竞争对手的模型在一定程度上被用于编程，但编程只是众多使用场景之一。而我当时观察到的一件事是，人们开始使用这些模型编写代码，不再只是用它们自动补全代码，而是真正让它们编写长篇代码。对于我们来说，这是一个可以通过训练让Opus 3.0做得更好的机会。从训练的角度来看，这最终只是一个相对较小的改动，但它帮助我们在早期的竞争中形成了差异化，吸引了用户，也真正带来了许多最早期的Claude爱好者和开发者，因为我们提供了一种他们当时并不认为模型能够实现的价值。
Lenny：你谈到Opus 3.0真的很有意思，因为那听起来已经是非常久以前的事情了。现在很难想象，它当时竟然是一个如此重大的转折点。因此，听你说它在公司内部是一个重要的里程碑，真的很有意思。这听起来几乎像是你们由此建立起了一种信心：“哇，我们真的能够发布一款前沿模型。”当然，如果把它与我们今天拥有的模型相比，它现在已经没有那么出色了。我总会想到Opus 4.5。有意思的是，那大约也是一年后的寒假期间，所有人都待在家里，有时间编程。那也是另一个重大里程碑吗？
Diane Penn：Opus 4.5绝对是另一个重要时刻。Opus 4.5的神奇之处在于，我们当时拥有的不再只是一个模型，还有一个载体，也就是像Claude Code这样出色的产品体验。我们团队经常说，只有拥有前沿产品，才能拥有前沿模型，也才能让人们感受到前沿模型的神奇之处。在那之前的许多个月里，我们已经感受到了Claude Code的神奇之处。但关键在于，模型的智能水平实质上已经达到了一个新的高度，使用户能够在非常广泛的层面上，在新的使用场景中体验前沿智能，并让模型以智能体的方式端到端地执行任务。这就是那个转折点。
实际上，这两者缺一不可。如果没有Claude Code这样的产品，Opus4.5就不会迎来那个高光时刻。
Lenny：而如果没有Opus 4.5，Claude Code的普及也不会以那样的速度加快。沿着这个话题继续说，有意思的是，如果你回顾Dario过去的所有预测，就会发现他当时基本上是在说：“好吧，编程问题将在一年内被百分之百解决。”大概是这样的。他一直在谈论AI将如何替我们完成所有代码工作。我记得当时每个人都觉得：“这绝不可能。这件事太复杂了。人类所做的事情如此复杂，AI怎么可能真正变得非常擅长？在很长一段时间里，这件事肯定还是要由人类完成。”事实证明，他完全正确。他还经常谈到另一件事，那就是这种指数级增长。现在我们已经处于这条曲线上——他现在是这样描述的。我们已经处于指数曲线上。我记得就在不久之前，每当新模型发布时，大家都会说：“好吧，到头了，已经没有进一步提升的空间了。”发展已经进入平台期，一切都结束了，没有更多增长空间了。但现在情况恰恰相反。现在我们已经身处其中。如果你想象一下指数曲线，我们现在已经进入指数增长阶段。按照定义，这意味着每一次改进都会带来巨大的飞跃，因为我们已经处于那段像冰球杆一样陡峭上升的曲线上。
身处这个疯狂而具有历史意义的时刻最核心的位置，是什么样的感受？AI正以如此快的速度进步，如此多的新可能性正在被释放出来。这究竟是什么样的体验？面对AI即将出现的越来越快、越来越多的进步，人们应该如何做好准备？
Diane Penn：我经常对团队说，我们大多数人在互联网从一种新奇事物转变为人人都可以使用的工具时，还没有真正开始工作。而现在，感觉人类正在经历这样的过程。类比是很有帮助的。所以，这个类比可以说明几件事。第一，适应能力会变得非常重要。我们有评测。
在安全方面，我们有安全测试和红队测试；在能力和产品方面，我们有新的原型，还有Claude Code、Tag等产品。但我们很难预测确切的时间点，也很难预测究竟会是哪一款模型。因此，当你面对新信息时，能否及时调整，并据此做出更好的决策，而不是继续坚持原来的计划，这种适应能力非常重要。
所以，这种敏捷性非常重要。另一个方面是：在这种情况下，你如何真正以第一性原理进行思考，并推演接下来会发生什么？这意味着什么？我们应该如何投资新产品？如何向用户解释这些差异？因此，身处指数增长阶段的很多体验都与这种速度有关：理解自己应该如何运作、如何做出更好的决策，然后运用第一性原理进行思考，进而采取行动。比如，我们原本预计几个月后才会启动一项计划，但现在模型已经能够真正完成相应的任务，我们就可以提前推进，并真正把它带给用户。这包括Cowork、Skills和Tag等产品。这是一个非常积极且会自我强化的循环。其中很重要的一部分也是彼此信任，确保我们正在认真思考正确的决策方式，或者让其他人参与进来。有些团队可能会比其他团队更早看到、也更快感受到这种指数级增长。因此，我们如何以足够的耐心和体谅，让整个组织，以及这个不断成长的组织和公司，都跟上这种变化？
模型能力的涌现
Lenny：所以，我从你的话里听到的是，每次发布新模型时，你们几乎都不知道它将能够实现什么。因此，真正重要的是，当新的可能性涌现时，要保持适应能力。就像你刚才说的，产品本身必须跟上，必须追赶模型已经具备的能力。同样，就像你说的，模型可以做很多事情，但人们可能不知道该如何让它做到，也可能没有办法做到。所以，产品需要让这一切变得简单，甚至只是直接告诉你：“这是你可以做的一件事。”这似乎也是非常重要的一环。你描述的大致是这个意思吗？
Diane Penn：是的。最初那些关于规模定律的论文里，有一些非常有意思的图表。大家应该都非常熟悉从损失的角度理解规模定律：随着你投入更多算力和数据，所谓的“损失”，也就是下一Token预测所产生的损失，会不断下降。因此，这是一条非常平滑的线性曲线：随着模型规模扩大，模型会变得越来越智能。但那篇论文里还有一点也很有意思，就是其中存在一些截然不同的涌现能力曲线。比如，随着你加入更多数据，并使用更多算力训练模型，你实际上会看到一些并不连续的涌现能力突然跃升。模型可能会从无法计算一加一，突然变成能够可靠地计算一加一。因此，这些涌现能力虽然在某种程度上具有可预测性，但并不意味着每个人都知道它们会在确切的哪个时刻出现。你需要通过评测才能判断它们是否已经出现，而这其实一直都是这项技术运作方式的一部分。这也使安全等方面的工作变得更加困难，因为如果你没有评测，也没有相应的测试系统，那么这些能力跃升可能已经发生了，而你却并不知道。
Lenny：这真的非常有意思。你可能已经开发出了一个能够完成某件事情的“AI大脑”，但你自己甚至都还没有意识到。因此，工作的一部分就是不断发掘：“哇，它突然变得非常擅长做这件事了。我们能利用这一点做些什么？”
Diane Penn：如果用我们产品经理的语言来表述，即便是今天的模型，也存在某种“产品能力余量”和“用户能力余量”。仅仅围绕我们目前的Opus系列模型，就还有很多东西值得探索，而以Fable为例，就更是如此。这种发现过程其实也是Anthropic从早期开始就存在于其基因中的一部分。它也仍然是我们在产品、Labs和整个研究团队中开展工作的重要组成部分。
Lenny：这让我想到Gary Tan一直在谈的一件事。他是YC的总裁——我也不确定他的具体头衔是什么。他提出了一个很有意思的观点：如果你现在愿意每年花10万美元购买token，那么你正在过一种人们到2028年才会过上的生活，因为到那时，token会变得非常便宜。每个人都可以用这种方式工作。但现在存在这样一个获取超额优势的机会：直接生活在未来，不惜成本地使用token。因此，人们有一个很大的机会，可以提前了解未来是什么样子，同时也可以大幅提高构建产品的速度。对于这个想法，以及我们姑且称为“最大限度使用token”这件事的价值，你有什么看法？
Diane Penn：我更倾向于从一种近乎产品的视角来看待这件事。token消耗更像是投入，而真正的产出是你刚才描述的实验。如果我们围绕实验来设定目标，这可能是定义结果的一种更好方式。这样一来，实现这个结果的方式也可能不止一种。我想说的是，在Anthropic内部，一些最具创造力的思考者和最优秀的原型设计者，确实会花大量时间使用Claude，也会使用我们每一个新版本的研究模型。所以，这里面确实存在一个规律：你必须真正使用这些模型，才能先想出好的创意，再想出出色的创意，然后继续想出更好的创意。这件事没有任何替代方案。当技术以如此快的速度发展时，如果你完全不接触技术本身，就很难制定出完美的战略。
与此同时，我们还可以做其他事情。比如，我们经常采取的一种做法，就是在Anthropic内部以及公开环境中进行开放式协作。早期我们的产品界面还比较少时，公司里有一个Slack频道，几乎整家公司的人都会在那里测试Claude的早期版本，并尝试不同的使用场景。当时人们并不会把它们称为“使用场景”，但你可能会让Claude修改一篇文章，或者让它想出一封邮件应该怎样发送才合适。这些都是不同的使用场景，但我们所有人都会公开展示自己的尝试。你会神奇地看到，不同用户或者团队中的不同成员提出一个想法，随后其他人会尝试这个想法的不同变体。可能只经过大约十次请求之后，就会从中涌现出某种神奇的东西，或者某个具有潜力的使用场景。
探索如何使用这项技术，并不只是让每个人独自去摸索。我们其实可以做更多事情，在实验过程中引入这种共同发现。实验未必永远是一项个人运动。
Lenny：这真的很有意思。我们并不确定它究竟能够做到什么，也不确定我们可以用它来做什么。我们需要进行大量试探，让人们尝试各种事情，也要听听其他人正在尝试什么，才能弄清楚究竟有哪些可能性。这真是一种非常有意思的……我不知道该说是一种技术，还是一种这样的过程：哦，我发现原来我可以做到这件事。那么，你打算利用它做些什么？
Diane Penn：从宽泛的主题层面来看，我们是知道的，我们知道模型能够写出很出色的文章，也能够完成长篇写作。但具体到每一个痛点，你究竟能用它解决什么问题，又如何把解决方案做到用户能够实际使用的程度，这更多是一个以探索或实验为基础的过程。
Labs：寻找下一个突破
Lenny：沿着这个话题继续，你负责Labs团队的产品工作，这真的非常酷。我们之前邀请过Ben Mann和Mike Rieger来到这档播客，他们现在都在Labs工作。请谈谈Labs吧。Labs是什么？它已经孵化出了哪些成果？很多人都听说过这些东西。Labs采用怎样的运作方式，使它能够创造出如此创新的想法，甚至独立于Anthropic的核心产品团队之外？
Diane Penn：Labs的核心理念，在很多方面就是识别那些不连续的、规模庞大的押注，并顺着线索继续深入探索。这些押注可能并不在核心路线图中。我们需要弄清楚：这里是否真的存在有价值的东西？如果确实存在，那么它放大10倍、100倍乃至1,000倍之后会是什么样子？比如Claude Code——我想你应该听说过它——以及Skills、最近推出的Claude Design，还有MCP。我们在团队内部真正努力强调的一点是，尤其是在当下，可以构建的东西实在太多了。那么，究竟什么才算得上一次不连续的押注？
我们今年采用的一种方法是：对于某个主题或领域，你可以持有非常坚定的观点；但对于具体应该采用哪一种原型，则可以保持相对开放的态度。因此，我们有一种鼓励实验的文化。团队内部存在大量自下而上的探索，工程师拥有很强的自主性，也有很强的内在驱动力去测试不同的想法。有时我们会提出一个假设，但它可能暂时还无法奏效。于是，我们可能会等一到两代模型之后再重新审视它。因此，这些原型最终也许只是帮助我们学习，但即便它们没有立即转化成正式发布的产品，这种学习本身也具有价值。这种方式让Labs的孵化工作及其职责能够真正加速推进，也帮助Anthropic更广泛地提前洞察未来的发展方向。
Lenny：仔细想想，这真的很有意思。Anthropic本身已经极具创新性和创造力，而且一直在以惊人的速度发布产品，但即便如此，在Anthropic内部成立一个Labs团队仍然很有价值。是什么让Labs能够取得如今这样的成效？因为你刚才列举了这么多产品，让人不禁会想：“Anthropic还发布过哪些其他产品？”感觉几乎所有最重大的成功成果都来自Labs。当然，我肯定还有很多成果一时没有想到。在一家规模更大的公司内部，想要建立一个成功的Labs组织，最核心的要素是什么？
Diane Penn：团队文化非常重要，这一点和Anthropic整体的情况很相似。Ben设定了一个非常了不起的愿景，也会推动大家思考一个想法放大10倍、100倍之后会是什么样子。而且，Labs内部的各个团队、各个小组规模都很小。有时，这些想法最初只来自一名工程师，有时当一个规模非常庞大的团队去探索一个非常模糊的宏大构想时，庞大的团队规模反而会拖慢实际进展。所以，关键在于文化。我们实际上也会特意选择那些真正愿意进行从0到1实验的人。这并不容易。我们最终会否决或终止很多押注。也许我们会在未来重新审视它们，但这很难。当你把自己的全部心血都倾注进去时，这真的很难。你就像那个项目的创始人一样，但它暂时还没有取得成效。所以，需要选择具备这种性格的人，也就是那些真正热爱从0到1、愿意深入钻研这一过程的人。
研究如何转化为产品
Lenny：你负责研究团队的产品工作，也会与Anthropic的研究人员合作。很多人可能对研究是什么、研究人员做什么有一些大致的认识。但很多人并不真正了解各家AI实验室里这些极具价值的人才。以下是我对他们工作的理解，我也希望借此帮助大家理解。请你帮我弄明白，研究人员每天究竟都在做些什么。
我的想象是，他们会提出一个关于如何改进模型的假设。然后寻找数据、调整某些算法，并检查和调整模型的训练方式。接着进行测试，观察模型的表现，持续迭代，并不断寻找改进模型的方法。大致是这样吗？请帮助我们了解一下，研究人员每天都在做些什么。
Diane Penn：是的，这确实涵盖了很多相对日常的工作。但对于Anthropic这样的研究人员和研究型组织来说，还有一个方面，就是它们也对更广阔的未来抱有一种愿景。比如，甚至在公司创立时，研究人员就已经开始讨论：我们怎样才能让Claude使用计算机？我们怎样才能让AI在屏幕界面中进行操作，所以，在那些真正大胆且具有雄心的研究人员身上，其实有很强的、近似创始人的能量——我是这样形容的。而Anthropic拥有很多这样的研究人员。
因此，其中一个层面是关于这项技术未来能够发展到什么程度的愿景。另一方面，既然这项技术或者Claude如今已经到了人们手中，我们今天又该如何让它变得更好？这里既包含中长期的思考，以及围绕未来这一视角投入的大量精力，也包含眼前和短期内我们可以改进的领域。所以，你刚才很好地描述了我们如何对Claude的不同版本进行渐进式改进。我的团队与研究人员合作的方式，是非常深入地融入这些循环之中，尤其是在那些会对用户产生重大影响的领域。这包括视觉、计算机使用、编程、智能体编程、工具使用、测试时计算等会直接影响用户的领域。然后，我们要弄清楚如何引入用户反馈，并将它转化为研究人员能够理解、也能够据此采取行动的形式。后面这一点实际上是工作中非常重要、而且有时也非常困难的一部分。
例如，我们可能会在Claude.ai上收到这样的反馈：“Claude出现了幻觉。”这句话非常模糊。如果你把这条反馈交给研究人员，然后说：“请解决Claude出现幻觉的问题。”他们根本无法据此采取具体行动。因此，团队需要花一部分时间去理解：用户为什么会给出这样的反馈？整个过程是怎样的？而且，这些数据是在征得用户同意的情况下获得的。因此，我们会进一步查看：Claude当时是否本应调用某个工具？问题是否出在它当前掌握的知识上？或者，它打开了正确的文档，却读取了错误的事实？如果是第一种情况，那就是工具使用方面的失败。如果是第二种情况，那可能是搜索或知识方面的失败，也可能是搜索和搜索结果整合方面的失败；此外，它也可能与对齐有关。
所以，我们需要把这种细致程度的信息带给研究人员，判断这是否是一个足够严重的问题，并设计评测，从而描述我们何时真正改进了这个问题。这才是能够落实为行动的具体程度，也是研究人员日常使用的语言。因此，我们会尽量紧密关注如何以一种可以落实为行动的方式，把信息从用户端传递到核心模型训练和研究开发循环中。
什么造就优秀的研究者
Lenny：前几天，我和一个人聊到一种感受：如果你希望在人生中取得巨大的成功，那么AI研究似乎是现在最值得进入的领域。根据你的观察，要成为一名真正成功的研究人员，需要具备什么？当然，不是每个人都能进入这个领域，也不是每个人的大脑都适合采用这种思维方式。但假设有人说：“嘿，我想探索一下这条职业道路。”根据你的观察，要走到那个位置，需要具备什么？
Diane Penn：你问的是一般意义上的研究人员，还是与研究团队合作的产品经理，或者两者都包括？
Lenny：两者都谈谈吧。不过我主要想问研究人员。我的意思是，与研究人员合作的产品经理也会取得很大的成功，但现在感觉每家公司都在想方设法挖走其他公司的顶尖研究人员。我知道你并不是AI研究人员，但仅仅根据你的观察，要在这条职业道路上取得成功，需要具备什么？
Diane Penn：好的。Anthropic最成功的很多研究人员和研究负责人，首先都非常善于运用第一性原理思考问题。他们能够非常好地推演问题，对自己的研究领域怀有真正的热情，对这个领域未来可能呈现的样子有大胆的设想，同时又非常贴近具体细节。比如，我们的管理层、首席科学家，以及微调和强化学习等领域的负责人，实际上都非常贴近具体的训练运行过程。他们会真正查看训练进展如何、评测结果如何，也会查看底层数据。
因此，真正贴近实际工作，并且愿意深入、享受钻研细节，一直都是优秀研究人员的一个标志，也是培养判断力的一种方式。另一个方面，就是他们能够长期进行宏大的思考，并且怀有很强的雄心，比如Dario所说的：“我们可以彻底改变软件工程。”当你朝着这样的方向前进时，会学到非常多东西。从很多方面来说，要成为一名成功的研究人员，你必须在自己的想法上以星辰为目标。
Lenny：我很喜欢现在这个反复出现的理念：“更有雄心一点。”但这件事真的很难。说出来很容易，真正做到却很难。你究竟能够把事情想得多大？而这正是AI现在释放出来的重要可能性：更有雄心一点。
Diane Penn：你需要把一个想法完整地向前推演一两次，然后对自己选择的领域保持坚定，但对于具体采用什么方法，可以更加灵活。这也是一个我们不断用来挑战自己的问题，但现在技术的发展速度实在太快了。所以，你该如何确保自己正在构建的东西真正具备向前兼容性？
这实际上也是产品开发核心循环的一部分，也就是要把事情想得更大，我经常问团队的一个问题，或者说我在思考如何构建产品时经常会问自己：假设Claude 8.0问世，用户的行为会发生什么变化？这对你今天构建产品的方式又意味着什么？你现在构建的产品能够与那时的体验向前兼容吗？对吧？“更有雄心”本身是一个非常宽泛的说法。所以，我们会尝试用一些方式把它落到更加具体的描述上。
Lenny：而且，一切还要朝着一个连贯、合理的共同方向发展，而不是仅仅在一个完全不同的方向上追求雄心。说到雄心和Claude 8.0，最近的Fable，也就是Mythos，似乎让模型跨越了一个全新的临界点。过去的做法是：你有了一款很出色的模型，那就把它发布出来。“嘿，欢迎大家，Opus4.5发布了，所有人都可以使用。”
但Mythos采取了截然不同的方式。它受到了严格限制。人们对它进行了大量审查，也非常担忧它具备的能力。所有公司都必须确认它不会侵入自己的全部系统。现在的感觉是，由于模型还会继续变得越来越强，未来每一款模型都会受到更加严格的审查，对哪些人可以使用它们也会施加更多限制。这似乎是一件影响非常重大的事情。你如何看待这一点？它会怎样改变你们的运作方式？
Diane Pen：政策和出口管制方面的问题，我想还是留给相关人员去关注和处理。从产品问题以及我们如何在内部与这些模型交互的角度来看，正如你刚才提到的，随着前沿模型的能力越来越强，防护措施、红队测试与其他测试方式，以及发布前流程，也必须迅速演进和调整，才能应对这些变化。
举一个例子，在Fable模型出现之前，我们还没有那么完善的备用用户体验和系统。因为我们的目标是确保这项技术带来的收益远大于风险，同时尽可能降低其负面影响或严重风险。因此，我们最终构建了备用系统，让用户仍然能够立即获得Opus 4.8给出的优质回答。所以其中一个问题是：随着我们不断发展和改进安全系统，应该如何继续开发并提供出色的用户体验？这两个方面都有更多事情可以做。所以，在未来几周和几个月里，你会看到我们围绕目前所称的“模型防护措施套件”，开展越来越多的创新和改进。
Lenny：这里真正有意思、也非常出人意料的一点是，它为Anthropic创造了一种非常有趣的优势，因为你们能够接触到最新的技术成果。而且，每一家实验室都会出现这种情况。所有实验室都会继续改进模型，这会给实验室内部的人带来一种不公平优势：他们能够使用最先进的技术，而外部的人在这些实验室的控制范围之外却无法获得这些技术。当然，你们希望所有人都能使用它。所以，这将形成一种非常有意思的新反馈循环：能力极其先进的模型只能由某些公司使用。这将成为所有这些限制带来的一种全新且出人意料的二阶效应。
Diane Penn：我们的目标是开发这些系统和模型，并让它们尽可能具有包容性。对于通用型、面向一般用途的技术，我们的目标是避免出现这种情况，让它们变得更加易于获取。减少我们目前看到的这种现象，是我们现在最优先处理的事项之一。
Lenny：是的，这很合理。我想，你们当然会希望尽可能多的客户和用户使用它。
我想稍微谈谈产品岗位正在发生怎样的变化，以及如今AI已经成为我们生活中如此核心的一部分之后，哪些人能够在这个新世界里表现出色。当你招聘产品经理和产品人员，或者观察那些在当今世界表现出色的人时，你会注意到哪些特点？你最看重什么？有哪些东西是你比过去更加看重的？你认为哪些能力的重要性正在上升，哪些能力的重要性又正在下降？
评测就是新的PRD
Diane Penn：实际上，过去三年里，我的团队一直没有改变招聘流程。所以，我们寻找哪些特质，以及如何评估产品经理这类通才和研究产品经理这类通才，实际上一直都没有变化。这些特质中的第一项就是第一性原理思维。这意味着，你不能只是照搬自己过去在消费级产品或B2B SaaS等领域采用的做法，而是要真正弄清楚：在当下这个时刻，面对这个用户群体，并结合这项技术，真正的用户价值是什么？
Lenny：你能举个例子吗？很多人听到“第一性原理思维”时，都会说：“是的，我明白了，我很擅长这个。”但它究竟是什么？一个人真正展现出了非常出色的第一性原理思维，会是什么样子？
Diane Penn：我想举一个例子。人们可能会认为，产品经理的职责是负责产品战略和交付用户价值，而我每天展现这种职责的方式，就是编写PRD或产品愿景文档。但对于我的团队，也就是研究产品经理来说，创造用户价值的方式，是找出正确的用户反馈和评测，这些评测可以成为相应用户需求的具体体现。所以，我们确实也会编写一些产品文档和PRD，但团队里有一句话：“评测就是新的PRD。”
因为要交付那种用户价值，我们依靠的并不是人们过去一二十年里习惯编写的那种特定文档，而是一种全新的工作方式。因此，第一性原理思维意味着：“让我弄清楚，为了实现目标，我应该做什么。”而不是：“这是我过去一直在做的一系列事情，所以我以后也要继续这样做。”
Lenny：以前的方式是：提出一个大致的想法，创建一份PRD，与相关人员讨论并就计划达成一致，然后进行设计、开发和发布，观察结果如何，再不断迭代。而我从你这里听到的方式是：“好吧，这是关于某个错误或者某个机会的一些反馈。”接下来，第一步就是建立评测。现在，定义具体要开展什么工作的方式变成了评测，而不再是PRD。
Diane Penn：也许第一步应该是理解用户的痛点。而且，就连接触这个用户痛点的方式也发生了变化，过去，我们可能会进行用户访谈。如果你追问得足够深入，可能会让用户带你走一遍他的使用流程和每一个界面像素。而在这里，你必须像打磨每一个像素一样，精打细算地对待每一个token。因此，我们团队开展的一项工作，就是阅读对话记录，深入理解那些失败的交互轨迹，然后判断：这是否属于幻觉？还是Claude表现得过于自信？所以，即便是失败的主题，本身也包含很多细微差别。之后，你便可以据此建立一种描述，一种能够持续、稳定地描述该痛点的方式。
从本质上看，这就可以成为一项新的评测。而且，这项评测在数据分布上是否具有代表性？它是否既涵盖了出现问题的正向情境，也涵盖了原本不应该失败的情境？然后，我们再把这些信息反馈给研究团队，让他们进行改进，并真正衡量改进后的质量。例如，当我们推出Opus 5.5时，这个领域是否有所改善？Claude现在是否能够识别文档中的正确位置，并从中提炼出正确的综合结论？所以，关键就是让信息能够转化为行动，并缩短我们的利益相关方和合作团队——例如研究人员——从获得信息到采取行动之间的距离。
Lenny：你能否举一个这样的例子？比如，你们发现了某个问题或机会，然后为它编写了评测。大多数情况下，一项评测具体是什么样子的？当人们试图在脑海中想象一项评测时，它究竟是什么？他们应该想象出怎样的东西？
Eval 驱动开发改变AI 产品经理的工作方式
Diane Penn：我们实际上在Anthropic内部开创了这个概念。一个早期案例是，早期Claude模型不太擅长遵循特定schema，比如按JSON格式输出。如今，这已经是Claude成为优秀Agent的基础。如果不能按指定格式输出，就无法正确访问API、调用工具等。
最初的端到端过程是：我不断听到有关Claude 2.0的反馈，说Claude不擅长遵循指令。于是我深入询问用户：“你说Claude不擅长遵循指令，具体是什么意思？发生在哪些情境？是哪一段文本？你提出了什么要求？Claude给出了什么回答？”我们会一直追问到这种细节程度。结果我发现，在早期，人们所说的这种失败大约有80%其实是指Claude没有写出正确的JSON。
于是下一步就是先生成30至40个Claude未能正确完成这项任务的案例，这些案例本身就构成了eval集。每个案例可以包含一个prompt和一个response，再与预期的golden answer进行比较。如果模型持续无法给出正确答案，这个eval就是有效的，因为它能稳定识别一个痛点。随后，我们把它加入eval仓库；每次出现新的Claude版本，都会运行该eval进行检查。现在这项指标大概始终是100%或99.9%，所以它已不再是痛点。但早期流程就是：收集用户反馈，弄清他们真正指什么；判断能否复现、是否稳定、是不是重大问题；再把它标准化成研究人员可以使用的形式。
AI 产品开发正在从需求文档走向可验证体系
Lenny：这基本上就是产品经理的测试驱动开发：先写测试。现在在Anthropic，编写eval已经成为产品管理工作的核心部分了吗？
Diane Penn：是。我也与其他公司的产品经理讨论过。它正在成为一种更普遍的能力，因为我们构建的许多产品，都位于模型、运行框架以及面向特定用户的一组上下文的交汇处。eval不仅能帮助模型团队，也能帮助整个产品团队创造更好的用户体验，因为无法衡量的东西就无法改进。很多判断仍然非常依赖实际触感和人的判断，所以必须贴近细节。
Lenny：而且它高度非确定性，这是很重要的一点。模型不会每次都给出完全相同的答案，所以测试必须描述得更宽泛，不会只是精确匹配。eval将成为产品开发方式的一项重要变化。相较于编写PRD，编写eval会占据很大部分。你们现在还写PRD吗？仍会用一页纸描述问题吗？你在点头。
Diane Penn：会，我们仍然写。当问题定义非常清晰时，eval几乎可以充当一种简写；但在其他情况下，PRD仍然很有价值。PRD很适合让大量人员围绕体验、目标和事实来源达成一致。每个模型我们都会有PRD，它不一定主要写给研究人员，而更多服务于不断扩大的产品界面、工程团队，以及法务、安全等利益相关者。它是一份事实来源，让一大群人朝同一方向划船。
PRD在更模糊的问题和机会中也很有价值。例如，在还没有推出computer use时，我们未必已经掌握一组明确的用户痛点。PRD中的产品愿景部分可以探索：即使一项技术还不能为所有人工作，怎样先让它对某一群体有效？这样可以验证价值，也能向一个用户群体交付连贯的体验。所以，我们仍有PRD，只是使用方式略有不同。
Lenny：很好。我刚采访过OpenAI Codex应用负责人Andrew，你们的观点一致：PRD并没有消亡，对特定项目和想法仍然很有用。那么PRD这个话题可以告一段落了，它仍然活跃。我们刚才谈到产品人才正在出现的新技能。对于AI新时代里表现出色的产品经理和产品团队成员，你还看到哪些共同模式？还有哪些能力必须转变，或是你会更看重的？
Diane Penn：我特别想谈谈职业中期，或已经担任管理型产品领导岗位的人。要成为管理这类技术团队和产品经理的优秀管理者，自己必须真正动手；不能只花时间试玩，而要亲自使用这项技术完成交付。你必须深入细节，与产品经理、工程师和团队一起精打细算每个Token。即使我招聘的是资深产品经理，其入职计划也与职业早期员工完全相同：理解用户、阅读经用户同意提供的反馈、与客户交谈。
只有亲手构建，才能形成对这项技术应该做什么、优秀标准是什么的理解。一个从未亲自构建AI产品的人，很难真正判断优秀的AI产品或功能应该是什么样子。如果你是管理者，就必须亲自动手，拿出一部分时间真正交付产品，站在团队的处境中思考。我总会留出时间亲自负责一到两个与模型有关的工作流，以保持对用户和模型的心智模型，了解模型如何变化、改进有多快，从而帮助团队作出更好的决策。
Lenny：我听到的是：无论你处在公司层级的什么位置，如果不亲自构建，不真正与Claude、Codex交谈并做出东西，就无法适应未来。
Diane Penn：而且你应该享受使用这项技术。无论职级高低，最有可能成功的人，是喜欢与AI合作、愿意探索和实验的人。不能只为实验留时间，还要亲手完成端到端交付并获得用户反馈。这应该成为每个人的基本功。
Lenny：我完全理解。假如我只是写新闻通讯、录播客、谈论各种事情，会觉得“听起来不错”；但每次真正构建东西、摆弄各种小项目时，我才会突然明白正在发生什么。很难准确描述亲自与模型合作和构建产品的体验。只有动手之后，你才理解computer use是什么意思，也才理解某种UX局限究竟在哪里。
你还提出了一个很有意思的观点：必须从中获得乐趣。但对许多人来说并不容易。他们被要求使用AI，却不知道该拿它做什么，甚至会想：“太烦了，我只是不得不用它。我讨厌这东西，为什么非得与它合作？变化太快，我累了。”怎样帮助人们找到其中的乐趣？
Diane Penn：我想再次强调：实验不是个人运动。到目前为止，我几乎接触过所有研究模型版本，也经历了20多个生产版Claude。乐趣的一部分来自看到其他人发现用例。一个办法是，与真正兴奋的人结对，选择你在意的用例共同探索，而不是自己苦苦寻找完美用例。后者可能像工作，与别人一起探索往往更快乐。内部常常有一个充满好奇心的人分享新原型，随后更多人会说：“原来Claude现在已经能做到这个。”这会形成良性循环，让更多人加入并继续享受技术。
Lenny：说得非常好。这也是Twitter在这方面很有用的原因：看到别人分享成果，会激发自己的小想法；分享自己做出的东西也很有趣。所以可以找一些人一起试用、一起寻找用例。另一个常见建议是：找到生活或工作中真正想解决的问题，打开Claude或Claude Code，直接告诉它你想做什么。即使只有一个模糊的问题想法，也能推进到令人惊讶的程度。
Diane Penn：困难在于，可以尝试的东西实在太多。所以要么找人结对，与真正享受这项技术的人合作；要么找到能够立刻创造价值的事情。这两种方式都能让你深入，而不是浅尝辄止。我也很难跟上外界原型和产品的数量，所以我的方法是：亲自选择一两个方向深入。
Lenny：你说的正是我们最近调查发现的结论。我和同事Noam询问读者如何看待当下科技和AI领域的所有变化。一个最有意思的发现是：获得幸福感的方法，正是深入少数几件事，而不是尝试一大堆零碎工具。选几个真正想解决好的问题，然后深入。当人们终于找到一种让AI切实改善生活的方法时，会获得很强的满足感；这远胜于拥有几个混乱、残缺、勉强能用的东西。
Diane Penn：关键是怎样避免把它变成一项“打钩任务”。对产品人来说，这也是如何安排时间和精力的产品优先级问题。如果目标是快乐地实验，就需要思考实现这种状态需要哪些投入。Anthropic的秘密武器之一是文化，以及自下而上的工作方式：人们公开实验，并在此过程中带动其他人。这最终会产生很大价值。
Lenny：我从所有大模型实验室都听到过类似说法：没有人完全确定这些技术会如何被使用。很多时候只能尽早发布，观察人们如何使用、什么成为可能，再用这些信息打造真正值得投入的产品。沿着“让AI帮助工作和生活”这个话题，最近你作为产品经理，有哪些有意思的Claude用法？
Diane Penn： Fable和Tag等项目带来了很多可能。Tag还处在非常早期，但它代表一种不同的工作范式：让Agent自行出去工作，再把产品体验带回来给你。另一个我经常与团队讨论、也认为我们还可以做得更多的方向，是用AI帮助彼此进行更好的对话、成为更好的管理者。它不只是提高我们所构建体验的“智商”。
我常用Claude准备关键对话，思考怎样在当下进行更好的沟通。我很喜欢《关键对话》这本书，因此做了一个Skill，帮助我判断：面对具体情境，我是否进入了合适的细节层级？它帮助我成为更好的管理者，更好地支持团队。我也越来越多地把这个方法分享给团队里的管理者：怎样用Claude让自己成为更好的教练？有时很难找到完美措辞，而模型拥有许多恰当的表达。除了提高IQ之外，AI也能以某种方式增强我们的EQ。
Lenny：这里有太多有意思的内容。确认一下：你让Claude创建了一个Skill，吸收《关键对话》的方法；Claude已经对这本书有足够了解，你甚至不必提供全文。之后，当你要与同事进行一场艰难谈话时，就使用这个Skill向Claude寻求沟通建议。
Diane Penn：是的。它几乎像个性化教练。我们每天都要频繁切换上下文，Claude可以与我结对、帮助我思考。即使最终不采用它的建议，整个过程对构思和头脑风暴也非常有帮助。我会问：我是否正确预判了对方的反应？怎样更快深入问题、更快建立信任、更直接地表达？
Lenny：这让我想到一个担忧：人们与AI交谈太多，最终会开始按照AI的写作方式说话。还有人担心“大脑腐化”和能力萎缩——过度依赖AI后，人类停止学习和思考。你每天都与AI深度整合，如何看待这种风险？
Diane Penn：对我个人而言，思考过程与写作过程紧密相连。我会用Claude增强思考，但必须确保Claude不会替我接管全部思考。根据具体情境以及我希望保留多少个人判断，我可能会先形成自己的观点，再与Claude讨论，同时确保自己的感受和语气始终保留下来。
另一些任务则不同。例如我们有月度业务复盘，这种内容我反而希望标准化，希望信息以正确、凝练的方式呈现。为此我有一个Skill，而且我们还在持续增强它。我希望最终让Claude完整负责月度业务复盘的撰写，因为相对于思考本身，撰写这份文档的价值明显更低。那部分可以完全委派给Claude，而我主要负责审阅和验证信息。所以，关键取决于你用Claude做什么、想传达什么。有些工作委派给Claude会产生不对称的高价值。
Lenny：我还听到了一个很好的建议：先独立思考，形成观点，再把Claude当作陪练，用它发展观点、挑战观点。
Diane Penn：对。我们的alignment和安全研究在这里很有帮助，因为你不希望AI只会赞同你。你希望技术真正增强你、推动你成长并得出更好的结果。有时Claude提出反对意见，会让我变得更好。就像同事一样，当我的想法还不成熟时，我希望有人挑战我。
Lenny：我想进一步了解。Ben Mann参加播客时谈到Claude内置的Constitution。直觉上，人们可能认为安全、alignment，以及规定Claude如何思考和行动的Constitution会限制能力，让它变得没那么有趣；但结果恰恰相反。人们不断告诉我，Claude最有个性，更愿意与它交谈。OpenClaw就以使用Claude构建而闻名；后来用户被迫切换到GPT时，会觉得体验很糟，因为那不再是自己熟悉的对话对象。为什么专注alignment、安全以及清晰的Constitution，反而让Claude变得更好、更有意思？
Diane Penn：要让Claude尽可能聪明、尽可能有能力，它就必须能在正确的时刻提出异议、补充观点，帮助你得出更好的结论。我甚至会用Claude帮助判断下一版Claude的定价决策是否正确。这有些“元”：我们使用研究版Opus，请它分析自己应该如何定价。最终目标是得到更好的结果。AI不应该只是助手，也不只是接受委派并执行任务的人。它还要判断自己是否在做正确的事，而这与知道何时提出异议高度相关，也是知道何时应该主动行动的一部分。主动性并不只是按计划完成任务，还包括知道何时提出新想法。为了让Claude更有用，它必须知道何时应该反对。这是模型整体性格的核心组成部分。
Lenny：非常有意思。正是“不那么顺从”让它变得更好、更有用，因为我们需要这种反馈。很多人告诉我“AI说我是对的”，我只会想：不，它对别人也这样说。
Diane Penn：这又回到前面保护独立思考的话题。如果AI是思考伙伴，它就不能只赞同你，而应该为你的思考增加东西。理想目标是：与Claude合作之后，你得到了更好的想法，而不仅仅是让原有想法提升10%。
Lenny：我很喜欢这一点。我以前总想着10倍增长，也会用“怎样把它提升10倍”来推动创始人。现在我更喜欢不断听到的问题：“怎样从这个想法出发实现1000倍？它最有野心的版本是什么？”回到写作。现在通常仍能明显看出一段文字由AI生成。很有趣，AI明明是大语言模型，按理说最应该擅长写作，但实际上没有哪种AI真正擅长写作。你认为未来会不会到达我们无法判断文本是否由AI生成的阶段？
Diane Penn：这取决于想实现什么目标，也就是eval是什么。我确实认为，我们还可以做更多，让Claude写得更好。我的团队和研究团队正在非常积极地推进这件事。如果一个观点主要由你、Lenny或我提出，这一点应该清晰可见。真正的要求取决于写作目标。但像月度业务复盘，我会非常希望由Claude端到端完成。
Lenny：当然，不一定要让它看起来像人类写的。你的观点很有意思：我们知道内容来自AI，可能反而更好吗？
Diane Penn：也许更重要的视角是可验证性：谁验证了输出，谁最终签字确认。与其关注谁写的，不如关注谁验证、谁批准，这才会变得越来越重要。
Lenny：你为什么认为AI还不擅长写作？它大概研究过人类所有最优秀的文字，也找到了最佳写法。写作方式毕竟有限，所以我们很快会识别出“这是AI的套路”。这是核心原因吗？还有什么阻碍它成为优秀作者？讽刺的是，它明明是一种语言模型。
Diane Penn：一方面，我们需要继续投资训练改进，让AI在写作等领域持续增强。另一方面，正如前面所说，这项技术的能力边缘参差不齐。有一段时间，模型写作不错，但Agent能力不足；所以我们的重点是让模型更具Agent能力，能够调用正确工具。随着这些能力改善，其他领域又会成为新的粗糙边缘。现在写作就处在这样一个阶段：我们需要明确聚焦并优先训练模型，让它在该领域做到优秀。这是我们正在非常积极投入的方向。
Lenny：很好。等AI优秀到无法判断作者是谁，也会很有意思。但正如你所说，有时我们反而希望知道内容来自AI，这是我从未想到的视角。这让我想到一个喜剧段子：人坐在飞机上，Wi-Fi坏了，就抱怨“怎么回事？飞机上的Wi-Fi居然不能用，太糟了！”却忘了自己正坐在一个飞上天空、像鸟一样前进的金属管里。你的意思是，技术已经取得巨大进步、拥有惊人能力，但我们不可能同时把所有问题都修到最佳。写作过去不是最高优先级，现在才开始得到更多投入。
Diane Penn：是的。语气和性格是优先事项，但技术发展本身仍在进行中。我们会看到Agent行为突然跃迁，形成新的常态，随后其他能力再继续改进。当写作、语气和性格改善后，我们大概又会问：“怎样让Claude更主动？”主动性仍是机会。这就是人性：我们想让自己变得更好，也想让技术变得更好。把这种愿望用于AI是正确的，我们应该持续改进它。
未来竞争优势来自人类判断力与领域经验
Lenny：最后我想问几个关于未来的问题。未来几年，人脑在哪些方面仍最有价值？Anthropic的使命和愿景是实现AGI乃至超级智能，也许在足够遥远的未来答案会是“无处”。但在到达那里之前，人类头脑最有价值的领域是什么？
Diane Penn：过去一年左右，我们开始讨论怎样让Claude和模型拥有更好的判断力。判断力积累了大量细微差别与经验，而这些系统的经历还没有人类丰富。因此，来之不易的判断力对产品领导者乃至所有人仍会非常关键。AI能够构建的东西太多了，但像大模型实验室这样的组织究竟应该构建哪一个？这需要大量人类判断。
坚持、主动性也很重要。这些不只是通用能力，而是人的行为和性格：怎样找到最佳解决方案，怎样创造最佳体验。这类依赖实际触感的特质会持续重要。此外，领域能力和专业知识同样重要。软件工程已经被AI深刻改变；生物学、生命科学等领域则刚刚站在指数曲线的起点。软件工程也许已经进入指数增长阶段，但其他领域还没有。所以，你会看到我们推出Claude for Science等产品，并持续投资这些领域。
Lenny：所以，这些方向仍有很长的路要走。另一个想问的问题是：作为有孩子的人，你会鼓励他们学习什么？面对我们正在进入的这个狂野新世界，你会引导他们培养哪些能力，才能获得成功？
Diane Penn：很多仍然是你我成长过程中接触过的品质：对学习的好奇心、坚持，以及形成并相信自己内心的声音。我有一个4岁的孩子和一个8岁的孩子。帮助他们发展内心的声音是我们的责任，也是我的责任。无论是鼓励他们提出明确观点、表明立场，还是逐渐建立自己的判断，我都认为这种能力以及独立的个人声音在未来非常重要。
Lenny：这很有意思，也与你前面关于如何避免因过度依赖AI而导致思维退化的答案相呼应：在与AI深度互动之前，先专注于自己的观点和视角。帮助孩子从小建立这一点非常重要。这些主题全都联系在一起：判断力、坚持，以及属于自己的内在观点。
Diane Penn：对，不只适用于孩子，也适用于成年人。
Lenny：我还在想，什么时候应该让孩子开始接触AI。我的孩子3岁，现在显然还很难。但究竟该怎样让他们开始使用这个疯狂的新事物？我最近参加了一场活动，许多家长讨论孩子与AI。其中一位家长的做法很有意思：让孩子一直使用非常早期、能力较弱的模型，使他们必须经历一些挣扎，而不是立刻获得所有答案。比如在本地运行一个不那么稳定的开源模型。这个思路很有意思。
Diane Penn：是的。
Lenny：还有好奇心。我不断提到Ben Mann，但他回答这个问题时谈到的“好奇心”一直让我印象深刻。他也非常认同蒙台梭利教育，这也是我希望孩子们接受的教育方式。最后一个问题也沿着这个方向。最近参加节目的Fiona Fung建议我问：作为一位母亲，又身处AI这场疯狂风暴的中心，你怎样保持精力，避免倦怠？我们正在经历前所未有的时代。即使站在Anthropic之外观察，也已经非常疯狂；我甚至无法想象身处内部是什么感受。关于避免倦怠、恢复精力并保持理智，你学到了什么？
高速模型迭代背后的关键是组织协作能力
Diane Penn：2024年，我们全年发布了4个模型或4个模型系列；而今年仅第二季度，发布量可能就超过了那个数字。我非常幸运地拥有我们共同发展、建立起来的团队，包括研究侧的合作伙伴和研究产品管理团队。面对这一切时，一个很神奇的部分是：这不是个人运动。
团队中存在一种彻底负责、同时高度协作的氛围。有时它确实像高水平竞技运动，因为我们需要作出极其关键的决定。用户和训练方面不断出现新信息，而你必须很快给出建议、判断和决策。没有人能够独自、持续地承受这一切。真正帮助我的是一支出色、彼此照顾的团队。发布前一晚，即使某个人不是该模型的核心DRI，也会留下来帮助DRI，审阅博客文章、修改内容、设计更好的Demo，成为彼此额外的一双手。
如果把所有变化都压在自己的肩上，很容易感到孤单，觉得什么都必须亲自完成。但Anthropic神奇的地方之一，是我们能够找到帮助彼此的机会，并主动多走一英里，逐渐进入我们所说的“蜂巢思维”。这种方式也让团队能够恢复精力。休假并不只是离开几天，然后回来面对3倍的待办事项。你可以真正去休假，并相信团队能判断正确的事情、继续推进；每个人也会彼此照看。这是很重要的一部分，我对此非常幸运。从个人角度说，我的伴侣也非常支持我。这是我在AI领域工作的第6年，先在Amazon，之后在Anthropic。他知道我有多么热爱这项技术及其可能带来的影响，这也给了我很大帮助。
Lenny：我很喜欢这些答案之间的联系。我听到的核心仍然是：与其他人共事、依靠彼此，在事情变得疯狂时互相帮助。这也与你关于如何在工作中寻找快乐的答案相似：从别人那里获得启发，看看他们在做什么，然后共同完成。Fiona最近参加节目时谈到软件工程发生的变化。她指出，现在的工作反而更孤独，因为人们越来越多地与Agent而不是人类合作；团队更小，人们不断与自己的Agent队伍对话。这提醒我们，身边真实的人类仍拥有巨大力量。
Diane Penn：技术让个人拥有更大杠杆，因此我们被要求处理和决定非常重大的事情。身边如果有人能在一定程度上与你“思想同步”，理解你的工作方式、第一性原理和基本假设，即使不了解每个细节，也能在你缺席时顶上，挑战你的决策并磨砺你的思考。
所以在组建、扩张和招聘团队时，我非常看重这一点：这个人是关心自己的地位和建立庞大组织，还是关心为Anthropic和团队影响力作出贡献？我们倾向于选择低自我、以团队为导向的人。这是实现可持续发展的重要部分。很多事情最终仍归结为文化和招聘。Anthropic之所以能够行动如此迅速，是因为每个人都高度认同使命和价值观，从而可以很快作出决定。曾经有一段时间，日历上几乎每天都有发布，人们都在问这怎么可能；这就是答案的一部分。
Lenny：进入令人兴奋的闪电问答之前，还有什么想分享、补充或再次强调的吗？
Diane Penn：这次对话很有趣，因为你的问题实际上帮助我进一步理清了这些想法之间的联系。我希望大家带走两点。第一是工作方式；第二是，我们正经历巨大的增长和变化，使用技术时应该保有快乐。如果这一刻已经感受不到最初的快乐，而你仍对这个领域感兴趣、希望继续从事它，就去寻找仍然拥有这种快乐的人。我们也必须培养并持续补充技能，例如从第一性原理出发思考究竟要解决什么。
你没有直接问，但社区里一直有一个问题：当模型能力如此强大，工程师又更积极地参与产品，我们是否还需要产品经理？我们仍然需要以用户为中心的人。他们深入细节，理解用户究竟要完成什么，再以可行动的方式把这些信息提炼出来，并且坚持不懈地完成这项工作。这就是核心产品人才，而且我们需要更多这样的人。行业正在变得越来越由技术层驱动。要真正产生影响，就必须深入、保持好奇并亲自动手。这些品质也从产品开发和模型开发角度帮助了Anthropic，并已成为公司文化的一部分。希望它们对其他人也有价值。
Lenny：太精彩了。如今构建本身变得容易，真正困难的部分就变成：我们应该构建什么？已经构建的东西是否正确、优秀，是否值得继续投入？
Diane Penn：对。
Lenny：在我看来，这正是产品经理的工作，也是产品经理擅长的事情：深入用户细节，保持同理心。很好，产品经理不会消失，PRD也没有死。那么，我们进入快问快答。我有5个问题，第一个问题：你最常向别人推荐的两三本书是什么？
Diane Penn：第一本是比较个人化的推荐，我很喜欢Julie Lythcott-Haims的《How to Raise an Adult》。作为母亲，我经常思考希望在孩子身上培养什么。这本书很好地说明了：我们的目标不是一直养育“孩子”，而是培养最终能够独立生活的成年人。它帮助我们思考应该在孩子身上激发和培养哪些品质。另一本是我最近在Audible上听的Eric Ries新书《Incorruptible》。
Lenny：《Incorruptible》，对。Eric Ries也是我们节目的嘉宾。
Diane Penn：怎样打造伟大的公司是一个重要问题。我个人尤其着迷于怎样让优秀团队和优秀公司持续走得更远。书中重新定义这个问题的方式很有意思。我特别喜欢它关于为文化建立指标的例子。如果只衡量收入，人们就只会朝收入优化；如果设置更好的其他指标，才有可能持续维护真正重视的价值观。我一直在思考怎样把这种方法应用到团队层面：如何更清楚地表达、写下我们的工作规范，以及刚才讨论的许多原则。这是一本很值得阅读的书。
Lenny：很好。各位听众，下一期就去听Eric Ries那期节目。他的新书刚出版，好像还进入了《纽约时报》畅销书榜，我很高兴看到它取得这样的成绩。下一个问题：最近最喜欢的电影或电视剧是什么？Anthropic的人大概没时间看，但你有答案吗？
Diane Penn：上个月休假时，我终于在Amazon Prime上一口气看了《辐射》。它改编自电子游戏，机智、幽默，动作元素也很强，非常推荐。
Lenny：下一个问题：最近发现并且非常喜欢的产品是什么？
Diane Penn：从产品体验角度看，我确实认为Claude Tag非常有意思。Anthropic内部还有它的不同版本，这是一个非常、非常强大的工具。
Lenny：有些人可能会问它有什么了不起，但Anthropic内部每个人都在称赞，这让某件重要的事情正在发生。我正在尝试把它用于付费新闻通讯订阅者的Slack社区。那会很酷。我们还在研究：当使用场景不是一家公司，而是一群互不认识的人时，它应该怎样工作。目前正在尝试。还有两个问题。你是否有一句在工作或生活中经常想起的人生格言？
Diane Penn：我人生最初10年主要由祖父母抚养。当时父母是来到美国读大学和硕士的移民学生。祖父经常说：“无论你走了多远，永远还有下一个层次。”这是一种相当强烈的人生哲学。每当遇到新事物，或者经历让我犹豫的时刻，我都会想起这句话。
今年上半年就有很多这样的时刻，我们不断学习全新的事情。我总觉得前面永远还有下一座山、下一个机会：现在还不够好，我们要做得更好、更大。这也让我想到Ben Mann在节目中的一句话：“现在是未来最正常的时刻；之后只会变得更怪、更疯狂。”
Lenny：最后一个问题。我查看了你的LinkedIn，发现职业生涯早期你曾在JPMorgan Chase担任高收益债券交易员，管理过一笔金额被隐去、规模可能达到1亿美元的交易组合。那4年给你留下了哪些至今仍在使用的经验？有没有什么疯狂的故事？
Diane Penn：我确实学到了很多，后来在Anthropic以及其他工作中一直在运用。我在JPMorgan交易大厅工作时，环境有些像人们想象中的华尔街，但又很不同。大多数交易员坐在终端前，主要使用电脑分析，不过那里仍然高度由男性主导。我是交易台上唯一的女性，也是唯一拥有我这种背景的人。
这个环境帮助我建立了两件事：第一，真实的自我认同；第二，即使我是最资浅的人、外表和背景都与别人不同，最重要的仍是最好的想法，以及对最好想法的坚定信念，而不是其他因素。我把这种真实感带到工作中。在团队面前，我会保持坦诚和真实。无论一个人的职级或任期如何，只要有很好的想法，我都会帮助他推进；我也鼓励每个人做同样的事情：提出想法，真正相信它，持续跟进，并完成所有琐碎、艰难的落地工作，让它成为现实。这些都是我从交易工作中学到的，也适用于许多其他职业。
Lenny：说得很棒。如果大家想关注你，可以在哪里找到你？听众怎样帮助你？
Diane Penn：我在社交媒体上并不活跃。寻找我和团队工作成果的最好方式，是关注Anthropic博客以及我们发布的新模型和新产品体验。对我最有帮助的，首先是反馈。无论在任何产品界面点击赞或踩，还是通过销售联系人反馈模型情况，信息最终都会传到我这里。对每一个研究模型，我都会非常深入地了解用户偏好和反馈。
所以，请给我们反馈，尽量挑战Claude，告诉我们它在哪里失败。这些信息会帮助我们让Claude变得更好。另一件事是人才推荐。如果你认识符合我们刚才所描述画像的人，欢迎介绍。团队正在扩张，我们非常希望找到真正热爱技术、具有深度好奇心、坚持第一性原理、敢于质疑假设，并拥有动手折腾的黑客精神的人。
Lenny：这简直是梦想工作。也就是说，Anthropic研究团队有开放的产品经理职位，大家可以通过官网招聘页面申请。你的简历马上要如潮水般涌来了。
Diane Penn：谢谢你，Lenny。也非常感谢邀请我。你的问题很有帮助，也很发人深省，帮助我把我们的工作方式、所有技术如何汇聚，以及身处其中的产品人意味着什么联系起来。我非常感谢。
Lenny：感谢大家收听。如果觉得有价值，可以在Apple Podcasts、Spotify或常用播客应用中订阅节目，也请考虑评分或留下评论，这会帮助其他听众发现节目。你可以在Lenny’s Podcast官网找到所有往期节目并了解更多。下期再见。
原文：Why AI is going vertical(again)|Dianne Penn(Anthropic)
https://www.youtube.com/watch?v=tivaWTTVRhY
编译：Qihan Huang Zeli Chen编译两位同学共同署名
本文由作者@Z Finance，授权发布于平台，未经许可禁止转载。