DeepMind华人研究员Lun Wang离职，「评估」成制约模型能力飞跃的瓶颈

近日，谷歌 DeepMind 研究员 Lun Wang@lunwang1996，在 x 上发文宣布自己已经从 DeepMind 离职，结束了这段非常精彩的旅程，「我非常感谢曾经共事的人、我们一起打造的东西，以及我在将前沿 AI 研究推向生产环境过程中学到的经验。」 Lun Wang 表示，在 DeepMind 的工作经历塑造了他对研究、产品、评估，以及如何真正大规模构建 AI 系统的理解。而 Power 等人在 2022 年论文中提出的 Grokking，则展示了一种相关但截然不同的现象：网络在死记硬背训练数据很久之后，突然学会了泛化。