实验里，香农扮演着一个拿着书本考试的教官，Betty 则扮演一个做做词语接龙的学生，根据香农的提示，猜下一个字母 … 虽然这个实验能说明语言可以被预测，所以语言可以被压缩，但它还不能精确测量语言到底有多少信息 … 香农这是把人当成语言模型整了，而他的妻子 Betty，可能就是第一个明牌自己在做 next-token prediction 的人。
实验里，香农扮演着一个拿着书本考试的教官，Betty 则扮演一个做做词语接龙的学生，根据香农的提示，猜下一个字母 … 虽然这个实验能说明语言可以被预测，所以语言可以被压缩，但它还不能精确测量语言到底有多少信息 … 香农这是把人当成语言模型整了，而他的妻子 Betty，可能就是第一个明牌自己在做 next-token prediction 的人。