整篇文章里，我印象最深的是一句话：一个 99% 可靠的 AI，可能比一个 80% 可靠的 AI 更危险。
一个只有 80% 靠谱的助手，你每次都会盯着。可靠率提到 99% 以后，它连续一百次都没出问题，你的注意力就会慢慢关掉，从管理者变成旁观者。心理学把这种倾向叫作自动化偏见。
agent 执行任务又是一环扣一环。它不会像普通软件一样直接崩给你看，可能只是在第七步悄悄做错一个判断，然后带着这个错误走完剩下十步。等你发现时，邮件已经发了，文件已经删了，钱也已经付了。
99%可靠的AI，可能更危险
最近读到一篇讲 AI agent 的长文，里面反复引用 Google DeepMind 高级研究科学家 Nenad 的判断。DeepMind 做出过 AlphaGo 和 AlphaFold，Nenad 研究的方向，正是怎样让 AI 从回答问题走向实际执行任务。
整篇文章里，我印象最深的是一句话：一个 99% 可靠的 AI，可能比一个 80% 可靠的 AI 更危险。
一个只有 80% 靠谱的助手，你每次都会盯着。可靠率提到 99% 以后，它连续一百次都没出问题，你的注意力就会慢慢关掉，从管理者变成旁观者。心理学把这种倾向叫作自动化偏见。
agent 执行任务又是一环扣一环。它不会像普通软件一样直接崩给你看，可能只是在第七步悄悄做错一个判断，然后带着这个错误走完剩下十步。等你发现时，邮件已经发了，文件已经删了，钱也已经付了。
整篇文章里，我印象最深的是一句话：一个 99% 可靠的 AI，可能比一个 80% 可靠的 AI 更危险。
一个只有 80% 靠谱的助手，你每次都会盯着。可靠率提到 99% 以后，它连续一百次都没出问题，你的注意力就会慢慢关掉，从管理者变成旁观者。心理学把这种倾向叫作自动化偏见。
agent 执行任务又是一环扣一环。它不会像普通软件一样直接崩给你看，可能只是在第七步悄悄做错一个判断，然后带着这个错误走完剩下十步。等你发现时，邮件已经发了，文件已经删了，钱也已经付了。