这个案例告诉我们,不要把 AI 当日记用

美国佛罗里达州有位女子，把Claude当成私人日记，经常在上面写下各种日常琐事。 然而 9 月 26 日那天凌晨，她在对话里突然写要去扫射当地警长办公室。第二天凌晨又写了一句，这是最后一次机会，我今天搞到一把新枪，去你的。 结果 Claude 风控注意到这些关键词，把这段交给人工审核。审核的人认为威胁非常严重，直接报了警。 从写下这段话，不到 5 天，当地警方凭 Claude 背后 Anthropic 公司，提供的信息找到了她并逮捕。她涉嫌以书面或电子方式，威胁大规模枪击或恐怖行为，二级重罪，法定最高可判 15 年、罚金 1 万美元。