跳到正文

行业动态The Verge AI04:44

律师因谋杀案中AI虚构证人被罚款5000美元

Lawyer fined $5K over AI-hallucinated witnesses in a murder case

律师用AI编造证人被罚5千美元,AI写文书未核验事实的代价。

判断

依赖 AI 起草文书的律师与法务,得把「先提交、后核对」改成「先逐条核对证人与引证、再签字提交」:新墨西哥州这 5,000 美元罚款和藐视认定,落在签名的人头上,不落在工具头上。

依据

新墨西哥州最高法院认定,律师 Stephen Aarons 在谋杀案上诉状里提交了 ChatGPT 生成的内容,其中含「完全虚构的证人」以及关于枪手衣着、外貌的虚假证词,据此对他罚款 5,000 美元并判藐视法庭。法院在 8 月听证会上追问他对 AI 风险的了解程度,并称 AI 幻觉(hallucination,即模型编出看似真实、实际不存在的事实或引证)已是每天的头条新闻。机制上,生成式 AI(generative AI,按提示续写文本的模型)能一次产出结构完整、语气专业的文书,缺陷正好落在必须靠外部材料核对的那一层:证人身份、证词细节、案卷引证。Aarons 称这是「诚实错误」,法院没有据此免责——提交签名的人就是核验的人。

  • 罚款5,000 美元
本案唯一可核对的量化制裁。

没写清 材料没说 Aarons 在提交前是否读过那份上诉状,也没说法院是否要求今后提交的材料附上 AI 使用或核验声明。

下一步 查新墨西哥州最高法院该案裁定书原文,看是否写入对 AI 生成内容的披露或核验要求。

本期其他新闻

  1. 行业动态

    圆桌讨论:AI的末日危机

    MIT Technology Review AI

  2. 行业动态

    Meta因其AI和面部识别系统的训练数据被起诉

    Wired AI

  3. 行业动态

    引用Boris Cherny的话

    Simon Willison

  4. 行业动态

    对AI感到难过

    Simon Willison

  5. 行业动态

    Anthropic本周因网络安全问题陷入困境

    The Verge AI

  6. AI工具

    所以你想使用OpenRouter?

    Simon Willison