AI一本正经“胡说八道”，被认为是“AI幻觉”的典型表现。据近日多家媒体报道，日前，全国首例因“AI幻觉”引发的侵权案宣判，法院作出一审判决，驳回原告诉讼请求。
本案中，2025年6月，梁某使用一款AI平台查询高校报考信息，结果AI生成该校主校区不准确信息。梁某指出错误后，AI却坚称存在此校区，并回答“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直至梁某向AI提供该校官方招生信息，AI才“败下阵来”，承认生成不准确信息。梁某认为AI生成错误信息对其构成误导且承诺赔偿，一气之下将AI平台研发公司告上法庭，要求被告赔偿9999元。
尴尬的是，AI“胡说八道”不担责。法院认为，在生成式人工智能场景中，AI“承诺”不构成平台意思表示，人工智能不具有民事主体资格，不能作出意思表示。案涉AI自行生成“赔偿承诺”亦不能视为服务提供者（被告）意思表示，故该“承诺”不产生意思表示的法律效力。
围观这起全国首例“AI幻觉”侵权案，当然令人忍俊不禁；然而，此案又不仅只是可以一笑了之的笑话，其对各方的警示意义显而易见且不容小觑。
有专家指出，“AI幻觉”主要源于大模型工作原理，是根据上一个词预测一个最“合理”最“连贯”词是什么，并一直持续下去，直到生成一段完整文本。AI认知广度被其训练数据边界锁死，目前通用大模型主要依赖于互联网开放数据进行训练，这些数据往往并非全知全能百科全书。当用户询问超出其知识盲区冷门事件或前沿学术细节时，AI为了完成“乐于助人”任务目标，会利用强大语言组织能力强行拼凑，生成文本在语言模式和风格逻辑上，看似“正确可信”且符合人类表达习惯，但这并不代表信息真实性得到核实。此外，由于AI联网搜索信息资源和本身训练数据也可能被“污染”，倘若AI搜到营销号、反讽文学抑或过时假新闻，并将其当作事实，则用户在与AI互动中，得到“一本正经胡说八道”错误反馈在所难免。
其实，比之AI被不法分子操控用以欺骗的“胡说八道”之严重级别和危害程度，上案中“生成校区错误信息”之危害结果，充其量只可算不幸之万幸，大不了将其当作“吃了一只AI苍蝇”而自认倒霉罢了。须知，“机器幻觉”和“AI谄媚”只是AI欺骗冰山一角，更多涉嫌违法犯罪的欺骗花样才愈加值得人们警惕。比如，别有用心者利用AI伪造言论混淆视听带节奏，不法分子伪装成身边亲友打来视频或语音电话急请转钱，等等……此类高保真影音背后，往往只是不法分子利用几秒钟公开素材、敲击几行代码合成的“数字面具”，但却使本应造福人类的AI，变异成了欺骗者手中的违法犯罪凶器。
对用户而言，AI并非万能神器，不应过度依赖，更不能陷入迷信，而应对其“胡说八道”保持清醒认知和理性警觉。当遇到问题尤其是事关重大的决策向AI求助时，对其神速给出看似“专业合理”的解答，理应保持一份理性质疑，并在真伪鉴别佐证的基础上，对“胡说八道”即时摒弃。须知，唯有秉持“AI是工具不是人”的价值理性，方可规避被“AI幻觉”误导的工具理性。
虽然“AI是工具不是人”，“AI幻觉”对用户误导致损不受法律保护。但AI服务提供者，却对避免AI “胡说八道”，负有道义责任和注意义务。正如本案中法院阐述的三层注意义务：一是对法律禁止的信息负有严格审查义务；二是需以显著方式向用户提示告知AI生成内容可能不准确的“功能局限”，以防用户产生不当信赖；三是应尽功能可靠性的基本注意义务，等等。
回到本案，被告已在应用程序欢迎页、用户协议及交互界面显著位置，呈现AI生成内容功能局限提醒标识。结合被告已采用检索增强生成等技术提升输出可靠性事实，法院认定其已尽到合理注意义务，主观上不存在过错。无论如何，“AI是工具不是人”，造神不得！
