公开兜售利用AI技术制作擦边视频的教程,专门制作AI生成色情视频软件……据央视财经报道,部分商家利用AI“擦边赛道”非法牟利,将AI“造黄”做成了产业链。
相较于利用AI造黄谣等个案,AI“造黄”产业链社会危害性更高。轻松生成的擦边视频不仅污染网络空间、败坏社会风气、给未成年人造成不当影响,还可能给每个人的隐私带来潜在风险。据报道,有的AI生成擦边视频软件号称“免下载,快速生成,图片、视频换脸”,换成的是谁的脸?低俗画面在网络空间传播,必然给生成视频面容相似者造成无妄之灾。
按照《生成式人工智能服务管理暂行办法》,生成式人工智能服务应当按照国家有关规定开展安全评估,制作AI生成色情视频软件等显然越过红线。商家刻意引导用户规避监管、开发灰色通道让国内用户下载境外涉黄AI聊天软件,表明对违规行为心知肚明。之所以敢穿梭在黄色和灰色之间,不仅因为涉黄内容有利可图,也因为AI管理机制尚未成熟,商家有空子可钻,违规成本较低。
用AI制作擦边视频的教程,居然可以公开兜售,可见互联网平台对此类内容警惕意识并不高;在AI应用里使用网售的提示词,就能获得擦边视频,可见AI应用的防线并不牢靠;AI生成擦边视频的软件能在市场上露头,说明APP安全审核工作做得不到位;社交平台上评论区随处可见用户发送各种无限制词的AI聊天软件使用分享以及软件的下载链接和邀请码,表明平台在内容管理上做得不够……各平台在AI涉黄内容管理上的滞后,为AI“造黄”产业滋生提供了土壤。
近几年网信办等部门不断加强整治AI技术滥用。AI“造黄”产业链的出现表明,监管部门以及各平台还需不断增强监测能力、审核能力和应对能力,通过日益完善的管理制度,彻底堵住AI“造黄”的灰色通道。技术向善才能向前,不能任由AI在“擦边赛道”狂奔了。