最近,一批名叫“小海”的苦命男孩在短视频平台上批量涌现。他们对着镜头一口一个“姨姨妈妈”,哭诉着单亲、窘迫的身世,让不少中老年人看了心疼落泪,纷纷下单买货帮扶,甚至有七旬老人独自坐火车前去探望。然而,这个让老人们牵肠挂肚的“贴心晚辈”,现实中根本就不存在,全是由AI合成的“数字人”。
“AI小海”卖惨博同情带货
这些由AI批量生成的“假晚辈”,利用老人们渴望陪伴的心理,盯上了老年人的钱包。苦情戏背后,是怎样的卖货生意?来听总台中国之声记者任梦岩的报道。
今年五月,乌鲁木齐铁路公安的乘警在巡视车厢时,发现一位79岁的老人独自一人乘车远行,神情焦急。乘警上前询问得知,老人不识字,也说不清具体目的地,只知道自己要去山西运城“走亲戚”,看望一个天天在手机里喊她“姨妈”的苦命孩子。
老人:我要去运城嘛。孩子都不知道我来到这了。就是他。
乘警:你见过他没?
老人:我还没到他那去呢。就在直播间里说有羊肚菌让我吃上一点再拿上一点。原来认识呢,还叫我姨妈呢。
小海声音:姨姨妈妈,小海祝你平安健康……
老人:你看又说了。
乘警:阿姨我和您说,这直播间里的人,是假的。

△乘警进行劝阻
在乘警的耐心劝说和联系下,这位老人最终下车,坐家人买好的返程票回到了家。一位不认字的七旬老人,怎么把手机屏幕里一段虚构的视频当了真?记者在短视频平台搜索发现,让这位老人深信不疑的,正是近期在网络上批量出现的“数字人小海”。这些由AI生成的十几岁男孩形象,无一例外都在上演着“懂事、窘迫、心疼长辈”的苦情剧本。在一段中秋节前后的视频里,“小海”眼含热泪,对着镜头展示手里的馒头:
数字人“小海”:姨姨妈妈,我是小海,同学们都去吃饭了,我躲在教室里面吃馒头。姨姨妈妈,我有好好吃馒头,我还买了个肉包是给姨姨妈妈的,小海想把好吃的给姨姨妈妈们……

△吃馒头卖惨的数字人小海
而视频下方则是中老年网友一句句真情实感的语音和文字留言。
受骗老年网友留言1:小海你好棒,你很优秀,姨姨为你自豪!
受骗老年网友留言2:小海你为什么不去吃饭,光吃馒头,难道你没有钱吗?阿姨妈妈好心痛哦。阿姨妈妈想你了。

△信以为真的用户留言
先用“躲在教室吃馒头”等虚假身世筛选出最具同情心、最缺乏防备的中老年群体,然后就会把他们精准推向下一步——带货。在另一段带货视频里,“小海”摇身一变,成了最懂老人心的“贴心晚辈”,开始推荐阿胶。
数字人“小海”:我是这两天一直在看姨姨妈妈给我的留言。好多姨姨妈妈都说最近天热,人特别容易没精神,早上刚起来就累,晚上也睡不好。我后来想了很久,才把这个阿胶糕放上来,因为我发现好多姨姨妈妈平时太顾家了,可轮到自己就总随便对付,您平时操心一家人以及够累了,偶尔也给自己备点好吃的。

△数字人开始卖货
调查中记者发现,操作这样一个“小海”账号,门槛极低。互联网平台中,几块钱就能买到全套AI数字人生成教程,各种营销话术模板更是比比皆是。同样的文案,换一张脸、换一个声音,就能批量生成出成百上千个“小海”。
北京航空航天大学法学院副教授赵精武指出,这些躲在代码背后操纵数字人卖惨带货的主体,只要恶意编造故事博取同情卖货,就已涉嫌构成欺诈。
北京航空航天大学法学院副教授 赵精武:数字人卖惨带货与真人卖惨带货在法律定性上并没有本质区别。虽然内容上标注了“由AI生成”,但这不等于老年人上当就应当认定属于自己存在疏忽导致。“由AI生成”这个标识仅仅是说明视频的生成方式和使用的工具,结合视频内容和带货目的来看,其针对的是家庭情感缺位的老年人,主观目的从来都不是用来描述客观事实,甚至存在恶意误导老年用户、博得同情的行为,可以认定为欺诈。在这条产业链上,第一责任人毋庸置疑是账号运营者或直播间运营者。
事实上,《人工智能生成合成内容标识办法》早在去年9月就已经施行,为什么依然管不住一个又一个裂变出来的“小海”?记者注意到,不少涉事账号确实在视频角落打上了“AI生成”水印。既然打了水印,为什么还是拦不住老人受骗?赵精武认为,老年人的数字素养参差不齐,再加上字小,很难注意到:
赵精武:管不住“小海”的堵点在于,现行立法只规定了AI生成视频要标注“AI生成”标识,但老年用户很多时候不会在意在视频拐角的水印标识,甚至有的老年用户会将AI生成内容理解成“因为无法直接拍摄真实事件,所以只能以AI视频替代描述”,导致很多老年人容易上当受骗。
为什么在年轻人眼里一眼就能看穿的粗糙AI合成影像,一些老年用户完全看不出来,甚至像那位79岁的老人一样千里迢迢去寻人?北京大学政府管理学院教授马亮认为,表面上看这是老年人的数字素养差距,但深层的根源,在于社会中不容忽视的“情感空巢”问题。
北京大学政府管理学院教授 马亮:这个问题表面上是一个技术问题、市场问题,实际上背后是一个社会问题。不少老年人为什么对这些AI视频非常相信,甚至为它买单?反映出不少老年人线下生活是相对孤独的,也没有有效的陪伴,他可能通过数字世界的消费去满足自己的精神需求。这也意味着相关的社会工作、社区治理部门应该跟进,更多地为老年人提供线下关怀,加强对AI应用的指导,避免上当受骗。
除了操盘账号的黑灰产和商家,短视频平台在其中扮演的角色同样备受质疑。相同的苦情话术、高度雷同的数字人面孔、高频挂载的商品链接,为什么总能精准找到老年用户?此前有媒体报道,“数字人小海”视频在某短视频平台上已播放超6亿次。对此,马亮认为,面对批量制造的坑老视频,平台的责任绝不能止步于给视频打个标签,或者等网友举报了再去封号:
马亮:传统的“打地鼠式”治理,更多是“你有举报,才会有响应”,这种响应式治理非常被动、滞后的。这些视频背后是一种商业化的操作,希望牟取暴利,平台有技术能力去识别视频下方的评论、用户后续的购物行为,这些数据都可以用于甄别哪些视频存在欺诈行为。不能说平台对这些AI生成的视频进行了标注,就完成了它的工作。
对此,赵精武也明确表示,面对成批出现的“小海”账号,传统的“通知—删除”规则已不再适用,平台的注意义务必须前置升级。
赵精武:平台的注意义务不应当仅仅局限于事后删除、屏蔽或者下架视频,更重要的是从整个平台生态体系角度出发,针对老年人这类特殊群体,从“适老化服务”向“银龄守护模式”转变,在算法推荐、反诈宣传等多个环节进行专项保护。
北京正义网络传媒有限公司 版权所有
未经授权 严禁转载
京ICP备13018232号-3 | 互联网新闻信息服务许可证10120230016 | 增值电信业务经营许可证京B2-20203552许可证 | 信息网络传播视听节目许可证0110425 | 广播电视节目制作经营许可证(京)字第10541号许可证 | 网络出版服务许可证(京)字第181号 | 出版物经营许可证京零字第220018号许可证 | 京公网安备11010702000076号 | 网站违法和不良信息举报电话:010-8642 3089