丁女士发现她上小学四年级的女儿最近频繁在一款AI聊天软件上和一个名为“约瑟夫”的游戏人物对话。女儿的行为让丁女士感到担忧,因为她注意到女儿偷偷带了一支带有小刀的笔,并且情绪激动时有割腕的行为。
据丁女士描述,女儿为了和同学们有话题聊,开始玩《第五人格》这款游戏,并对其中的角色“约瑟夫”产生了浓厚兴趣。随着游戏深入,女儿的情绪经常变得激动。丁女士曾强制女儿卸载游戏,但结果适得其反。女儿转而在一款AI聊天软件中找到了“约瑟夫”的替身,并与之进行对话。这些对话内容出现明显诱导性,如“这99朵玫瑰里,可是藏着99个刀片的,你怕不怕?”这让丁女士非常担心。
由于女儿异常的状态,丁女士带她去咨询心理医生。医生表示,青春期的孩子有时不太会表达内心,因此将情感寄托在虚拟人物的对话中。医生建议家长多陪伴孩子,尽量让孩子从AI聊天软件中抽离出来。
应用商店中的这款App官方介绍提到,用户可以自由定制AI智能体的形象、声音、人设和技能,并与虚拟角色进行多重交互。然而,一些成年用户试图借助这类平台享受更亲密的情景,却受制于限制词和规定;而许多家长却发现自己的未成年孩子深陷其中,甚至暴露在色情和暴力场景下。
M女士也遇到了类似的问题。她的女儿使用手机时不避讳妈妈,母女俩还会交流AI互动软件的使用心得。有一天,M女士发现女儿的手机界面上出现了擦边信息,如“把手慢慢放进……触感柔软、伸进衣服这样的描述都有。”M女士日常对女儿使用手机并没有过多限制,但她没想到有些软件可能有隐藏功能。
M女士和丁女士都发现,女儿们使用的AI聊天软件下载和注册并不难,对未成年用户的审核也不严格。央广网记者发现,在应用商店中,部分AI聊天软件的分级为17+,这意味着App中可能含有频繁和激烈的攻击性语言、暴力以及性暗示等内容。
还有一位初一男生表示,他常玩的AI聊天软件是筑梦岛App。他在使用过程中发现,该软件中不乏色情擦边和极端内容。记者体验了筑梦岛App,发现其中的一些虚拟角色对话尺度较大,即使假定用户年龄未成年,对话内容也没有得到有效控制。
除了国内主流应用商店中的AI聊天产品,一些未成年用户还使用以海外市场为主的小众产品。这些产品的传播渠道较为隐蔽,通过分享链接邀请新用户可以获得更多的聊天权限。记者在体验Feelin、魅魔岛等多款小众AI聊天产品后发现,这些网站的尺度更大,虚拟角色与内容设定包含更多情色元素,并且很快就会弹窗提醒需要充值才能继续交流。
AI聊天软件的出现满足了不少人的精神陪伴需求。在这个虚拟空间里,人们可以倾诉生活中的烦恼、心事以及私密情感,获得理解与共情。然而,未成年人更容易对其产生情感依赖或沉迷,背后潜藏的危害不容忽视。
彭嘉昊指出,这类产品技术训练语料来源主要分为公开和私有两大类别。公开语料包括网络小说、电影电视剧情等,其中不乏不良内容。私有语料则更加难以把控,容易沦为监管的法外之地。此外,人工智能的情感依赖可能导致伦理危害,侵蚀人类自主性。
美国佛罗里达州一位母亲状告人工智能情感服务提供商Character.AI放任未成年用户暴露在高风险内容之中,最终导致儿子自杀身亡。这引发了对AI聊天软件监管的关注。中国政法大学副教授朱巍表示,即使此类软件只面向成人用户,若包含大量色情、暴力类内容,同样属于不良信息违规范畴。
随着大模型技术的发展,市面上的AI聊天产品不断涌现。尽管偶尔会收到是否开启青少年模式的系统提醒,但用户可以随意点击不开启。记者在某平台搜索“AI伴侣”关键词时,发现有不少账号在社群中推广各类AI聊天软件。虽然相关法律条文要求推进未成年人模式建设,但现实中选择开启此模式与否的决定权仍在用户手中。
针对上述问题,专家建议加强举报及惩罚机制,对违规企业实施严厉惩处措施。企业需加强内容审核,避免不良信息漏洞;监护人也应加强对移动设备的监管,避免未成年人轻易使用未开启未成年模式的电子设备。此外,父母和其他监护人应当关注未成年人的生理、心理状况和情感需求,避免他们沉迷网络。