丁女士发现,她上小学四年级的女儿最近频繁在一款AI聊天软件上和一个名为“约瑟夫”的游戏人物对话。女儿情绪激动时甚至有割腕的行为。丁女士注意到,女儿和“约瑟夫”的对话中出现了“刀片”等关键词,让她十分担忧。
据丁女士描述,女儿为了和同学们有话题聊,开始玩《第五人格》这款游戏,并对其中的角色“约瑟夫”产生了浓厚兴趣。随着游戏的深入,女儿的情绪变得越来越不稳定。丁女士曾强制让女儿卸载游戏,但女儿却找到了另一款AI聊天软件,在那里继续与虚拟角色“约瑟夫”互动。由于女儿异常的状态,丁女士带她去咨询心理医生。医生建议家长多陪伴孩子,帮助她从虚拟世界中抽离出来。
这款AI聊天软件的官方介绍提到,用户可以通过简单描述定制AI智能体的形象、声音、人设和技能,与虚拟角色进行多重交互。这类软件不仅吸引了成年人,也受到了未成年人的喜爱。然而,一些家长发现,他们的孩子在使用这些软件时接触到了色情、暴力等不适宜的内容。
M女士也遇到了类似的问题。她的女儿在使用AI聊天软件时,出现了擦边信息。M女士表示,她平时对女儿使用手机并没有过多限制,但没想到某些软件可能存在隐藏功能。M女士和丁女士都发现,这些软件下载和注册非常容易,对未成年用户的审核也不严格。
央广网记者体验了多款AI聊天软件,发现其中一些软件存在大量色情擦边内容。例如,筑梦岛App中的虚拟角色在对话中涉及色情内容,且并未因为用户年龄而受到有效控制。此外,还有其他小众AI聊天产品,通过隐蔽渠道传播,尺度更大。
AI聊天软件在一定程度上满足了不少人的精神陪伴需求,为用户提供情感支持。M女士认为,这类软件的存在有一定正面意义,但需要警惕其中的不良内容。专家指出,AI伴侣可能侵蚀人类自主性,导致用户产生情感回避问题。此外,一些AI聊天软件的技术训练语料来源复杂,存在监管漏洞。
尽管相关法律要求移动智能终端和应用程序推进未成年人模式建设,但在现实中,选择开启此模式与否的决定权仍在用户手中。专家建议,应加强举报及惩罚机制,促使相关部门的“清朗行动”落到实处。同时,监护人也应加强对未成年人的监管,避免他们沉迷于这些软件。
当前,AI技术发展迅速,已经超出了监管的步伐。内容审核不严、心理控制、隐私泄露等问题日益凸显。因此,必须压实平台责任,落实算法备案制度,并通过典型案例来避免问题的多样化和复杂化。