近期,有媒体调查发现广东丁女士的四年级女儿迷上某AI聊天软件中的人物“约瑟夫”,自称“梦女”并频繁与其聊天,对话中出现“99朵玫瑰藏99个刀片”等明显诱导性内容。丁女士的女儿不仅偷偷携带带小刀的笔,情绪激动时还出现割腕行为;一位初一男生表示,他常玩的AI聊天软件是筑梦岛App,他觉得该软件“违禁词少一点”,其中不乏色情擦边和“分尸猎奇”等内容。
不少家长察觉到,自己的未成年孩子深陷于AI聊天软件,沉溺于与软件中的虚拟人物进行沟通对话。有些软件可轻易进行色情擦边类内容互动,让未成年人暴露在色情、暴力场景之下。部分软件对“未成年模式”的设定形同虚设,选择开启此模式与否的决定权仍在用户手中。有的甚至不需要实名认证,直接用手机号登录,填上邀请码就能使用。
6月19日上午,上海市网信办依法约谈筑梦岛App运营企业主要负责人,要求平台立即整改,健全AI生成合成内容审核机制,提升技术把关能力,加强涉未成年人不良内容的整治清理,切实落实未成年人网络保护义务。
AI聊天软件通过搭设虚拟空间里的角色扮演,给用户提供虚拟情感陪伴。智能化的交互带来新鲜体验感,很容易吸引未成年人,使他们产生过度依赖。在与AI聊天的过程中,生活经验缺乏、价值观尚未完全形成的未成年人更容易受到色情擦边等违规内容的影响,给他们的身心健康带来不小的风险隐患。在未成年人纷纷“触网”的当下,对AI陪伴类服务的监管刻不容缓。
软件开发方和运营方需从身份认证机制、内容审核体系、家长监护支持及合规培训等多方面完善未成年人保护措施。若因漏洞导致未成年人权益受损,将面临民事赔偿、行政处罚乃至刑事责任的多重追责风险。依据相关法规,若平台未严格落实实名制或年龄验证机制,导致未成年人接触违规内容,或是产生财产损失,比如未经家长同意进行充值打赏,那么平台需承担相应的民事赔偿责任。此外,若平台没有采取内容过滤、年龄认证等必要的技术措施,就可能面临网信部门责令整改、罚款等处罚。最严重的情况是,若平台存在故意或过失,向未成年人提供色情暴力等违法内容,有可能涉嫌“传播淫秽物品罪”等罪名。
当未成年人因AI聊天软件诱导性内容身心受损时,开发、运营方的法律责任边界亟待厘清。若AI模型本身存在设计缺陷,例如算法刻意诱导未成年人产生极端行为,致使其遭受精神损害,开发者难逃产品责任的法律追溯。若软件开发、运营方未严格履行内容审核义务,对违规信息视而不见、放任传播,便需为侵权行为承担相应后果。若AI生成内容涉及色情擦边信息,软件开发、运营方极有可能触碰“传播淫秽物品罪”的红线;若软件开发、运营方非法收集未成年人隐私数据,将其用于商业牟利,同样可能因触犯“侵犯公民个人信息罪”而面临刑事追责;若相关行为导致未成年人出现自残情况,还有可能构成刑法第234条规定的故意伤害罪。
构建AI聊天软件未成年人保护防线,需要社会各方协同发力。监管部门应发挥主导作用,通过立法、执法与技术创新筑牢屏障。一方面,需完善相关立法,细化AI内容分类分级标准,明确平台对未成年人的保护义务;另一方面,积极开展专项行动,清理违规应用,斩断黑灰产业链。同时,大力推动AI内容标识和检测技术发展,建立跨平台违规内容数据库,实现精准监管。
网络平台作为内容提供主体,必须强化自身责任。在用户准入环节,应采用生物识别、身份证验证等先进技术强化年龄验证,杜绝虚假身份注册。进一步优化青少年模式,严格限制使用时长,关闭敏感功能,并定向推送科普、教育类适龄内容。在内容管理方面,引入专业伦理审查团队,结合AI围栏系统,及时拦截暴力、色情等违规内容;此外,开发者需在AI模型训练中嵌入正向伦理规则,进行价值观训练,避免AI生成误导性内容;同时,严格筛选数据,剔除含有暴力、色情等不良语料,并定期更新审核标准,从技术源头把控风险。
家庭与学校也需承担不可或缺的教育引导职责。家庭教育中,家长应积极引导孩子正确认识虚拟社交,避免过度情感依赖;学校需将AI伦理课程纳入教学体系,警示技术滥用风险,并为学生提供心理咨询服务,帮助其健康成长。唯有形成“法律+技术+社会”的共治体系,才能从根源上遏制违规内容,为未成年人营造健康、安全的网络环境。