AI技术不应被用来提供色情和暴力内容

近日，《法治日报》记者进行了一次调查，发现许多家长正被打着“角色扮演”旗号的AI剧情聊天软件所困扰。这类软件吸引着未成年的用户，并悄悄滋生了一些灰色地带：在对话中出现了色情擦边、语言暴力以及侮辱用户的内容。

此前，ChatGPT的横空出世如同一颗火种，点燃了人工智能领域的热情，催生了一系列创新应用。万万没想到的是，这种生成式大语言模型又一次被带偏了方向。据报道，一些打着“角色扮演”旗号的AI剧情聊天软件用色情、暴力的擦边内容吸引未成年人，并诱惑他们进行充值消费，引发了家长们的强烈担忧。

AI剧情聊天软件依托人工智能技术，模拟虚拟人物与玩家进行对话，在为青少年打造了一个充满新奇与未知感的虚拟世界。这种创新本身并无不妥，问题在于一些平台为了吸引用户，刻意设置了包含性暗示或暴力元素的对话内容，并设计了超出青少年认知范围的场景和剧情，如将聊天对象设定为“出轨对象”并涉及拥抱、亲吻等亲密行为。

更有甚者，部分软件提供色情内容，对青少年健康成长构成极大威胁。在青少年成长发育的关键时期，营造健康向上的网络环境至关重要。若沉迷于充斥低俗、暴力内容的虚拟世界，并进行大额充值消费，无疑会对他们的价值观造成负面影响。

要确保行业健康发展，防止技术被滥用，必须迅速采取措施加强监管力度。比如，一旦发现存在色情内容，应立即对相关应用软件进行下架处理，以儆效尤。更为重要的是，要将未成年人保护机制真正落到实处。

报道提到，有些AI剧情聊天软件注册极为简便，无需实名验证，根本没有对不同年龄段用户进行区分。还有的软件虽然提供了“青少年模式”，但防火墙形同虚设，用户选择该模式后依旧可以看到一些不适合他们观看的内容。

针对部分AI剧情聊天软件“偏离正轨”的问题，行业监管部门应首先系统梳理排查，看最基础性的“青少年模式”到底有没有执行到位。在此基础上，加强对平台内容的审核，确保生成的内容合法合规。另一方面，AI剧情聊天软件的网络开发平台也应主动承担起主体责任，加强自律，建立完善的内容审核机制，在软件上架前的语言训练阶段对可能存在的色情、暴力等有害信息进行有效过滤。

总之，绝不能为了追求用户数量而打法律的擦边球。AI剧情聊天软件乱象对未成年人身心健康造成的潜在危害不可不察。无论如何，人工智能作为新兴行业，其快速发展应当为社会经济带来正面的价值。不能让技术跑偏，成为非法牟利的工具。守护好未成年人身心健康的防线，才能真正实现“技术向善”。