上海市委网信办发布了关于“清朗·整治AI应用乱象”专项行动第一阶段的成果公告。

该专项行动自2026年4月下旬启动，旨在集中解决未履行大模型备案登记、安全审核能力不足、训练语料安全、数据投毒、内容标识不到位、滥用AI技术以及开源模型管理不善等七大突出问题，以期从源头加强AI技术的治理。

在5月13日，上海市委网信办召集了包括AI平台、互联网内容平台、电商平台、应用商店和开源社区在内的五大类共17家重点网站平台，部署了具体的行动要求，并指导它们升级安全防护和举报机制。随后，在5月15日，稀宇、千问、小红书、哔哩哔哩、拼多多等平台相继公布了治理公告。与此同时，上海举报中心官网设立了专项举报渠道，已接收20余件涉及AI的违法不良信息举报及来自12345市民的反映线索。

在第一阶段的整治工作中，上海市委网信办指导这17家重点平台进行了自我审查和纠正。期间，共清理和拦截了超过487万条包含AI工具教程（去除AI标识）、数据投毒、未经授权的“换脸拟声”、AI制谣传谣以及AI低俗内容等违法违规信息。同时，还处置了超过1.8万个违规账号，下架了1.4万余个违规智能体，并处理了1300余件违规商品。对于屡次违规的账号，平台采取了分级约束和封禁措施。各平台根据自身特点推进治理：稀宇继续下架“一键脱衣”、赌球博彩等违规智能体，并打击利用AI编写病毒、钓鱼软件等恶意行为；小红书则着力打击AI托管运营账号，禁止销售去除AI标识的商品，并推进与内容制作平台的隐式标识互认；哔哩哔哩在内容发布页面增加了“AI生成”必选标签，引导创作者规范发布；魔搭社区则全面清理涉低俗等违规数据集，并加强了对开源模型的审核与管理。此外，上海市委网信办还委托3家专业机构，对32款用户量大、影响力高的AI产品进行了专项巡查测试，并对4家企业进行了现场检查，重点督导其改进AI标识落实不到位、平台安全和审核能力不足等问题。

在协同治理方面，上海市委网信办加强了上海市大模型合规指导服务中心与各区委网信办的合作，开展了16场AI安全合规培训活动，旨在加强政策指导和业务受理，并对未进行备案的服务进行排查和安全评估。截至目前，上海已完成169款大模型的备案，以及183款调用已备案模型API的生成式人工智能应用的登记。在重点领域，浦东软件园举办了关于“AI场景落地中的安全挑战和合规赋能”的沙龙，促进了治理协同。针对医疗和政务等领域，坚持“先测评后上线”的原则，优化了政务智能应用测评验证中心的建设并制定了安全规范，同时依托医疗大模型应用检测验证中心保障医疗AI应用的安全性。此外，还联动市市场监管局调研了头部GEO企业，探索源头治理的新途径。

针对未成年人保护和拟人化AI服务规范，上海市委网信办为即将于2026年7月15日正式实施的《人工智能拟人化互动服务管理暂行办法》做了多项准备，包括向近百家重点平台进行法规宣贯，指导企业推进合规建设。针对部分应用中存在的未成年人模式形同虚设、身份验证失效以及不良内容生成等风险，督导企业严格执行未成年人身份核验，防止情感依赖和消费诱导，并对问题突出的应用进行了监管执法。

专项行动的第二阶段将重点关注利用AI技术生成“数字泔水”、制造虚假信息、传播暴力低俗内容、仿冒他人、侵犯未成年人权益以及从事网络水军活动等问题。上海市委网信办将继续通过专项举报入口接收公众提供的违规线索，并依法处置违规账号和平台。