一段“AI换脸”的不雅视频，让高校导师陷入诈骗危机；
一张“近乎复刻”的AI克隆照，让普通白领担忧隐私安全；
明星、运动员、企业职员……越来越多人成为AI技术滥用的受害者。

随着生成式AI技术门槛降低，“AI换装”“AI擦边”内容在社交平台泛滥，甚至成为“流量密码”。与此同时，利用AI伪造肖像、制作色情内容、实施诈骗等行为也屡见不鲜。

AI技术是否正在失控？内容平台与AI服务商是否尽到了应有的技术防范与合规责任？

从高校导师到企业白领，从保时捷销售到台球运动员，AI技术的滥用已不分身份、不分场景。

• 电子科技大学导师高翔遭遇AI换脸诈骗；

• 白领小雅发现自己的照片被用于生成“克隆人”；

• 青岛保时捷女销冠遭AI合成视频诽谤；

• 台球运动员王思诺、裁判王钟瑶亦成为伪造淫秽视频的受害者。

北京星权律师事务所律师邓以勒指出，《个人信息保护法》明确规定，处理个人信息需获得明确授权。然而，普通用户往往对自己的照片是否被用于AI训练或换脸一无所知。

在抖音、小红书、百度等平台上，“AI换装”“AI擦边”内容泛滥，部分账号甚至通过教程指导用户“起号变现”。

尽管部分平台对AI生成内容进行标识，例如“疑似AI创作，请谨慎甄别”，但律师梁倩指出：标识并不等同于平台已尽到合理注意义务，更不能自动豁免法律责任。

平台是否具备更强的技术识别与拦截能力？
复旦大学计算机学院副教授郑骁庆建议，为AI生成内容嵌入“数字水印”，便于平台快速识别与追溯来源。

每经记者对12款主流文生图/视频AI应用进行实测，结果触目惊心：

• 5款应用（即梦、豆包、可灵、腾讯元宝、阶跃AI）可实现明星“一键换装”；

• 9款应用可生成衣着暴露的“擦边”图片；

• 提示词稍作修饰，即可绕过内容审核机制。

部分AI服务商回应称，问题源于“模型识别精度波动”，已进行紧急修复。然而，测试中发现，即便修复后，仍有应用能生成露点图片，显示技术防线仍存漏洞。

技术层面，拦截违规内容并非无法实现，而是算力成本较高。AI工程师透露，系统若在提示词阶段未能识别，仍可在生成阶段进行二次检测与拦截。

政策层面，我国已出台《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等法规，明确要求对AI生成内容进行审核与标识。然而，“擦边”内容的界定标准仍不清晰，导致平台审核义务边界模糊。

面向未来，构建健康的AI合规生态需聚焦以下关键方向：

1. 强化AI内容检测技术，推动“数字水印”“内容溯源”等技术落地；

2. 明确“擦边”内容界定标准，建立行业统一的审核指南；

3. 提升平台与服务商的合规意识，推动事前防范而非事后补救；

4. 加强用户教育与维权支持，鼓励公众对侵权行为进行取证、举报与诉讼。

只有通过技术+法律+行业自律的三重防线，才能有效遏制AI滥用乱象，推动人工智能技术走向可信、可控、可持续的发展轨道。

本文基于每经头条公众号发布的《AI技术滥用调查：明星可被“一键换装”，“擦边”内容成流量密码，技术防线为何形同虚设？》整理与重构，如有侵权，请联系删除