重磅新规落地，AI行业的一次大洗牌

图源：小红书

这些夺人眼球的爆款新闻，最终都被证实纯属虚构，却早已收割了无数人的转发、关注、愤怒。

这背后，有“AI幻觉”（AI在无明确依据的情况下编造并不存在的事件、数据、细节）的推波助澜，但更严重的，是有人利用AI批量制造假新闻，形成产业链，从中非法牟利。

据央广网报道，去年1月以来，一家MCN机构通过AI软件生成虚假新闻，最高峰一天能生成4000至7000篇，相关人员直至去年6月才被刑拘；据南都大数据研究院不完全统计，2024年搜索热度较高的50个国内AI风险相关舆情案例中，超1/5与AI造谣有关；此前上海一女童走失事件中，有团伙利用AI工具编造“女孩父亲系继父”等谣言，6天内发布268篇文章，多篇文章点击量超过100万次……

伴随着科技的飞速发展，越来越多人发现，自己已经无法轻易分辨眼前的东西是真是假，在老年群体中，这一情况更为严重。网络上，“AI生成的视频爸妈深信不疑”“连善意都被AI玩弄”的吐槽层出不穷。真假难辨的内容，正在让公众陷入混乱与焦虑，让社会共识的形成越来越困难，也让互联网信息池被严重污染。

正如数字力场负责人、专栏作者佘宗明所言：“都说‘科技向善’，再往前一步，其实就是‘科技向真’。科技向真不是说不能用AIGC工具‘魔改’内容、‘邪修’创意，而是说要遵循某些底线性的真实原则，比如是AI生成的‘劲爆’图片或‘震撼’视频就得标注是AI生成的，是AI编造的‘小作文’就得提醒是AI编造的，必须制假标假，不能以假乱真。”

对此，我国在2月底出台了强制性国家标准《网络安全技术人工智能生成合成内容标识方法》，于昨日（9月1日）正式施行。

未可知人工智能研究院院长、中国社会科学院技术经济学博士杜雨认为：“这意味着对AIGC的治理从前瞻性的行业自律指南（怎么做更好），迈向了普适性的强制性监管规范（必须怎么做）。这并非给技术发展‘踩刹车’，而是为其‘铺轨’和‘校准方向’。”

那么，这两份文件，具体规定了些什么？

用一句话来说，就是所有AI生成、合成的内容（包括文本、图片、音频、视频、虚拟场景等），都必须加上标识，让用户、监管和机器，都能一眼看出来。

其中，标识分为两种：

显式标识：直接展示给用户看；

隐式标识规范

对普通用户来说，最相关的是显式标识，未来你在网上冲浪时，能清楚了解哪些内容是AI生成的：

◎ 首先，AI生成的文本内容，必须在开头、末尾或中间，添加文字提示或者角标等，如下图所示：

图源：《网络安全技术人工智能生成合成内容标识方法》

◎ 其次，对图片内容和视频内容而言，图片、视频画面内需包含“人工智能”或“AI”+“生成”和/或“合成”的文字，文字高度不能低于图片最短边长的5%，正常播放速度下，视频画面中的标识持续时间不能少于2秒。

图源：《网络安全技术人工智能生成合成内容标识方法》

◎ 第三，AI生成或合成的音频文件中，必须包含一段正常语速的“AI生成”等提示语音，或者一段清晰可辨的“短长短短”（为AI的摩斯码）特殊节奏音。

图源：《网络安全技术人工智能生成合成内容标识方法》

◎ 最后，所有使用到AI的交互场景，都需要使用文字进行标注，在内容附近或者交互界面的适当位置持续显示提示文字，如下图所示：

图源：《网络安全技术人工智能生成合成内容标识方法》

并且，《办法》还对平台端提出了更高要求：平台需核验用户上传的文件元数据，确认文件是否包含隐式标识和显式标识，对确认或疑似为AI生成/合成的内容，进行清晰醒目的提示标识。换句话说，AI标识不只要靠“创作者自觉”，平台也必须承担“把关义务”。

图源：小红书

当然，除了用户和内容平台，这两份文件的落地，也在悄然重塑着各行各业的运行逻辑。对企业来说，这既是压力，也是新商机的涌现；对不同行业的从业者来说，这既是洗牌，也是新竞争的开始。对此，我们邀请了几位专家，来听听他们的观察与判断。

大头有话说

杜雨

未可知人工智能研究院院长

中国社会科学院技术经济学博士

我认为这一文件的核心是为了应对三类风险：

◎ 第一，防范欺诈和虚假信息的传播。AIGC技术能够批量生成高度逼真的内容，容易被用于制造谣言、进行诈骗甚至干扰舆论。强制标识相当于给AI生成内容贴上“电子水印”，帮助公众快速辨别真伪，保护自身权益和社会信任基础。

◎ 第二，明确版权与内容归属。AI生成内容在知识产权方面仍存在大量模糊地带，标注来源有助于厘清权利边界，减少法律纠纷，也是对原创生态的一种保护。

◎ 第三，这一点非常关键——防止互联网数据被污染。目前很多低质量、错误甚至恶意的AI生成内容未经标识就涌入网络，如果它们被当作训练数据回收给下一代模型，会导致模型性能退化，形成“垃圾进、垃圾出”的恶性循环。强制标注相当于为数据构建了“隔离带”，保障AI长期发展的数据环境健康。

未来，在新闻、金融、医疗、教育等高风险、高信任度要求的领域，强制标识是AI技术得以规模化应用的“准入许可”和“信任票”。它明确了应用的边界和责任，反而能打消社会顾虑，为那些真正创造价值的AI应用扫清障碍，加速其落地进程。

对于相关企业而言，确实面临着新的责任和挑战，例如，给所有AI生成的内容“打标签”，需要在产品和技术流程里加东西，肯定有投入，并且，用别家的AI工具生成内容，或者平台分发内容，也都得检查有没有标，这叫“谁运营谁负责”，责任链条变长了。如果该标没标，或者故意冒充真人创作，可能会面临处罚。

AI手机生成写真图片

但是，这同样带来了全新的商业机会：

◎ 第一，“可信AI”会成为核心竞争力。以后用户会更信任那些老实标识、内容质量高的AI产品，这能帮你建立品牌信任，反而是个加分项。

◎ 第二，合规技术本身就能成一门生意。比如做数字水印、AI内容检测工具、合规解决方案，这些需求会越来越大，成为一个新的赛道。

◎ 第三，高质量内容的价值会更突出。当低质AI内容被标识和过滤掉，真正优质、有创意的内容（无论是人还是AI做的）会变得更值钱。

佘宗明

数字力场负责人、专栏作者

跟欧盟惯有的强监管（过度强调安全）、美国一贯的软约束（侧重行业自律）比，中国在互联网和AI上的治理向来更注重“平衡的艺术”。单就AI生成内容标注来说，中国的做法有两个典型特点：

▶▷第一，将标识要求与《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法规充分衔接，形成相对全面系统的AI治理法规体系。

▶▷第二，创新性地提出文本符号标识、音频节奏标识、文件元数据标识等低成本且具有可操作性的标识方法，兼顾了监管需求与企业实际承受能力，平衡了规范与发展的关系，更贴合中国庞大而多元的AI 产业生态特点。

未来，我认为有两点可以做：

◎ 第一，建立AI生成内容元数据共享库，推动“行业协作与标准共享”，打通平台间溯源壁垒。

◎ 第二，建立权威的AI内容检测与认证机构，当对某些内容是否为AI生成存在争议时，可由该机构进行专业鉴定，确保标识的准确性与公正性。

董毅智

上海正策律师事务所律师

从律师的角度来看，这是一份未来在司法层面非常可行、并且极具行业标准意义的文件。律师在处理相关合规事务，尤其是在诉讼环节时，它提供了坚实的法律依据。这不仅关乎文件本身的规范性，也代表了未来立法层面的发展方向。

未来，进一步完善配套设施，我认为有三个方向：

▶▷第一，技术溯源能力的建设，通过技术手段实现对数据和内容的深层次验证。

▶▷第二，全流程合规，覆盖数据采集、模型训练、内容生成到分发的全周期管理体系。

▶▷第三，法律责任的明确，设立清晰的惩戒和追偿机制，对违法犯罪行为形成实质性威慑。

▶▷第四，教大家怎么正确认识、对待AI。

刘晓博

财经评论员

公众号“刘晓博说财经”

对自媒体行业而言，这项规定总体上是利好，因为目前大多数自媒体创作仍以人工为主，AI使用比例并不高，而那些依靠AI制造特殊场面获取流量的账号（比如抖音上流行的“猫打台球”等视频），一旦被明确标注为AI生成，粉丝的兴趣和吸引力势必下降。毕竟，观众普遍还是更偏好真实的内容，而不是AI生成的内容。

强制标识确实会影响读者的接受度和信任度，但这反过来也会推动自媒体行业的生态优化：选题方向、内容风格以及互动方式将更加注重真实性与创造力，而不是依赖“误以为真实”的惊奇效果来博眼球。从长远来看，也能倒逼AI技术在创意和内容价值上不断进步，而不是停留在制造噱头的层面。

同时，这项措施还有助于让短视频、自媒体的竞争更合理、更公平，并保护大家的隐私、减少谣言的传播、社会情绪的误导和激化。

庄帅

零售电商行业专家

百联咨询创始人

目前在电商平台，AI主要用来做商品宣传的短视频和图文内容，以及一些数字人直播，很少用来做商品图（平台对此有限制）。并且，很多内容平台早就开始进行AI标识了。

因此，总体而言，我觉得这一政策对消费者影响不大，毕竟，AI生成内容只是更低成本地让消费者更好地了解商品，决定性因素还是商品本身对消费者有足够的吸引力，以及品牌和商家的服务做得够好。

主编 | 何梦飞 | 图源 | VCG