不久前，某公众号运营者钟某为蹭“海啸预警”热点，利用AI生成“30万居民撤离上海”“数十万上海市民正排队登车”等耸人听闻的言论。这条假消息被大量阅读、转发，引发恐慌情绪。其后，钟某被警方拘留。
AI的广泛应用，为虚假信息的批量生产和病毒式传播提供了“温床”，给社会治理带来挑战。
9月15日，《人工智能安全治理框架》2.0版正式发布。中央网信办负责人表示，要强化规范引导，不断完善人工智能安全监管制度和标准规范体系，促进人工智能健康有序发展。
利用AI造谣日渐频繁
今年3月，福建厦门公安机关发现，网上有信息称：“2025年3月3日，厦门市某化工厂发生一起严重的闪爆事故，造成3人死亡、3人受伤……”公安机关调查发现，这是发布者许某通过网上AI助手软件生成的虚假文章。公安机关对许某予以行政处罚。
人工智能时代，利用AI造谣日渐频繁。公安部曾发布多起典型案例。如，湖南公安机关查处编造“民警离职潮”谣言案，江西公安机关查处MCN机构使用人工智能工具造谣案，重庆公安机关查处使用人工智能工具编造“爆炸事故”谣言案，广东公安机关查处编造“广州限制外卖配送”谣言案。相关人员均被绳之以法。
清华大学新闻与传播学院新媒体研究中心2024年发布的《揭秘AI谣言：传播路径与治理策略全解析》研究报告指出，2023年以来，伴随AIGC技术的高速发展，一些造谣者不当利用AI工具，使得AI谣言量高速增长。
报告指出，在各类AI谣言信息量占比中，经济与企业类谣言和公共安全类谣言占比最多、增速最快，其中餐饮外卖、快递配送等民生行业成为谣言重灾区。
记者调查发现，人工智能技术让网络谣言内容更为逼真，常配有伪造的图片、视频甚至所谓“官方回应”，极具迷惑性。
中国（深圳）综合开发研究院院长助理、数字经济与全球战略研究所所长曹钟雄等业内人士认为，AI不仅能高效生成虚假信息，而且可以通过过滤、推荐机制，将虚假信息聚合形成“证据链”，给普通用户乃至专业人士造成误导。
流量变现驱动商业化黑产
不久前，某著名食品公司向安徽省合肥市公安局经开分局报案称，多个网络平台上集中出现大量虚假、带有诱导性的负面文章，恶意攻击公司品牌及产品品质。公安机关立案调查，民警在多个平台发现关于该品牌“二氧化硫残留”“霉变”等内容的文章200余篇，且内容高度雷同。
经公安机关核实，上述内容均为虚假信息。信息发布者陈某被行政拘留。陈某交代，今年8月，他在网上看到该公司相关信息后，想到知名企业涉及食品安全问题，容易引发公众关注。为博取流量，他使用AI工具编造内容，生成多篇虚假负面文章，在多个平台集中发布。
业内专家指出，传统谣言生产依赖造谣者人工操作。如今，造谣者使用AI工具，只要输入特定关键词或指令，便可快速生成内容逼真、欺骗性强的谣言，从而实现谣言的大规模、高效率生产。
去年3月，江西公安机关查处一起MCN机构使用人工智能工具造谣案。经查，王某某经营有5家MCN机构，共运营自媒体账号842个，长期组织公司人员选取返回搜狐，查看更多
