携手构筑AI安全共同体，AI大模型应用安全论坛在京召开

6月5日，2025北京网络安全大会“AI大模型应用安全论坛”在北京国家会议中心成功举办。中国信通院副院长魏亮，中国信通院人工智能所安全与具身智能部主任石霖，中国科学院信工所研究员、主任陈恺，中国电信人工智能公司安全运营中心副总经理张慧琳，人保信息科技有限公司安全技术处处长刘巍伟，联想集团全球安全实验室首席安全专家侯伟，奇安信集团董事长齐向东，奇安信观星实验室负责人龚玉山、网络安全部专家王新华等来自政府、学界、运营商、金融、企业的专家学者和业界嘉宾近200人齐聚一堂，共同围绕大模型应用与安全风险展开深度探讨，为AI安全发展建言献策。

中国信通院副院长魏亮在致辞中指出，2025年是人工智能大模型加速迭代、深度赋能的关键之年，但安全风险也日益凸显。从Ollama漏洞到OpenAI大模型的“叛逆行为”，以及 AI 衍生的虚假音视频、信息污染等问题，都给社会带来诸多危害。大模型安全治理已成为全球关注焦点，我国积极贡献治理方案。魏亮强调，构筑大模型安全共同体是必然选择，政府、第三方组织、行业用户和企业应协同联动。中国信通院也积极开展相关工作，如牵头成立产业联盟、制定标准、开展安全评测等，未来将持续加大投入，助力 AI 产业安全发展。

图：中国信通院副院长魏亮

“从政务、运营商，再到金融行业，大模型落地应用都非常火爆，这种火爆已经蔓延到了传统制造业和服务业。”奇安信集团董事长齐向东致辞时表示，大模型正成为推动新质生产力发展的核心引擎，然而，其带来的安全挑战也前所未有。从数据层面，小数据安全至关重要；模型层面，部分大模型面临窃取、攻击等威胁；内容层面，虚假信息和有害内容传播严重。面对这些挑战，携手构筑 AI 安全共同体刻不容缓，同时需突破网络安全体系化建设的三大障碍：即数据孤岛的障碍，投入不足的障碍，新旧兼容难的障碍，实现安全突围。

图：奇安信集团董事长齐向东

“目前人工智能已进入通用人工智能初期阶段，但安全风险复杂多样，涵盖了内生风险、衍生风险和外部风险。”中国信通院人工智能所安全与具身智能部主任石霖带来“智能化时代安全风险洞察和应对实践”的演讲。他指出，内生风险方面，推理型模型存在风险敞口，大模型幻觉问题阻碍产业落地，智能体等发展带来新风险；衍生风险中，内容安全问题依旧突出，信息污染引发信任危机，恶意应用带来防范压力；国际治理则呈现碎片化、阵营化。在企业落地大模型过程中，基础层、数据层、模型层等均存在风险。针对这些风险，信通院搭建了仿真平台和安全风险基准测试体系，提出“智盾”防御方法，还开展了安全测评工作，并联合相关单位编制《人工智能安全承诺》，共同推动产业健康发展。

图：中国信通院人工智能所安全与具身智能部主任石霖

“影响大模型生成质量的因子主要是分为六大块，训练语料，微调语料，模型算法，模型输入，模型输出以及外挂的RAG知识库，这些都是决定AIGC生成式安全的核心要素。”中电信人工智能公司安全运营中心副总经理张慧琳分享“AIGC 安全治理与实践经验”。她介绍了中国电信AI公司充分发挥央企在AI领域的主力军作用，自研了“语义、语音、视觉等多模态基础大模型成果。在AIGC安全治理方面，中国电信基于国内外管理要求，构建了大模型安全治理框架和运营体系。在 AIGC 安全能力建设上，从训练语料、安全测评、安全围栏等多个维度构建立体化防护方案。通过安全左移、构建高质量数据集、台账管理等举措开展安全运营实践，并分享了平衡业务和安全责任的实战经验以及应急响应案例。

图：中电信人工智能公司安全运营中心副总经理张慧琳

中国科学院信工所研究员、主任陈恺进行了“大模型安全应用实践”演讲。他首先介绍团队研究方向包括AI助力安全攻防和AI技术本身安全问题。其中在漏洞发现方面，利用大模型从程序文档和代码中提取漏洞规则，通过缩小问题、让大模型提供证据和推理过程等方法，有效发现更多漏洞；在敏感型检测上，用大模型分析程序代码和界面，挑出用户意图不一致的行为；此外，还研究了大模型越狱和幻觉问题，发现让大模型自问自答易导致越狱，并基于大模型输出状态的抖动现象制作了“测谎仪”。

图：中国科学院信工所研究员、主任陈恺

“大模型不是一个孤立存在，涉及了底层运行环境，算力、模型、数据，以及上层的应用等，既有传统风险，又有新型风险。”奇安信集团观星实验室负责人龚玉山以“以攻促防——从实战化看大模型安全”为题演讲。他指出大模型安全研究对象涵盖算力、环境、模型等多个方面，企业客户应用场景包括通用大模型、垂直大模型等。当前大模型存在诸多安全问题，如DeepSeek数据泄漏、越狱、内部人员破坏等。龚玉山重点分析了漏洞安全、模型自身安全、越狱、数据安全等问题，并介绍了大模型安全检测评估方案。

图：奇安信集团观星实验室负责人龚玉山

“AI大模型的广泛应用使网络攻击趋于智能化、精准化、组织化，同时也为构建金融保险网络安全新范式创造了新的契机”。人保信息科技有限公司安全技术处处长刘巍伟就“保险行业大模型安全实践”进行了分享。他表示，AI时代网络安全形势严峻，攻击效率和隐蔽性提升，攻防失衡，同时大模型应用带来新的安全问题。人保科技通过AI赋能金融保险网络安全防御体系建设，在代码安全检测、安全运营、智能客服问答等多个场景开展实践，并取得显著成效。同时，人保科技还规划构建大模型应用安全评测体系，构建AI内生安全防护能力。

图：人保信息科技有限公司安全技术处处长刘巍伟

“大模型从训练到部署的整个生命周期都面临着完整性被攻击的风险，传统意义上包括三种主要的攻击路径。首先是模型直接替代攻击，攻击者通过替换模型文件或篡改模型参数；第二种是数据污染攻击，干扰模型的训练过程；第三种是数据集攻击，攻击者通过在数据集中投毒。”联想集团全球安全实验室（中国）首席安全专家侯伟博士带来“模型毒化——看投毒攻击如何撕裂AI大模型防线”的演讲。侯伟博士从产品安全角度解读了大模型生命周期中模型完整性受到的威胁，通过与传统投毒攻击路径和方式的对比，着重介绍了最新发现的动态恶意植入攻击模式，该攻击模式通过修改显存实现，隐蔽性强、成本低，并直观演示了攻击过程。

图：联想集团全球安全实验室（中国）首席安全专家侯伟博士

“AI的加速普及，我们现在是一个大数据变小数据的时代，大模型应用三类风险最突出，分别是数据泄露、业务中断和依赖误判。”奇安信集团网络安全部专家王新华分享了“大模型安全空间在企业的落地实践”。她首先介绍奇安信内部大模型生产和应用情况，指出大模型时代面临数据安全挑战，如模糊网络和系统边界、用户身份和数据等。奇安信通过构建系统化方案，包括核查评估、多层监测防御等措施，以及针对特权人员、大模型用户等关键场景的防护，实现大模型安全空间的落地实践。

图：奇安信集团网络安全部专家王新华

麦肯锡研究显示，到2030年生成式AI有望为全球经济贡献7万亿美元的价值，中国约占其中2万亿美元。随着人工智能在国民经济命脉和国计民生关键领域的深度渗透，其伴生的安全风险也日益凸显、更为复杂严峻。本次论坛中，各位嘉宾的精彩发言为AI大模型应用安全领域提供了丰富的思路与实践经验。未来，各方将继续携手合作，在新的时代浪潮之下共同构筑AI安全共同体，推动人工智能产业安全、健康发展。