当前位置:首页 > 国际 > 正文

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

  • 国际
  • 2025-02-07 14:40:09
  • 17

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

近年来,人工智能领域发展迅猛,OpenAI更是掀起了全球AI发展热潮。2017年,Google推出Transformer架构,带来了自然语言处理的革命性变化。2022年11月,OpenAI推出具有强大语言理解和生成能力的ChatGPT,引发全球范围的广泛关注和讨论,推动AI技术在各个领域的应用和发展。OpenAI的成功,展示了AI技术的巨大潜力,也吸引了大量资本和人才进入,促使全球各大科技公司纷纷加大在AI领域的研发投入。各类AI 技术、商业与开源大模型涌现,拉开了全球大模型竞赛的帷幕。

在这场激烈的“百模大战”中,DeepSeek脱颖而出引发全球热潮,是多种因素共同作用的结果。从技术层面来看,DeepSeek展现出非凡实力,特别是在特定领域展现出卓越的性能及持续优化的通用语言模型能力。在顶尖芯片受限的情况下,它通过技术创新,将低性能芯片的利用率发挥到极致,以高效的架构和训练方法创造出可媲美ChatGPT的AI大模型,打破算力垄断;而短频快的商业模式、清晰的定位、积极的社区互动,使得DeepSeek的技术得到快速迭代与应用。此外,DeepSeek的开源策略,为全球技术人员提供了宝贵的资源,极大推动了AI行业发展,无私的开源精神为它赢得了良好口碑和广泛支持。

DeepSeek从崭露头角到引领AI领域的重大变革,已经逐渐成为全球科技创新的重要力量。本文将详细梳理DeepSeek在发展过程中所引发的关键事件,深入分析其在全球AI竞争中的独特地位及其对国际AI格局的深远影响。同时,我们还将探讨DeepSeek在网络安全领域带来的新机遇,并详细分析大模型在安全性方面的挑战与风险。

01

DeepSeek的起源与发展

DeepSeek是一家总部位于中国杭州的人工智能公司,起源与幻方量化密切相关。成立于2015年的幻方量化是国内头部量化私募基金,在量化投资领域成绩显著,管理资金规模曾达到千亿级别。

DeepSeek成立于2023年7月17日,由幻方量化孵化并全资控股,被其定位为通用人工智能(AGI)和大模型研发的技术引擎。公司专注于自然语言处理、代码生成和多模态数据处理等领域,致力于开发先进的大语言模型(LLM)及相关技术。

DeepSeek团队是一群来自中国顶尖高校和研究机构的AI人才,包括多位来自清华大学和北京大学的博士生,在深度学习、强化学习和模型优化等领域积累了丰富的经验,并取得了显著的研究成果。例如他们提出的新型的多头潜在注意力(MLA)架构,以及一种名为GRPO(Group Relative Policy Optimization)的强化学习算法,在提升模型性能的同时,显著降低了训练资源的需求。

1. DeepSeek的发展脉络

DeepSeek的发展历程可以追溯到幻方量化自主研发的 “萤火一号” 训练平台。2023年,在ChatGPT引发市场关注后,幻方量化的创始人梁文锋宣布正式进军通用人工智能领域,并创办DeepSeek,专注于AI大模型的研究和开发。DeepSeek成立后,迅速推出了一系列具有创新性的大模型,包括DeepSeek V1、V2、V3和DeepSeek-R1。其迭代历程简要展示如下:

平台/模型名称

发布时间

描述

萤火1号

2019

2019年,幻方量化为提升自身在量化投资领域的竞争力,AI软硬件研发团队自研"萤火1号"集群,于2020年正式投入使用,总投资近2亿元人民币,搭载约1100块GPU,为量化交易策略的研发提供了初步的算力支持,同时也为后续Al技术研发奠定了坚实基础。

萤火2号

2021

2021年幻方AI投入十亿建设「萤火二号」。「萤火二号」一期确立以任务级分时调度共享AI算力的技术方案,从软硬件两方面共同发力:高性能加速卡、节点间200Gbps高速网络互联、自研分布式并行文件系统(3FS)、网络拓扑通讯方案(hfreduce)、算子库(hfai.nn),高易用性应用层等,将「萤火二号」的性能发挥至极限。

DeepSeekCoder

2023年11月2日

DeepSeek发布了首个开源代码大模型DeepSeekCoder,该模型支持多种编程语言的代码生成、调试和数据分析任务。

DeepSeekLLM

2023年11月29日

DeepSeek推出了参数规模达670亿的通用大模型DeepSeekLLM,其中包括7B和67B的base及chat版本。

DeepSeek-V2

2024年5月

DeepSeek进一步扩展了模型规模,总参数达到2360亿,同时优化了训练方法,降低了计算成本,提升了模型的语言理解和生成能力。

DeepSeek-V2.5

2024年9月5日

该版本合并了DeepSeek Coder V2和DeepSeek V2 Chat两个模型。

DeepSeek-VL2

2024年12月13日

DeepSeek发布了用于高级多模态理解的专家混合视觉语言模型——DeepSeek-VL2,该模型在多种任务中展现了卓越的能力。

DeepSeek-V3

2024年12月26日

DeepSeek发展历程中的一个重要里程碑:DeepSeek发布了总参数高达6710亿的最新版本DeepSeek-V3,因其卓越的性能和高效的训练方式引起广泛关注。该版本引入了FP8混合精度训练和自定义多GPU通信协议,采用了 “数据蒸馏” 技术,使得模型在仅使用 2048 张 GPU 运行两个月,总成本控制在 600 万美元左右的情况下,就能接近 OpenAI 最新版本的数理推理能力。

DeepSeek-R1

2025年1月20日

DeepSeek发布了专注于推理能力的模型DeepSeek-R1:该模型通过强化学习和知识蒸馏技术,在数学、代码、自然语言推理等任务上,性能比肩OpenAI o1正式版,但其训练价格非常便宜,在海外开发者社区中引发了轰动。DeepSeek R1 在算法类代码场景(Codeforces)和知识类测试(GPQA、MMLU)中的得分略低于 OpenAI o1,但在工程类代码场景(SWE-Bench Verified)、美国数学竞赛(AIME 2024, MATH)项目上,均超过了 OpenAI o1 。

Janus-Pro-7B

2025年1月28日

发布Janus-Pro多模态大模型,进军文生图领域,该模型在GenEval和DPG-Bench基准测试中,Janus-Pro-7B不仅击败了OpenAI的DALL-E 3,还击败了Stable Diffusion、Emu3-Gen等热门模型。同时,Janus Pro采用MIT开源协议,这意味着可无限制用于商业场景。

2. DeepSeek的突破与优势

DeepSeek的核心突破在于通过“架构优化+算法创新”实现性能与成本的平衡:采用”MoE动态路由“ 技术解决了解决传统大模型“算力浪费”问题;利用纯强化学习驱动模型训练摆脱了对人工标注数据的依赖,使模型通过自我博弈持续进化。与其他大模型相比,DeepSeek的优势有:

(1)功能强大:核心能力与应用场景

DeepSeek系列模型通过多项技术创新,在功能上实现了广泛覆盖与垂直领域的高效应用:

多任务处理能力:支持自然语言理解、代码生成、多模态数据分析(文本+图像)、科学推理等复杂任务。

长文本处理:借助多头潜在注意力(MLA)技术,可高效处理长达 128k token的上下文,适用于长文档摘要、法律合同分析等场景。

代码生成与调试:在代码补全、错误修复、代码重构等任务中表现优异,例如为开发者生成Python函数时准确率超过90%。

数学与科学推理:通过纯强化学习驱动的训练方式(DeepSeek-R1),模型可解决高等数学题、物理公式推导等复杂问题。

(2)性能优势:效率与效果的革命性提升

DeepSeek在性能上实现了“更低成本、更高效率”的突破:

计算效率:

1)混合专家架构(MoE):以DeepSeek-V3(6710 亿参数)为例,每个输入仅激活370亿参数,显存占用减少60%,推理速度提升4倍。

2)FP8混合精度训练:相比传统FP16训练,FP8可以在不显著牺牲精度的情况下大幅减少内存占用和计算需求,从而降低了硬件成本和能耗。

任务性能:

1)在自然语言处理基准测试(如MMLU、C-Eval)中,DeepSeek-V3 综合得分超越GPT-4o-0513。

2)在编程任务(HumanEval-MUL)中,DeepSeek-V3的准确率达 82.6%。

3)在数学推理(MATH-500)中,DeepSeek-V3的准确率90.2%,这一成绩显著高于其他一些知名模型,例如GPT-4o-0513的准确率为74.6%,Claude-3.5-Sonnet-1022的准确率为78.3%。

成本控制:

1)DeepSeek-V3训练成本仅557.6万美元,相比同规模模型(如 GPT-3的1200万美元)降低53.5%。

2)DeepSeek V3采用FP8精度和DualPipe并行性,减少了GPU的闲置时间,从而降低了能耗。

3. DeepSeek开源引发关注

DeepSeek的开源策略是其成功的关键之一。2025年1月,DeepSeek团队发布了DeepSeek-R1的开源版本,同步公开了模型权重(允许研究者和开发者自由使用和改进模型)和技术文档(详细介绍了模型架构、训练方法和优化策略)。这一举措迅速引发了全球AI社区的关注,许多研究机构和开发者尝试复现其成果,并在此基础上进行创新。

DeepSeek开源的举动在AI领域引发了广泛关注,影响主要体现在以下方面:

促进全球协作:在技术传播方面,DeepSeek公开相关技术细节,技术研究人员可以基于此进行学习、研究和改进;开源模式吸引了全球开发者的参与,加大了AI技术的传播速度和范围。

降低技术门槛:在应用层面,DeepSeek的开源模型支持免费商用、任意修改和衍生开发,使全球中小企业和独立开发者能够以较低的成本使用高性能AI技术,推动了AI技术的普及和应用。

挑战闭源巨头:DeepSeek的开源策略直接挑战了OpenAI等闭源巨头的市场地位,推动了AI领域的竞争格局重塑。

与此同时,DeepSeek的开源行为引发了激烈争议:

关于开源程度的争议:一些人认为DeepSeek虽然开源了模型,但可能存在部分核心技术或数据未完全公开的情况,质疑其开源的诚意和完整性。而另一些人则表示理解,出于商业利益和技术保护的考虑,保留一定的核心技术是合理的,企业需要在开源和自身发展之间找到平衡。

关于技术竞争和市场格局的争议:开源促进了技术的共享和创新,打破了技术垄断,有利于推动整个AI行业的发展;但也有人担心,DeepSeek的开源策略可能会引发行业内的恶性竞争,导致市场秩序混乱。一些企业可能会过度依赖开源模型,忽视自身的技术研发能力建设,从而影响整个行业的技术创新能力和可持续发展。

国际竞争与合作:DeepSeek的崛起引发了国际关注,部分美国专家呼吁美国加大开源AI研发力度,同时也引发了中美之间在AI领域竞争与合作的讨论。

02

DeepSeek大事记

作为领先的AI大模型之一,DeepSeek迅速在国内外爆红,随着DeepSeek持续的技术发布与产品迭代,引发了全球范围内的高度关注,同时安全问题也逐渐浮出水面。

以下是我们梳理的DeepSeek相关的一些大事记:

1. 行业影响与认可类事件

2025年1月24日,DeepSeek-R1在国外大模型排名Arena上基准测试升至全类别大模型第三,在风格控制类模型分类中与OpenAI o1并列第一。

2025年1月25日,AMD宣布将DeepSeek-V3模型集成至AMD Instinct GPU。

2025年1月26日,DeepSeek 应用登顶苹果中国和美国应用商店免费下载排行榜,在美区下载榜超越ChatGPT。

2025年1月27日,《纽约时报》评价发文高度评价DeepSeek,从技术原理、性能表现到应用场景等多维度对其进行了深入分析,称其可与ChatGPT媲美;DeepSeek持续霸榜,引发英伟达股价重挫,市值蒸发近6000亿美元。

2025年2月,苹果、微软、Meta、阿斯麦等科技巨头高管在财报电话会议上热议 DeepSeek。

2025年2月3日:百度智能云、阿里云、华为云、腾讯云等国内主流云平台纷纷宣布支持 DeepSeek 模型。此外,无问芯穹、联通云等平台也相继跟进。

2. 争议与审查类事件

2025年1月28日,美国多名官员称DeepSeek存在“偷窃”行为,美国海军以“潜在安全与道德风险”为由,发出邮件示警:“不得以任何形式下载、安装或使用DeepSeek模型”,并对DeepSeek开展国家安全调查。

2025年1月29日,美国推出相关法案《Decoupling America’s Artificial Intelligence Capabilities from China Act of 2025》,禁止美国个人及企业使用DeepSeek等中国AI或生成式AI技术,限制美国与中国在人工智能领域合作与技术交流和技术出口转移。

2025年1月31日,意大利数据保护局,因数据保护问题,决定在该国封禁 DeepSeek。

2025年2月1日,韩国水电与核电公司发布DeepSeek禁令。

2025年2月4日,澳大利亚宣布禁止在政府系统和设备上使用DeepSeek。

3. 网络攻击与安全类事件

以下是迄今为止我们了解到的与DeepSeek模型相关的主要安全事件,包括数据泄露、越狱攻击和DDoS等。

(1)大规模DDoS攻击事件:2025年1月3日起,DeepSeek遭受多轮大规模网络攻击,1月27-30日达到高峰,至少有2个僵尸网络参与攻击。

2025年1月,DeepSeek遭受了多轮DDoS攻击。攻击主要针对 DeepSeek的API接口和聊天系统,攻击方法包括NTP反射攻击和 Memcached反射攻击等。攻击导致DeepSeek服务中断,新用户无法注册,但已注册用户仍可正常登录。这些攻击对DeepSeek的服务造成了严重的干扰,影响了用户体验和业务运营。

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

由于DDOS攻击,新用户注册遇阻

(2)数据泄露事件:2025年1月30日,云安全公司Wiz Research发现DeepSeek的ClickHouse数据库因配置错误导致可未授权访问内部数据。

2025年1月,Wiz发现DeepSeek的ClickHouse数据库存在配置错误,导致数据库中的敏感数据可以被未授权访问,相关地址为oauth2callback.deepseek.com:9000和dev.deepseek.com:9000,Wiz的测试表明该数据库包含超过一百万行的日志流,涉及聊天记录、API密钥、后端细节及其他高度敏感信息。由于该数据库被配置为互联网可访问、内容未加密且无需身份验证,因此攻击者可完全地控制该数据库,甚至可能在DeepSeek环境中实施权限提升。

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

(3)越狱攻击事件:2025年1月,多家安全研究机构发现DeepSeek的R1模型极易被越狱攻击。

Qyalys、Cisco、Unit42等机构的研究人员对DeepSeek进行了多种越狱攻击的测试,方法包括Evil Jailbreak(提示采用邪恶密友的身份)、Crescendo(通过逐步提示相关内容来引导对话走向禁止话题)、Deceptive Delight (将不安全话题嵌入良性话题来绕过安全机制)和Bad Likert Judge(利用李克特量表操纵模型生成有害内容)等。

Cisco提供的对多个模型开展越狱攻击测试,其中DeepSeek R1的攻击成功率为100%成功率,这些测试的结果表明,DeepSeek R1缺乏足够的防护机制,容易被攻击者利用来生成恶意内容。

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

Cisco提供的对多个模型攻击成功率

ADLab也针对DeepSeek相关版本的模型开展了测试,成功越狱,获得了一些“违禁品”与“危险品”的制作过程等。

(4)越狱攻击事件:安全公司Wallarm分析员宣布通过“越狱攻击”可导致DeepSeek的全部系统提示词泄露。

安全公司Wallarm宣布成功提取了DeepSeek的系统提示词。系统提示词是定义AI模型行为、响应和限制的关键,能够提取提示词意味着攻击者可进一步了解和利用该模型的内部机制。Wallarm CEO指出,通过说服DeepSeek模型对具有某些偏差的提示做出响应,可打破模型的某种内部控制,进而实现够逐字提取DeepSeek的整个系统提示词。

03

由DeepSeek引发AI技术的国际竞争思考

自DeepSeek问世以来,它在多个大模型能力评分排行榜中迅速跻身前列,甚至超越了OpenAI的GPT-4,代表了AI技术在处理复杂任务、优化决策过程和提升生产力方面的巨大潜力。标志着中国AI技术已跃升至全球领先行列。DeepSeek凭借其独特的算法设计和创新的训练架构,DeepSeek显著降低了超大规模模型的训练成本,为大模型技术的进一步发展提供了新的研究路径和思考视角。此外,DeepSeek通过开源的战略,不仅改变了开源与闭源大模型的竞争格局,也迅速成为全球开源大模型领域的标杆之一。

而DeepSeek的成功,也引发了国外一些技术企业的强烈反应:美国一众科技公司纷纷指责其存在各种所谓的“国家安全问题“。根据《金融时报》的报道,OpenAI指控DeepSeek涉嫌侵犯知识产权在其训练过程中使用了OpenAI的模型,存在“蒸馏”其模型的迹象。与此同时,Claude的母公司Anthropic创始人Dario Amodei也公开表示,DeepSeek的能力不过是达到了他们7至10个月前的水平,只不过使用了更少的训练资源,因此不会对他们构成威胁。

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

Openai发文称deepseek违规使用openai接口

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

纽约大学教授暗讽openai

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

Anthropic创始人发文称DeepSeek的威胁被严重夸大

AI技术的战略意义已远超单纯的经济和社会发展层面,它逐渐成为国家安全、政治影响力以及国际竞争格局中的关键因素。长期以来,美国在AI技术领域处于全球领先地位,而中国的AI发展则逐渐迎头赶上。DeepSeek的发布标志着中国在AI技术上的重大突破,缩小了与全球领先水平之间的差距,并为中国成为全球AI竞争中的重要力量奠定了基础。

(1)AI技术的全球竞争不仅在技术层面展开,更涉及国家间的政治博弈

2025年1月,美国宣布了名为“星际之门”(Stargate Project)的计划,旨在通过跨国合作,强化美国在全球AI领域的领导地位。该计划计划由OpenAI、软银、甲骨文等公司联合发起,预计在未来四年内投资5000亿美元用于AI基础设施建设,标志着美国政府对AI技术的高度重视及其战略重要性。

美国在推动AI领域创新的同时,发布了多项政策和法案,最具代表性的行动,是法案《Decoupling America’s Artificial Intelligence Capabilities from China Act of 2025》的提出,给中美AI合作带来了巨大的冲击。

法案的核心内容是禁止中美双方在人工智能技术及知识产权的双向流动,这也意味着中美两国在AI领域的学术交流、技术共享将被全面阻断。根据该法案,任何下载或使用DeepSeek的行为将被视为违法,最高可判处20年监禁。此外,与中国高校、大学或研究机构的合作也将面临严厉的民事罚款,个人最高罚款100万美元,公司罚款可达1亿美元,并要求赔偿金额为三倍。

技术交流渠道被切断,两国的科研人员和企业将失去诸多交流与合作机会,进而可能导致双方在技术研发上重复投入,降低技术创新效率。

从技术发展角度看,该法案可能对中国AI技术发展形成一定阻碍:美国在 AI领域拥有先进的技术和丰富的资源,法案实施后,中国企业和科研机构可能面临技术、数据获取受限等问题,将对中国AI技术的研发和创新带来新的挑战。另一方面,这也将倒逼国内加大在AI基础研究、核心技术攻关和自主可控产业链建设方面的投入,加速中国AI技术的自主可控发展和AI生态体系构建。

同时,可能导致全球AI技术阵营的分化,形成不同的技术标准、生态系统和应用场景,增加技术交流和合作的壁垒,引发全球AI市场的格局变化。

其他诸多国家,也紧随其后发布了针对DeepSeek的禁令。这一系列的举措突显了AI技术对全球竞争格局的深远影响:从军事到经济,从网络安全到国际政治,AI技术的突破性进展正在改变国家间的博弈方式,AI技术正在迅速演变为未来全球战略竞争的核心之一。

虽然美国长期处于AI技术的领先地位,但随着中国在AI领域不断追赶并逐渐缩小差距,国际AI竞争的态势日益复杂。诸如百度的文心一言、阿里的千问大模型、字节跳动的豆包大模型等,已逐步展现出全球竞争力,而DeepSeek的崛起则进一步标志着中国在AI技术上的重要突破,使中国成为全球AI竞争中的关键参与者,同时也反映了全球AI技术竞争进入了一个新的阶段。

未来,随着AI技术的迅速发展,各国之间的技术竞争将愈发显著,尤其是在大模型和先进计算能力的竞争上。如果各国开始对AI技术进行封锁,全球范围内的技术竞争将转向更为复杂的地缘政治对抗。国家间不再仅仅依赖贸易与外交手段进行竞争,而是通过控制技术、限制数据流动、封锁核心算法来确保自身的技术霸权。这种局面无疑将加剧全球的不平等,技术进步将不再是全人类共同享有的成果,而是国家间为了自身利益而展开的斗争。

(2)加强AI相关技术研究,减少AI技术竞争可能带来的风险和负面影响

1)加大AI基础研究投入:支持基础性AI研究,推动AI理论和算法的原创性突破,从源头上降低对外部技术依赖。例如,资助原创性的算法研究、跨学科技术创新以及AI硬件领域的发展,确保在AI技术的基础研究方面不落后于其他国家。

2)支持AI硬件自主研发:AI的大规模应用依赖于强大的计算资源,尤其是在数据中心、云计算、边缘计算等领域,积极支持自主可控的AI硬件产业,如自主研发AI芯片、加速卡等关键基础设施,降低对外部技术和组件的依赖。

3)加强数据安全和隐私保护:设立专门的机构监督AI模型在数据处理过程中的隐私保护和数据安全,确保敏感数据不会因模型开源或广泛使用而泄露。针对大规模数据泄漏、数据滥用等问题,实施更加严格的法律制裁。

4)加强模型安全与鲁棒性研究:建立完善的模型安全评估标准和测试方法,对模型进行全面的安全测试,及时发现和修复安全漏洞;深入研究各类对抗性攻击方法与防御机制,提升模型在复杂环境下的鲁棒性和可靠性。

5)完善相关政策法规:健全AI安全法律法规体系,推动制定AI系统安全标准,尤其是针对关键领域(如金融、医疗)的高安全性要求。鼓励企业在研发过程中遵循这些标准,避免AI技术漏洞被恶意利用。

6)推动国内AI产业链完善:除了技术研究外,还应推动AI技术产业链的完整构建,支持AI算法、硬件、数据和应用等环节的本土企业成长,确保从基础研发到产品应用的全过程都能够自主可控。

7)建立全球数据共享机制:AI系统的性能依赖于大量数据的训练,数据壁垒可能导致技术封锁与创新滞后。可以推动建立数据共享平台,在保障隐私和安全的基础上,促进国际间的跨境数据流动,提升全球AI技术水平。

8)建设AI人才培训体系:加大对AI领域教育的投资,培养顶尖的AI科研人才和应用型技术人才。在高校和科研机构设置更多的AI专业课程和研究方向,鼓励企业和学术界联合培养人才,提升在AI领域的人才储备。

9)鼓励国际人才流动:AI领域的人才流动对技术的全球化发展至关重要。应通过人才引进计划等手段,吸引全球顶尖的AI专家和科研人员。同时,应加强与其他国家的学术交流与合作,避免人才封锁导致的技术壁垒。

04

从DeepSeek到大模型应用思考

DeepSeek的发布,标志着AI发展迎来新阶段。DeepSeek开源大模型的发布,不仅极大地提升了开源AI性能,还在成本控制和训练效率等方面提供了突破性的解决方案。其影响力已超越技术领域,深入渗透到企业应用、行业创新、全球AI竞争格局等多个层面,推动AI产业向更加开放、智能、可持续的方向发展。

过去,许多开源大模型(如LLaMA系列、Mistral系列)在能力上仍难以匹敌OpenAI的GPT-4级别模型,使得企业和开发者在使用开源大模型方案时功能受限、效果不稳定。与此同时,依赖闭源大模型API的企业也面临着诸多挑战,包括API禁用风险、数据隐私泄露、合规限制等问题,导致企业在大模型应用上受制于人,难以实现真正的自主可控。DeepSeek的出现彻底改变了这一格局,不仅提供了在文本生成、自然语言理解、代码编写、逻辑推理等方面具备强大能力的开源模型,还将模型的训练方法及细节开源于众,降低了大模型自研和赋能的门槛,为各行业带来了前所未有的创新机遇。

1. DeepSeek开启AI应用新篇章

随着大模型在AI领域的蓬勃发展,人工智能已经成为许多行业转型的重要工具,尤其是在网络安全领域。在DeepSeek出现之前,大模型的应用面临诸多挑战,主要包括开源模型的能力限制和商用模型的安全风险。DeepSeek的出现,为安全领域的大模型应用提供了重要的突破,凭借其强大的技术优势和低成本的训练方法,极大地推动了大模型在网络安全领域的应用,解决了传统问题的同时,还降低了自研安全大模型的门槛。

(1)解决开源模型能力局限

在 DeepSeek出现之前,安全领域的很多任务依赖于开源大模型(如Llama系列等)。虽然这些开源模型在通用自然语言处理方面表现优秀,但它们往往无法很好地解决安全领域特有的问题,其中的不足之处主要表现在以下几个方面:

模型性能局限:开源模型通常无法处理大规模数据和复杂推理任务,尤其是在实时威胁检测、自动化漏洞分析等需要高精度和高效能的任务中,它们的表现远不如商用大模型。

安全任务的适配性差:开源模型大多数是通用型模型,没有针对网络安全、漏洞挖掘、恶意代码检测等网络安全领域的任务进行专业训练,缺乏对这些安全问题的深刻理解和处理能力。

定制化不足:由于开源模型通常缺乏针对特定领域的优化,很多时候它们无法有效应对复杂的安全场景,导致无法实现高效和精确的攻击检测、漏洞分析等安全任务。

DeepSeek的出现填补了相关空白,特别是DeepSeek R1在数学推理、代码推理等任务上的表现堪比OpenAI的o1版本。通过自研和优化,各企业可以利用DeepSeek针对安全领域的特定需求进行定制训练,解决各种网络安全问题。DeepSeek的开源模型和训练方法使得开发者能够针对安全问题进行更加深入的定制,打破了先前开源模型在网络安全领域赋能的局限。

(2)特定领域应用的风险

一些关键特定领域(如安全领域等)的特殊性决定了它对AI模型的要求远高于其他行业。商用大模型(如OpenAI的GPT 系列)的使用在安全领域存在显著的风险,任何一个安全风险都可能对企业带来严重的影响和经济损失,主要涉及:

数据安全问题:商用模型通常依赖云端处理,这可能导致用户或企业的敏感数据的泄露风险。安全领域涉及的很多数据具有高度敏感性,因此对数据隐私的保护尤为重要。

可解释性问题:商用模型通常是“黑箱”,即其推理过程和决策依据对外界不可见。这种不透明性在安全领域尤其危险,因为专家无法准确理解模型的决策过程,无法全面评估其安全性和可信度。同时,模型的不稳定性和幻觉问题,也是影响大模型决策的可信度的关键因素。

外部攻击面:使用商用模型意味着依赖第三方服务,这可能为攻击者提供了潜在的攻击面。例如,针对模型本身的对抗攻击或信息泄露等问题,可能直接影响整个系统的安全防护的效果。

DeepSeek通过自研模型,消除了对外部商用服务的依赖。这意味着企业可以在本地环境中部署 DeepSeek模型,从而更好地保护数据隐私,并且不受外部风险的影响。此外,DeepSeek 开源了训练方法和模型,提供了更高的可控性和透明性,使得安全团队可以深入了解模型的运行机制,确保其决策的可信度。

(3)降低自研大模型的门槛

自研大模型是一个高成本、高难度的挑战,传统的大模型研发需要强大的算力支持和巨额的资金投入,这使得很多小型安全团队或公司无法承担。因此,大部分企业只能依赖现有的商用模型或开源模型,但这往往受限于模型的性能和安全性。而DeepSeek这种低成本、高效率的训练方式,不仅让更多团队能够参与到定制化大模型的研究和应用中,还为各行业带来了更多创新的机会。

2. 大模型驱动业务场景创新

DeepSeek 的成功,是通用大模型浪潮中的一个重要信号,某种程度上预示通用大模型和 AI 应用时代的加速到来。其卓越的逻辑处理能力、高效的模型架构等特点,也是通用大模型共有的发展趋势和能力体现。更重要的是,通用大模型不再仅是解决特定任务的工具,将成为驱动各行各业创新、重塑未来社会图景的核心引擎。

(1)实现个人生产力工具的跃升

大模型最直接且快速普及的应用领域,是个人生产力工具的智能化升级。依托大模型的支持,个人生产力工具将不仅能提升效率,还将演变为理解用户意图、提供个性化服务、帮助问题解决的智能助手。例如,更智能的个人助理与日程管理、个性化的学习与知识获取平台、智能健康管理与生活管家、内容创作与创意激发工具等。

(2)推动行业的智能化转型

大模型可以成为各行各业的“智能底座”,帮助企业创新业务模式、提升运营效率、优化用户体验,重塑产业格局,激发增长新动能。例如,实现生产线的智能优化与工业自动化升级、提供智慧医疗与精准健康服务、推动智慧教育与个性化教育普及、升级智慧金融与风险管理、推动智慧农业发展、智慧城市与社会治理现代化、辅助行业决策等。

(3)加速科学研究

大模型不仅能赋能各行各业的应用创新,还将成为科学研究的强大工具,加速知识探索的进程。例如,应用于海量科研数据的分析与模式挖掘、复杂系统的模型构建与仿真模拟、科研文献智能检索与知识图谱构建等。

(4)拓展人工智能的应用边界

大模型的出现,为人工智能在新兴领域的应用探索提供了新的契机,例如,应用于量子计算软件开发,加速量子计算技术的发展和应用;应用于生物信息学和药物研发领域,加速生命科学的进步和新药的研发进程;应用于网络安全防御领域,提升网络安全防御的智能化水平;应用于太空探索和深海探测领域,辅助探索未知边界等。

3. 安全场景的创新应用

大模型在安全领域的应用潜力也是巨大的,凭借其卓越的推理能力、定制化的训练方式以及开源的特点,能够有效提升各类安全任务的执行效率和准确率。面对开源带来的机遇和挑战,我们可以积极探索其在安全领域的创新应用,例如:

(1)安全智能体应用

将模型应用于安全智能体中,例如智能漏洞挖掘与分析、自动化威胁检测和响应、恶意代码检测等,提升安全产品的智能化水平和防护能力。

漏洞挖掘和分析:大模型的强大推理能力可以帮助安全专家从大量代码中快速识别漏洞,并提供修复建议。通过训练针对安全领域的大模型,可以精确识别漏洞类型并优化检测方法,显著提高漏洞修复的效率。

恶意代码检测:可以识别多种类型的恶意代码,尤其是在复杂的攻击场景中,它可以通过深入的分析,发现新型恶意软件和病毒。它的高效推理能力可以帮助安全产品在最短的时间内识别出潜在的安全威胁。

自动化威胁检测和响应:通过大模型强大的自然语言理解和推理能力可以用于构建自动化的威胁检测系统,实时分析和响应安全事件,减少人工干预的时间,提高反应速度和防御能力。

(2)安全运营效率提升

大模型可以用于自动化处理和分析海量的安全日志、告警信息、流量数据等,帮助安全专家发现攻击迹象或数据泄露风险,降低人工成本和技术门槛,提高安全运营效率,提升响应速度。

05

大模型安全思考

在前面的章节中,我们已经详细分析了DeepSeek相关的网络安全事件,并揭示了其在实际应用中的各种安全风险。各类安全事件表明,DeepSeek系统在数据保护、访问权限管理、恶意代码防御和平台安全等方面存在一定的脆弱性。首先,数据泄露和隐私侵犯是DeepSeek安全中极为关键的问题之一。其次,身份验证与访问控制问题导致攻击者能够获得非法访问权限,从而窃取凭证、滥用服务或进行其他恶意操作。同时,DeepSeek的R1模型的极易被越狱攻击,表明DeepSeek R1缺乏足够的防护机制,容易被攻击者利用来生成恶意内容。

通过这些事件,我们可以看到:AI技术尽管在许多领域展现出了强大的应用潜力,但同时也暴露出了一系列潜在的安全威胁。这些问题不仅对用户的隐私与数据安全构成威胁,也可能对服务平台的整体安全性带来严重挑战;更重要的是,AI技术作为各国战略竞争的核心技术能力之一,其自身的安全风险将可能带来致命性影响。本章节将从多角度对AI模型的安全风险进行讨论,为用户、开发者和厂商提供多角度的安全思考。

1. 大模型自身安全

(1)模型文件投毒

对于大模型的研究人员和开发者而言,恶意模型文件也是一种潜在的安全威胁。黑客可能在正常的模型文件中插入恶意代码,进而通过大模型开源平台进行传播。一旦用户下载并加载这些受污染的模型文件,恶意代码就会在用户的系统中执行,进而危害数据安全和系统完整性。这一风险提醒我们,开发者和研究人员在使用大模型,尤其是开源大模型时,必须加强对模型文件的安全审查和验证,确保下载的模型文件没有被篡改。

(2)训练流程安全

模型训练过程中,也存在一系列的安全风险。训练数据的处理和中间文件的管理至关重要。如果在数据清洗、转换或标签化的过程中出现问题,可能导致数据泄露或训练结果的失真。此外,模型训练往往需要处理大量的中间文件,这些文件在训练过程中生成并保存。如果安全审查不到位,恶意代码可能被插入到这些文件中,导致训练过程被破坏或数据被窃取。为了避免此类安全事件,大模型服务商必须加强对每个训练环节的安全管理,确保中间文件和数据的安全性。

(3)训练数据安全

常见的攻击方式主要是后门攻击,在模型训练过程中,训练数据的安全性同样重要,如果使用了存在数据投毒的第三方训练数据集,导致模型训练过程中被加入触发器,当遇到特定的关键词或者图像时将会输出异常结果,影响模型准确性,甚至泄露敏感数据。服务商应确保训练数据集和预训练模型的可靠性和安全性。

(4)模型内容安全

模型内容安全是服务商面临的关键问题之一。作为一个生成式AI系统,能够生成文本、图像、视频等多种内容,大模型通过特定的安全机制实现对内容的过滤与限制,确保输出的合法性。但攻击者可通过构造的特殊输入,绕过模型的安全限制和内容过滤规则,让模型生成违背安全、伦理或法律的内容,例如暴力、歧视性言论或违法内容,这也被称为“越狱攻击”。而攻击者还可通过“越狱攻击”获取系统提示词,可能会导致商业机密泄露或模型输出失控。服务商应当在模型训练和微调过程中,强化内容安全监控,确保生成的内容符合道德和法律标准,并防止模型被用于生成不良或违法内容。

2. 基础设施安全

(1)硬件安全

和传统IT系统一样,大模型系统的硬件和软件平台同样面临来自CPU、GPU等硬件的漏洞风险。特别是GPU,这一关键硬件资源在模型的训练和推理过程中起着至关重要的作用。如果GPU存在漏洞或缺陷,攻击者可能通过这些漏洞访问系统中的敏感数据,甚至引发服务中断。例如,以英伟达为代表的多个科技公司的GPU硬件曾存在安全漏洞,攻击者可以利用这些漏洞恢复GPU上的数据。大模型的开发者和其服务商需要加强硬件安全管理,确保及时修复漏洞,以防止这些问题对平台安全构成威胁。

(2)基础系统安全

系统安全是指运行大模型的主机或服务器的系统安全,主要包括系统的自身安全和相关系统服务或组件的安全,如果大模型运行的主机系统存在安全漏洞,也将直接威胁整个大模型系统的安全。例如,如Windows内核权限提升漏洞 CVE-2023-35359和OpenSSH远程代码执行漏洞(CVE-2024-6387)

(3)基础供应链安全

大模型服务商还需要特别关注其基础供应链的安全性。由于许多大模型应用和服务依赖于许多开源框架和工具(如TensorFlow、PyTorch等),这些基础框架的安全性直接影响到整个系统的稳定性和安全性。例如,已知的安全漏洞可能允许攻击者通过执行深度学习代码来窃取数据或执行恶意命令,进而影响多个AI平台的安全。因此,大模型服务商应当加强对基础框架和依赖包的监控,及时修补漏洞,确保这些组件不会成为攻击者的突破口。

(4)分布式计算安全

由于大模型训练的时候需要输入大量的训练数据进行计算,分布式计算可以解决单一节点的工作效率较低的问题。分布式计算存在节点访问控制问题,例如著名的shadowray漏洞,Ray 中为节点分发任务的Jobs 接口缺少鉴权,任何能网络访问的用户都可以在远程Ray服务器上新建Job,导致远程任意代码执行漏洞。

(5)数据安全

支撑模型运行的底层架构自身可能存在各种数据安全风险,包括基础设施设计、配置、管理和维护环节中固有的数据安全隐患。例如,不安全的存储配置可能导致训练数据和参数泄露;访问控制策略的配置错误可能造成越权访问敏感数据;日志记录不足或泄露可能暴露用户行为和系统内部信息;缺乏数据加密和完整性校验机制可能使数据在存储和传输过程中被窃取或篡改。这些基础设施的数据安全问题,将给整个大模型带来数据安全威胁。

3. 大模型应用安全

(1)应用服务安全

大模型通常通过API接口或聊天系统提供服务,其根本原理是通过访问推理服务器的web接口与大模型进行交互,因此存在传统web应用类似的安全问题,如sql注入、xss注入、文件上传、路径穿越和拒绝服务攻击等。同时,API的安全性同样不容忽视,例如,API接口未实施身份认证或未校验权限层级,导致可直接访问或使用普通用户可访问管理员接口,此时攻击者可通过工具暴力枚举API路径,批量获取敏感数据。

(2)应用供应链安全

随着大模型技术的广泛应用,许多开发者和第三方供应商开始构建与之相关的应用组件和扩展框架(如langchain、autogen和pandas-ai等)。这些工具虽然提供了便利,但也可能存在安全漏洞。例如,曾有报道称,Meta和Amazon的AI服务工具TorchServe在应用中暴露了安全漏洞,使数万台服务器面临风险。大模型服务商应当定期对这些应用组件和扩展框架进行安全检查,确保它们不会成为攻击者的潜在入口。

4. ADLab大模型安全能力积累

鉴于AI大模型可能存在的各类安全风险和和日益凸显的安全问题,启明星辰ADLab作为业内领先的安全研究实验室,持续跟进AI相关前沿技术和大模型安全领域相关方向,并建立了完善的模型安全评估标准和可操作的测试方法,能够对模型进行全面的安全测试,及时发现潜在的安全漏洞,从而为大模型的开发、部署和应用提供可靠的安全保障。目前,ADLab的安全测试能力已应用于公司相关产品,还能为客户提供更具针对性的安全服务。

启明星辰ADLab:安全人视角的DeepSeek洞察与思考

ADLab大模型系统安全测试规范示例

(转自:启明星辰集团)

有话要说...