华业网
  • 首 页
  • 可 持 续 发 展
  • 投 资
  • 市 场
  • 合 作
  • 创 新
  • 人 事
  • 观 点
No Result
View All Result
  • 首 页
  • 可 持 续 发 展
  • 投 资
  • 市 场
  • 合 作
  • 创 新
  • 人 事
  • 观 点
No Result
View All Result
No Result
View All Result
Home 全行业 信息技术

DeepSeek 推理型AI尽显高效训练的小模型之威

by Thomas Chang
2025年2月11日
A A

——在IBM 院士 Kush Varshney 看来,全球AI竞赛中的地缘政治差异,可能没有人们想象的那么重要,他说:”一旦模型开源,它源自何处在很多方面就不再重要了。”

作者:Aili McConnon,IBM

DeepSeek-R1 是中国初创公司 DeepSeek 推出的人工智能模型,不久前,在人工智能开源平台 Hugging Face 上发布数小时,便跃居下载量和活跃度最高模型的榜首;同时因其促使投资者重新考虑英伟达(NVIDIA)等芯片制造商的估值,以及AI巨头为扩大其AI业务规模而进行的巨额投资,从而给金融市场也带来了震荡。

为何掀起如此大的波澜?DeepSeek-R1 是一款所谓 “推理模型 “的数字助理,在某些数学和编码任务的人工智能基准测试中,它的表现与 OpenAI 的 o1 不相上下;而据该公司称,训练该系统所使用的芯片数量却要少得多,使用成本低约 96%。

IBM AI 硬件部门的一位首席研究科学家兼经理 Kaoutar El Maghraoui 说:”DeepSeek 无疑正在重塑人工智能的格局,它以开源的雄心和最先进的创新技术向巨头们发起挑战。”

与此同时,TikTok 母公司、中国科技巨头字节跳动最近发布了自己的推理型代理(智能体)UI-TARS,并声称该智能体在某些基准测试中优于 OpenAI 的 GPT-4o、Anthropic 的 Claude 和谷歌的 Gemini。字节跳动的智能体可以读取图形界面,进行推理,并采取自主和一步接一步的行动。

从初创公司到成熟巨头,中国的人工智能公司似乎正在缩小与美国竞争对手的差距,这在很大程度上要归功于它们愿意开源或与其他企业和软件开发商共享底层软件代码。IBM花岗岩(Granite)模型高级技术产品经理Abraham Daniels说:”DeepSeek已经能够在整个社区推广一些相当强大的模型。DeepSeek真的有可能加速人工智能的民主化。”DeepSeek-R1在 Hugging Face 上提供,根据MIT 许可证,允许不受限制地用于商业用途。

去年夏天,中国公司快手(Kuaishou)发布了一款视频生成工具,它与 OpenAI 的索拉(Sora)类似,但公众可以直接使用。Sora 于去年 2 月亮相,但直到 12 月才正式发布,即便如此,也只有订阅了 ChatGPT Pro 的用户才能使用其全部功能。Hugging Face 上的开发者还抢购了中国科技巨头腾讯和阿里巴巴的新开源模式。虽然 Meta 已将其 Llama 模型开源,但 OpenAI 和谷歌在模型开发方面都主要采用闭源方式。

除了开源带来的好处外,DeepSeek 工程师在训练系统时使用的英伟达(NVIDIA)高度专业化芯片也仅为美国竞争对手的一小部分。例如,DeepSeek 工程师在发布 DeepSeek-V3 模型时发表的研究论文称,他们只需要 2000 个 GPU(图形处理单元)或芯片就能训练出他们的模型。

推理模型

IBM 院士(IBM Fellow) Kush Varshney说:”真正令人印象深刻的是DeepSeek模型的推理能力。”推理模型本质上是自我验证或检查,代表了一种 “元认知”或 “关于思考的思考”。 “我们正开始将智慧融入到这些模型中,这是巨大的进步,” Varshney 说。

去年 9 月,当 OpenAI 预览其 o1 推理模型时,推理模型成为热门话题。与以往只给出答案而不解释推理过程的人工智能模型不同,它通过将复杂问题分成几个步骤来解决。推理模型可能需要多花几秒或几分钟来回答问题,因为它们会一步一步或以 “思维链”的方式来反思自己的分析。

强化学习

DeepSeek-R1将思维链推理与强化学习相结合,在强化学习中,自主智能体在没有人类用户任何指令的情况下,通过反复试错学会执行任务。强化学习有别于更常用的学习形式,如监督学习和无监督学习,前者使用人工标注的数据进行预测或分类,后者旨在从无标注的数据中发现和学习隐藏的模式。

DeepSeek-R1 质疑了这样一种假设,即通过对正确或错误行为的标记示例进行训练,或者从隐藏模式中提取信息,模型的推理能力就会得到提高。密歇根州立大学博士生张逸骅撰写了数十篇机器学习方面的论文,他说:”它的核心假设很简约,却不那么简单:我们能否只通过奖励信号来教会模型正确回答,从而让它自己摸索出最优的思考方式?”

张逸骅说,对于他和像他一样习惯了传统监督微调的专家而言,”眼见DeepSeek这样的大型语言模型仅靠强化学习奖励就能学会‘更好地思考’,着实令人惊艳”,尤其是看到”模型出现真正的‘aha(顿悟)时刻’,它能后退一步,发现错误并自我纠正”。

成本计算

DeepSeek 引发的热议部分源于其低廉的价格。根据该公司发布的技术报告,在圣诞节当天发布的 DeepSeek-V3 的训练成本为 550 万美元,而对于希望试用它的开发人员来说,价格要便宜得多。 IBM杰出工程师Chris Hay说:”他们在模型成本方面所做的工作,以及他们训练模型所花费的时间,确实令人印象深刻。”

然而,IBM研究院Granite技术产品管理总监Kate Soule表示,低廉的价格标签可能并不是故事的全部。她说,550 万美元的成本 “只代表了所需计算量的一小部分”。她说,这还不包括公司即使采用开源模型也要保持专有的成本细节,比如 “强化学习、数据消减和超参数搜索的计算成本”。

无可置疑的是,DeepSeek 通过使用专家混合(MoE)架构实现了更高的成本效益,而这种架构大大降低了训练所需的资源。MoE 架构将人工智能模型划分为不同的子网络(或 “专家”),每个子网络专门处理输入数据的一个子集。模型只激活特定任务所需的特定专家,而不是激活整个神经网络。因此,MoE 架构大大降低了预训练期间的计算成本,并在推理期间实现了更快的性能。在过去一年中,包括法国领先的人工智能公司 Mistral 和 IBM 在内的全球多家公司着力推广了MoE 架构,并通过将 MoE 与开源相结合实现了更高的效率。(例如,IBM在2024年Think大会宣布与红帽一起推出 InstructLab,一个推动大模型开源创新的革命性大模型对齐方法。)

就 IBM 的一系列开源 Granite 模型(采用 MoE 架构开发)而言,企业能够以极低的成本实现前沿模型的性能,因为他们可以针对特定应用或用例调整大型预训练模型,从而有效创建更小的适用模型。将强大的功能集成到更小的稠密模型上,意味着这些模型可用于智能手机和其他在边缘运行的移动设备,如汽车计算机或工厂车间的智能传感器。

这种采用较大模型并将其蒸馏成资源密集度较低的较小模型的过程也为 DeepSeek 的成功做出了贡献。在发布其标志性的 R1 模型的同时,这家中国初创公司还发布了一系列更小的适合不同用途的模型。有趣的是,他们用实践证明,与一开始就对小型模型进行强化学习相比,将大型模型蒸馏成小型模型的推理效果更好。

全球性的人工智能洗牌?

随着这些新模型在某些基准测试中与老一代竞争对手相抗衡或超越它们时,它们将如何影响全球人工智能格局?El Maghraoui 说:”全球人工智能格局不只关乎基准测试的原始性能,更关系到是否能以安全和道德的方式对这些模型进行端到端的整合。” 因此,El Maghraoui 表示,现在判断 DeepSeek-R1 及其他产品是否会 “改变人类互动、技术和企业应用 “,还为时尚早。

最终,”开发人员的采用率将决定 DeepSeek 模型的受欢迎程度,” Daniels说。他表示期待”看到他们为模型发掘出的各种用例”。

在IBM 院士 Kush Varshney 看来,全球AI竞赛中的地缘政治差异,可能没有人们想象的那么重要,他说:”一旦模型开源,它源自何处在很多方面就不再重要了。”

Tags: 企业活动

其他资讯

信息技术

澳门新福利巴士与钉钉签约 共创智慧交通服务

2025年6月7日
信息技术

AMD联合生态伙伴启动中国行业生态共建计划,共拓企业级市场新机遇

2025年6月5日
信息技术

松下家电中国与阿里云达成AI合作,共探智慧家电创新

2025年5月31日
信息技术

阿里巴巴集团与 SAP 宣布战略合作 助力企业加速AI数码化进程

2025年5月28日
信息技术

HashKey集团携手阿里云推动Web3创新

2025年5月21日
信息技术

腾讯发布《2024微信品牌保护报告》,彰显其在数字知识产权保护领域的领导地位

2025年5月20日
<简体> <繁體>

同心同行 焕新启航——杭州松下马达有限公司新工厂开业庆典

2025年5月28日

...

拥抱AI,工诚臻远:ABB 加速器中国周为创新加速

2025年6月1日

...

凯德投资携手国内头部险资在华设立首支境内母基金

2025年5月22日

...

HashKey集团携手阿里云推动Web3创新

2025年5月21日

...

中国新消费指数揭示顶尖品牌三大致胜之道

2025年5月22日

...

拜耳Co.Lab再迎两家中国生物技术初创企业加入

2025年5月17日

...

巴斯夫中国携手国轩高科、中国燃气、巴斯夫杉杉启动战略合作,共筑新能源产业链生态

2025年6月7日

...

阿里巴巴集团与 SAP 宣布战略合作 助力企业加速AI数码化进程

2025年5月28日

...

华业奖 (Greater China Business Awards) 2024-2025 年度获奖名单重磅揭晓

2025年5月27日

...

齐泽凯博士将出任大众汽车乘用车品牌中国CEO

2025年6月12日

...

华业网 (Greater China Business) 致力于促进全球跨国公司、机构在华贸易、投资与业务发展;促进大中华区业务交流与合作;关注最新企业动态和行业趋势;分享经营与管理经验;传播卓越理念,为各方在华取得商业成功,促进可持续发展、友好交流贡献力量。

联 系 我 们 | CONTACT US

商务合作联系:  partnership#apac-business.com

媒体资讯联系:  editor#apac-business.com

人力资源联系:  hr#apac-business.com

* (替换# 为 @)

www.apac-business.com

  • 首 页
  • 可 持 续 发 展
  • 投 资
  • 市 场
  • 合 作
  • 创 新
  • 人 事
  • 观 点

Copyright © 华业网 Greater China Business | 沪ICP备2022016631号-2

No Result
View All Result
  • 首 页
  • 可 持 续 发 展
  • 投 资
  • 市 场
  • 合 作
  • 创 新
  • 人 事
  • 观 点

Copyright © 华业网 Greater China Business | 沪ICP备2022016631号-2

沪公网安备 31011402010150号