華業網
  • 首 頁
  • 可 持 續 發 展
  • 投 資
  • 市 場
  • 合 作
  • 創 新
  • 人 事
  • 觀 點
No Result
View All Result
  • 首 頁
  • 可 持 續 發 展
  • 投 資
  • 市 場
  • 合 作
  • 創 新
  • 人 事
  • 觀 點
No Result
View All Result
No Result
View All Result
Home 全行業 信息技術

DeepSeek 推理型AI盡顯高效訓練的小模型之威

by Thomas Chang
2025年2月11日
A A

——在IBM 院士 Kush Varshney 看來,全球AI競賽中的地緣政治差異,可能沒有人們想象的那麼重要,他說:”一旦模型開源,它源自何處在很多方面就不再重要了。”

作者:Aili McConnon,IBM

DeepSeek-R1 是中國初創公司 DeepSeek 推出的人工智能模型,不久前,在人工智能開源平台 Hugging Face 上發布數小時,便躍居下載量和活躍度最高模型的榜首;同時因其促使投資者重新考慮英偉達(NVIDIA)等芯片製造商的估值,以及AI巨頭為擴大其AI業務規模而進行的巨額投資,從而給金融市場也帶來了震蕩。

為何掀起如此大的波瀾?DeepSeek-R1 是一款所謂 “推理模型 “的數字助理,在某些數學和編碼任務的人工智能基準測試中,它的表現與 OpenAI 的 o1 不相上下;而據該公司稱,訓練該系統所使用的芯片數量卻要少得多,使用成本低約 96%。

IBM AI 硬件部門的一位首席研究科學家兼經理 Kaoutar El Maghraoui 說:”DeepSeek 無疑正在重塑人工智能的格局,它以開源的雄心和最先進的創新技術向巨頭們發起挑戰。”

與此同時,TikTok 母公司、中國科技巨頭字節跳動最近發布了自己的推理型代理(智能體)UI-TARS,並聲稱該智能體在某些基準測試中優於 OpenAI 的 GPT-4o、Anthropic 的 Claude 和谷歌的 Gemini。字節跳動的智能體可以讀取圖形界面,進行推理,並採取自主和一步接一步的行動。

從初創公司到成熟巨頭,中國的人工智能公司似乎正在縮小與美國競爭對手的差距,這在很大程度上要歸功於它們願意開源或與其他企業和軟件開發商共享底層軟件代碼。IBM花崗岩(Granite)模型高級技術產品經理Abraham Daniels說:”DeepSeek已經能夠在整個社區推廣一些相當強大的模型。DeepSeek真的有可能加速人工智能的民主化。”DeepSeek-R1在 Hugging Face 上提供,根據MIT 許可證,允許不受限制地用於商業用途。

去年夏天,中國公司快手(Kuaishou)發布了一款視頻生成工具,它與 OpenAI 的索拉(Sora)類似,但公眾可以直接使用。Sora 於去年 2 月亮相,但直到 12 月才正式發布,即便如此,也只有訂閱了 ChatGPT Pro 的用戶才能使用其全部功能。Hugging Face 上的開發者還搶購了中國科技巨頭騰訊和阿里巴巴的新開源模式。雖然 Meta 已將其 Llama 模型開源,但 OpenAI 和谷歌在模型開發方面都主要採用閉源方式。

除了開源帶來的好處外,DeepSeek 工程師在訓練系統時使用的英偉達(NVIDIA)高度專業化芯片也僅為美國競爭對手的一小部分。例如,DeepSeek 工程師在發布 DeepSeek-V3 模型時發表的研究論文稱,他們只需要 2000 個 GPU(圖形處理單元)或芯片就能訓練出他們的模型。

推理模型

IBM 院士(IBM Fellow) Kush Varshney說:”真正令人印象深刻的是DeepSeek模型的推理能力。”推理模型本質上是自我驗證或檢查,代表了一種 “元認知”或 “關於思考的思考”。 “我們正開始將智慧融入到這些模型中,這是巨大的進步,” Varshney 說。

去年 9 月,當 OpenAI 預覽其 o1 推理模型時,推理模型成為熱門話題。與以往只給出答案而不解釋推理過程的人工智能模型不同,它通過將複雜問題分成幾個步驟來解決。推理模型可能需要多花幾秒或幾分鐘來回答問題,因為它們會一步一步或以 “思維鏈”的方式來反思自己的分析。

強化學習

DeepSeek-R1將思維鏈推理與強化學習相結合,在強化學習中,自主智能體在沒有人類用戶任何指令的情況下,通過反覆試錯學會執行任務。強化學習有別於更常用的學習形式,如監督學習和無監督學習,前者使用人工標註的數據進行預測或分類,後者旨在從無標註的數據中發現和學習隱藏的模式。

DeepSeek-R1 質疑了這樣一種假設,即通過對正確或錯誤行為的標記示例進行訓練,或者從隱藏模式中提取信息,模型的推理能力就會得到提高。密歇根州立大學博士生張逸驊撰寫了數十篇機器學習方面的論文,他說:”它的核心假設很簡約,卻不那麼簡單:我們能否只通過獎勵信號來教會模型正確回答,從而讓它自己摸索出最優的思考方式?”

張逸驊說,對於他和像他一樣習慣了傳統監督微調的專家而言,”眼見DeepSeek這樣的大型語言模型僅靠強化學習獎勵就能學會‘更好地思考’,着實令人驚艷”,尤其是看到”模型出現真正的‘aha(頓悟)時刻’,它能後退一步,發現錯誤並自我糾正”。

成本計算

DeepSeek 引發的熱議部分源於其低廉的價格。根據該公司發布的技術報告,在聖誕節當天發布的 DeepSeek-V3 的訓練成本為 550 萬美元,而對於希望試用它的開發人員來說,價格要便宜得多。 IBM傑出工程師Chris Hay說:”他們在模型成本方面所做的工作,以及他們訓練模型所花費的時間,確實令人印象深刻。”

然而,IBM研究院Granite技術產品管理總監Kate Soule表示,低廉的價格標籤可能並不是故事的全部。她說,550 萬美元的成本 “只代表了所需計算量的一小部分”。她說,這還不包括公司即使採用開源模型也要保持專有的成本細節,比如 “強化學習、數據消減和超參數搜索的計算成本”。

無可置疑的是,DeepSeek 通過使用專家混合(MoE)架構實現了更高的成本效益,而這種架構大大降低了訓練所需的資源。MoE 架構將人工智能模型劃分為不同的子網絡(或 “專家”),每個子網絡專門處理輸入數據的一個子集。模型只激活特定任務所需的特定專家,而不是激活整個神經網絡。因此,MoE 架構大大降低了預訓練期間的計算成本,並在推理期間實現了更快的性能。在過去一年中,包括法國領先的人工智能公司 Mistral 和 IBM 在內的全球多家公司着力推廣了MoE 架構,並通過將 MoE 與開源相結合實現了更高的效率。(例如,IBM在2024年Think大會宣布與紅帽一起推出 InstructLab,一個推動大模型開源創新的革命性大模型對齊方法。)

就 IBM 的一系列開源 Granite 模型(採用 MoE 架構開發)而言,企業能夠以極低的成本實現前沿模型的性能,因為他們可以針對特定應用或用例調整大型預訓練模型,從而有效創建更小的適用模型。將強大的功能集成到更小的稠密模型上,意味着這些模型可用於智能手機和其他在邊緣運行的移動設備,如汽車計算機或工廠車間的智能傳感器。

這種採用較大模型並將其蒸餾成資源密集度較低的較小模型的過程也為 DeepSeek 的成功做出了貢獻。在發布其標誌性的 R1 模型的同時,這家中國初創公司還發布了一系列更小的適合不同用途的模型。有趣的是,他們用實踐證明,與一開始就對小型模型進行強化學習相比,將大型模型蒸餾成小型模型的推理效果更好。

全球性的人工智能洗牌?

隨着這些新模型在某些基準測試中與老一代競爭對手相抗衡或超越它們時,它們將如何影響全球人工智能格局?El Maghraoui 說:”全球人工智能格局不只關乎基準測試的原始性能,更關係到是否能以安全和道德的方式對這些模型進行端到端的整合。” 因此,El Maghraoui 表示,現在判斷 DeepSeek-R1 及其他產品是否會 “改變人類互動、技術和企業應用 “,還為時尚早。

最終,”開發人員的採用率將決定 DeepSeek 模型的受歡迎程度,” Daniels說。他表示期待”看到他們為模型發掘出的各種用例”。

在IBM 院士 Kush Varshney 看來,全球AI競賽中的地緣政治差異,可能沒有人們想象的那麼重要,他說:”一旦模型開源,它源自何處在很多方面就不再重要了。”

Tags: 企業活動

其他資訊

信息技術

通義大模型將接入惠普AI助手 探索AI能力端側落地

2025年7月24日
信息技術

簽約上合!NETSOL 攜手天津共啟數字經濟合作新征程

2025年7月12日
信息技術

騰訊榮膺「2025私隱之友嘉許獎」金獎及最佳資料外泄事故應變計劃獎 表彰其保障個人信息隱私的卓越表現

2025年7月11日
信息技術

騰訊舉辦中國首個全模態生成式推薦算法大賽,吸引全球超6000名學生參加

2025年7月11日
信息技術

領跑100|聯想×吉利,共築汽車智算新引擎

2025年7月3日
信息技術

華為宣布開源盤古7B稠密和72B混合專家模型

2025年7月1日
<簡體> <繁體>

共啟新程!太重集團與康明斯達成戰略合作

2025年7月3日

...

美敦力首次參展鏈博會,本土價值鏈驅動共創共贏

2025年7月17日

...

花王(中國)發布2025可持續發展暨ESG報告:以“同美共生”踐行綠色未來

2025年7月12日

...

通義大模型將接入惠普AI助手 探索AI能力端側落地

2025年7月24日

...

西門子再次亮相鏈博會 全維度賦能中國企業出海

2025年7月18日

...

固特異亞太區總裁黃錦松先生訪談

2025年7月25日

...

吉利汽車與極氪簽訂合併協議

2025年7月16日

...

松下電器中國共創加速計劃正式啟動!

2025年7月2日

...

Uber攜手微信上線官方小程序,方便中國遊客境外出行

2025年7月22日

...

vivo榮登ITU全球峰會領獎台,無障礙實踐獲國際權威認證

2025年7月10日

...

華業網 (Greater China Business) 致力於促進全球跨國公司、機構在華貿易、投資與業務發展;促進大中華區業務交流與合作;關注最新企業動態和行業趨勢;分享經營與管理經驗;傳播卓越理念,為各方在華取得商業成功,促進可持續發展、友好交流貢獻力量。

聯 系 我 們 | CONTACT US

商務合作聯繫:  partnership#apac-business.com

媒體資訊聯繫:  editor#apac-business.com

人力資源聯繫:  hr#apac-business.com

* (替換# 為 @)

www.apac-business.com

  • 首 頁
  • 可 持 續 發 展
  • 投 資
  • 市 場
  • 合 作
  • 創 新
  • 人 事
  • 觀 點

Copyright © 華業網 Greater China Business | 滬ICP備2022016631號-2

No Result
View All Result
  • 首 頁
  • 可 持 續 發 展
  • 投 資
  • 市 場
  • 合 作
  • 創 新
  • 人 事
  • 觀 點

Copyright © 華業網 Greater China Business | 滬ICP備2022016631號-2

滬公網安備 31011402010150號