眼看著 ChatGPT 持續(xù)爆火了幾個月,期間微軟、谷歌、Meta 等科技巨頭接連入局,如今英特爾也終于官宣“參賽”。

在德國漢堡舉行的國際超級計算大會 (ISC) 高性能會議 (HPC)上,英特爾不JJJJ*展示了其在 HPC 和 AI 工作負載方面的性能,還宣布了一項出人意料的計劃:與阿貢國家實驗室攜手,用 Aurora 超級計算機開發(fā)生成式 AI 模型 Aurora genAI,參數(shù)量將多達 1 萬億!

要知道,ChatGPT 的參數(shù)規(guī)模為 1750 億,即 Aurora genAI 模型將比它至少大 5 倍。

AI 模型將由 Aurora 超算提供算力 

據(jù)了解,英特爾 Aurora genAI 模型將以兩個框架為基礎(chǔ):NVIDIA 的 Megatron 和微軟的 DeepSpeed。

Megatron:用于分布式訓(xùn)練大規(guī)模語言模型的架構(gòu),專門針對 Transformer 進行了優(yōu)化,不只支持傳統(tǒng)分布式訓(xùn)練的數(shù)據(jù)并行,也支持模型并行。

DeepSpeed:專注于優(yōu)化大型深度學(xué)習(xí)模型的訓(xùn)練,通過提高規(guī)模、速度、成本和可用性,釋放了訓(xùn)練 1000 億參數(shù)模型的能力,極大促進大型模型的訓(xùn)練。

除了這兩個框架,Aurora genAI 模型還將由 Aurora 超級計算機來提供算力——這臺英特爾為阿貢國家實驗室設(shè)計的超級計算機,在經(jīng)歷了各種推遲后,如今終于成型了。

根據(jù)目前公開的資料顯示,Aurora 超級計算機由英特爾 Xeon CPU Max 和 Xeon GPU Max 系列芯片提供支持,總共有 10624 個節(jié)點,擁有 63744 個 Ponte Vecchio GPU、21248 個 Sapphire Rapids 至強 CPU、1024 個分布式異步對象存儲 (DAOS) 存儲節(jié)點以及 10.9 PB 的 DDR5 傲騰持久內(nèi)存。

此外,英特爾方面還透露了 Aurora 超級計算機的早期性能結(jié)果:“Aurora 超算在科學(xué)和工程工作負載上具有更好性能,比 AMD MI250 GPU 的性能高 2 倍,在 QMCPACK 量子力學(xué)應(yīng)用上比 H100 提高了 20%,并接近線性擴展,可達到數(shù)百個節(jié)點?！?/p>

值得一提的是,與Z*初的 1 Exaflop 目標相比,預(yù)計 Aurora 超級計算機在今年推出時,將提供超過 2 Exaflops 的雙精度浮點計算性能——比目前多次蟬聯(lián)全球超算 Top500 榜首的 Frontier 超級計算機(1.194 Exaflop/s)還要高。 

以科學(xué)為重點的生成式 AI 模型 

有了算力強悍的 Aurora 超算打底,注定 Aurora genAI 模型的規(guī)模不會小。據(jù)英特爾官方介紹,阿貢國家實驗室正在為 Aurora genAI 模型牽頭開展國際合作。

阿貢副實驗室主任 Rick Stevens 表示:“該項目旨在利用 Aurora 超級計算機的全部潛力,以產(chǎn)生一種資源,可用于能源部實驗室的下游科學(xué),并與其他機構(gòu)合作?！?/p>

總體而言,Aurora genAI 是一個以科學(xué)為重點的生成式 AI 模型,因此將在通用文本、代碼、科學(xué)文本以及生物學(xué)、化學(xué)、材料科學(xué)、物理學(xué)、醫(yī)學(xué)等科學(xué)數(shù)據(jù)上進行訓(xùn)練。

由此產(chǎn)生的 AI 模型,將具有多達 1 萬億個參數(shù),包括從分子和材料的設(shè)計到數(shù)百萬個來源的綜合知識,可用于各種科學(xué)應(yīng)用:系統(tǒng)生物學(xué)、氣候科學(xué)、宇宙學(xué)研究、高分子化學(xué)與材料等。除了科學(xué)之外,Aurora genAI 模型還可能用于其他領(lǐng)域,如金融建模、自然語言處理、機器翻譯、圖像識別和語音識別等。 

計劃 2024 年完成 

除此之外,有關(guān) Aurora genAI 模型的更多信息英特爾尚未劇透,不過據(jù)外媒報道,英特爾計劃在 2024 年開發(fā)和完成 Aurora genAI 模型——如果進展順利,或許我們等待的時間并不會太久。

這一消息的發(fā)布,引來了不少人的關(guān)注,而英特爾入局 AI 大模型即宣布 1 萬億參數(shù)起步,更是令人期待未來 GPT-4 等競品的發(fā)展:

“萬億參數(shù)應(yīng)該是一個特殊的極限,但你也可以持懷疑態(tài)度,說這只是一個需要關(guān)注的巨大整數(shù)。毫無疑問,如果此模型類似于 GPT-4,這將增加一個數(shù)據(jù)點。但隨著各大公司宣布這個又宣布那個,我想知道我們是否會在 6 月達到頂峰?！?/p>

 “人們正在使用 H100 構(gòu)建新系統(tǒng),并且已經(jīng)有明顯更好的 AI GPU 了,如果這種情況繼續(xù)下去,NVIDIA 可能需要盡快宣布新卡以保持更好地位?！?/p>

 “我猜 GPT-4 很快就不會在許多基準測試中繼續(xù)保持 SOTA(state of the art,指在特定任務(wù)中目前表現(xiàn)更好的方法或模型)了,或許未來它也將在世界上Z*快的超級計算機上進行訓(xùn)練。作為參考,OpenAI 超級計算機擁有大約 10000 個 GPU,而 Aurora 有 63744 個 GPU?！?/p>