“我們今天只是剛剛打開生成式AI的一扇門，未來有多遠(yuǎn)，風(fēng)景有多優(yōu)美，目前都還未知。但大家基本上認(rèn)可這個大門已經(jīng)打開了，未來還有足夠大的創(chuàng)新空間，因此我認(rèn)為還沒有到定義中國大模型意義的階段。”近日，在浪潮信息大模型智算軟件棧的發(fā)布會上，浪潮信息高級副總裁劉軍如是表示。

(資料圖片)

圖丨浪潮信息高級副總裁劉軍

隨著AIGC技術(shù)的不斷演進(jìn)，人工智能正在朝著通用性的方向發(fā)展和更新。和狹義上所說的人工智能不同，通用人工智能的核心在于，擁有像人類一樣的邏輯理解能力和工具使用能力，從而實(shí)現(xiàn)跨領(lǐng)域、跨任務(wù)和跨模態(tài)工作的目標(biāo)。

如今，以ChatGPT為代表的大語言模型，為通用人工智能的發(fā)展帶來了技術(shù)源動力。其能基于巨量的數(shù)據(jù)和復(fù)雜的訓(xùn)練方式進(jìn)行訓(xùn)練，并以此提高自身的學(xué)習(xí)能力和泛化能力，進(jìn)而實(shí)現(xiàn)在邏輯推理能力和涌現(xiàn)能力等方面的爆發(fā)，這是跨時代的意義。

因此，要想進(jìn)一步推動通用人工智能的發(fā)展，必須在功能強(qiáng)大的大模型的基礎(chǔ)之上，提升其邏輯推理能力。與此同時，由于充沛的算力是發(fā)展大模型的前提，所以如何高效地利用算力、釋放算力價值，便成為了助推大模型發(fā)展的關(guān)鍵。

發(fā)布大模型智算軟件棧，為大模型開發(fā)和落地打造高效生產(chǎn)力

在浪潮信息看來，“開發(fā)大模型是一項(xiàng)復(fù)雜的系統(tǒng)工程，既要授之以魚，也要授之以漁”。尤其是對于那些深入布局大模型、重視打造自身核心競爭力的企業(yè)來說，更是需要綜合考量一系列問題，包括對算力系統(tǒng)的部署和優(yōu)化，采集、清洗和處理數(shù)據(jù)，以及訓(xùn)練、推理、遷移模型等。

基于此，本著幫助企業(yè)在更省時省力的條件下，訓(xùn)練出更快、更穩(wěn)、更智能的大模型的初心，浪潮信息在本次會上正式發(fā)布大模型智算軟件棧OGAI（Open GenAI Infra）“元腦生智”。

圖丨浪潮信息大模型智算軟件棧發(fā)布

據(jù)介紹，OGAI能為大模型業(yè)務(wù)提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度及開發(fā)管理能力的全棧全流程的智算軟件棧，旨在為大模型開發(fā)和應(yīng)用打造高效的生產(chǎn)力，以加速生成式AI產(chǎn)業(yè)創(chuàng)新步伐。

客觀來看，在云計(jì)算時代，購買云計(jì)算服務(wù)與直接購買設(shè)備，就客戶而言，只是財(cái)務(wù)投資模型不一樣，但路徑都是相通的。但大模型時代的算力需求則不同，目前大模型研發(fā)已經(jīng)進(jìn)入萬卡時代，人工智能算力資源已經(jīng)成為大模型行業(yè)巨大的進(jìn)入門檻。

就如浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Owen ZHU在會后的訪談中表示：“訓(xùn)練大模型的算力平臺并不是算力的簡單堆積，隨著模型的規(guī)模越來越大，單卡算力與模型總算力需求之間存在著巨大的差異。因此我們希望在提供硬件的基礎(chǔ)上，進(jìn)一步幫助客戶解決大模型生產(chǎn)可能會遇到的問題。 OGAI正是如此應(yīng)運(yùn)而生：讓煉大模型省時、省力，讓大模型更快、更穩(wěn)、更智能，助力百模真正實(shí)現(xiàn)“競速AIGC”。

圖丨大模型智算軟件棧

詳細(xì)來說，該產(chǎn)品包含以下幾層：

第一，L0基礎(chǔ)設(shè)施層，也即智算中心OS。它能提供多租戶、裸金屬的AI算力運(yùn)營運(yùn)維支撐平臺。其中，高效的裸金屬服務(wù)支持分鐘級部署上千規(guī)模裸金屬節(jié)點(diǎn)并按需進(jìn)行彈性擴(kuò)展，實(shí)現(xiàn)異構(gòu)計(jì)算芯片、IB、RoCE高速網(wǎng)絡(luò)、高性能存儲等環(huán)境一鍵獲取，并實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)、數(shù)據(jù)隔離以保障業(yè)務(wù)安全。

第二，L1系統(tǒng)環(huán)境層，也即PODsys。它能提供開源、高效、兼容、易用的智算集群系統(tǒng)環(huán)境部署方案，實(shí)現(xiàn)自動化部署和彈性擴(kuò)展，并提高系統(tǒng)的可用性和擴(kuò)展性，幫助用戶在該環(huán)境下搭建大模型。

第三，L2調(diào)度平臺層，也即AIStation。作為面向大模型開發(fā)的商業(yè)化人工智能算力調(diào)度平臺，針對大模型訓(xùn)練中常見的訓(xùn)練中斷難題，可實(shí)現(xiàn)訓(xùn)練異常快速定位，斷點(diǎn)自動續(xù)訓(xùn)。通俗地說，這一層能夠幫助用戶在動輒數(shù)周至數(shù)月的訓(xùn)練時長下，避免因硬件設(shè)備失效而帶來的效率損失問題，進(jìn)而大幅提高模型訓(xùn)練的生產(chǎn)力。

第四，L3模型工具層，也即YLink。它能提供經(jīng)過驗(yàn)證的數(shù)據(jù)治理、大模型預(yù)訓(xùn)練和微調(diào)開發(fā)工具鏈，助力用戶降低模型開發(fā)和落地的門檻。

第五，L4多模納管層，也即MModel。它能作為多模型管理與服務(wù)平臺，能夠幫助用戶更好地管理和評估模型，加速模型的部署和應(yīng)用。

當(dāng)下，不管是自己開發(fā)大模型，還是用戶采用第三方模型適配私有數(shù)據(jù)都會遇到一個問題，那就是不存在只用一家模型的情況，會在驗(yàn)證多家模型的過程中，找到最適合的求解。而L4層便能夠幫助用戶解決這一問題。

Owen ZHU說：“總的來說，我們針對每一層提煉了在這樣一個作業(yè)環(huán)境下看到的關(guān)鍵問題，并通過自身在大模型方面的實(shí)踐與服務(wù)客戶的專業(yè)經(jīng)驗(yàn)，來開發(fā)一些軟件和對應(yīng)的方案，幫助用戶實(shí)現(xiàn)效率提升。”

圖丨浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Owen ZHU

“希望大模型不再是陽春白雪的技術(shù)”

自2022年年底大模型熱潮掀起以來，該領(lǐng)域的從業(yè)者便一直在孜孜不倦地推動大模型通用能力的提升。在此基礎(chǔ)上，其也在積極探索大模型的場景應(yīng)用落地。

但在布局上，目前還存在一定的局限性。這是因?yàn)椋菏紫龋竽Ｐ偷挠?xùn)練數(shù)據(jù)主要源于公開數(shù)據(jù)集或網(wǎng)絡(luò)數(shù)據(jù)，特定行業(yè)的專業(yè)數(shù)據(jù)較為有限；其次，大模型的訓(xùn)練需要大量計(jì)算資源，并經(jīng)歷較長的訓(xùn)練周期，對于大模型開發(fā)者和企業(yè)用戶來說耗時耗力。

為了破解應(yīng)用落地過程中的痛點(diǎn)需求，未來，浪潮信息也將依托元腦生態(tài)，聚合產(chǎn)業(yè)左手伙伴（大模型公司和AI科技公司），提供了一站式行業(yè)/領(lǐng)域大模型解決方案，包括模型預(yù)訓(xùn)練和微調(diào)等，以助力右手服務(wù)型伙伴（系統(tǒng)集成商和軟件開發(fā)商）提升大模型行業(yè)解決方案交付服務(wù)能力，進(jìn)而幫助企業(yè)客戶快速打造專屬大模型。此外，也可以滿足客戶基于自身業(yè)務(wù)場景需求，按需定制不同規(guī)模和場景的模型服務(wù)。

Owen ZHU在會后表示：“從浪潮信息的立場來說，我們的愿景是希望大模型不再是陽春白雪的技術(shù)，不再只有少數(shù)科技公司和企業(yè)才能夠玩得起、用得起。通過OGAI,我們希望其能成為一種更普適化的技術(shù)，讓我們的客戶或所有客戶都能使用大模型，并且用好大模型。”

“助百模，智千行。 基于元腦生態(tài)，左右手伙伴可以彼此攜手，實(shí)現(xiàn)一個N×M的效應(yīng)，進(jìn)而使得模型伙伴領(lǐng)先的能力得到快速落地。”劉軍進(jìn)一步解釋了業(yè)內(nèi)關(guān)心的OGAI未來助力AIGC產(chǎn)業(yè)化落地的路徑。

事實(shí)上，在大模型領(lǐng)域，浪潮信息早已開始布局。作為業(yè)界率先推出大模型的企業(yè)之一，其于2021年發(fā)布了參數(shù)規(guī)模高達(dá)2457億的中文AI巨量模型“源1.0”。

在算力效率層面，源1.0采用張量并行、流水線并行和數(shù)據(jù)并行的三維并行策略，提出面向效率和精度優(yōu)化的大模型結(jié)構(gòu)協(xié)調(diào)設(shè)計(jì)方案，將算力效率提到45%的水平。在數(shù)據(jù)訓(xùn)練方面，建立端到端數(shù)據(jù)工作流程，通過對866TB海量數(shù)據(jù)的清洗，獲得5TB高質(zhì)量中文數(shù)據(jù)集。

據(jù)了解，該模型在語言智能方面表現(xiàn)優(yōu)異，曾獲得中文語言理解評測基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類總榜冠軍。

目前，基于“源”大模型的能力，以及深度融合復(fù)雜的服務(wù)場景，浪潮信息已在多個領(lǐng)域?qū)崿F(xiàn)引領(lǐng)大模型的行業(yè)應(yīng)用，比如，智能客服、智慧政務(wù)、智能文創(chuàng)等領(lǐng)域。

在智能客服領(lǐng)域，浪潮信息開發(fā)了智能客服大腦“源曉服”，能通過對知識庫的自主學(xué)習(xí)，達(dá)到覆蓋終端用戶92%的咨詢問題，并將復(fù)雜技術(shù)咨詢的業(yè)務(wù)處理時長降低65%，從而實(shí)現(xiàn)高達(dá)160%的整體服務(wù)效率。

在智慧政務(wù)領(lǐng)域，浪潮信息打造了AI社區(qū)助理“臨小助”，為基層社區(qū)工作者提供一對一群眾工作能力培訓(xùn)。據(jù)悉，目前，該產(chǎn)品已投入使用，并在某高頻場景下，幫助社區(qū)工作者的學(xué)習(xí)效率實(shí)現(xiàn)5倍的提升。

另外，浪潮信息還推出了“源1.0”開源開放計(jì)劃，為開發(fā)者快速孵化出更多創(chuàng)新應(yīng)用提供助力。據(jù)介紹，目前其已開放模型API、工具鏈、數(shù)據(jù)集，構(gòu)建了開發(fā)者社區(qū)生態(tài)，并匯集將近萬名的開發(fā)者。

為未來大模型更高效、更良性的發(fā)展尋找最優(yōu)解。正是基于這樣的出發(fā)點(diǎn)，浪潮信息具備工程經(jīng)驗(yàn)，也擁有從算力、軟件棧等各個層面推動大模型高效發(fā)展的能力。從這個角度看，OGAI的推出正是最好的回答。

關(guān)鍵詞：