魚羊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

最強開源大模型Llama2，性能更進一步~

【資料圖】

7B、13B、70B三個版本全都有，均可以直接調(diào)用部署。

你可能想不到的是，這波操作還是百度搞出來的。

最新消息，百度智能云千帆大模型平臺又雙叒升級了，這回還悄然變身國內(nèi)擁有最多大模型的平臺：

不僅能跑文心大模型，Llama2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等共33個大模型也已全面接入。

還都是經(jīng)過性能、安全雙重增強的那種——

通過優(yōu)化模型吞吐、降低模型尺寸，實測調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理成本最多可降低50%。百度智能云還基于自身安全積累，完成了二次安全增強。

于是，一聽說千帆大模型平臺已經(jīng)開放申請測試，我們趕緊第一時間上手體驗了一把。

有意思的是，我們親測發(fā)現(xiàn)，這波更新之后，用大模型的門檻還肉眼可見越來越低了。

大模型數(shù)量國內(nèi)第一，還是“千帆優(yōu)選”

如果你還沒搞清楚“千帆大模型平臺”究竟是什么，那么可以簡單這樣理解：

一個支持各種大模型開發(fā)部署的“煉丹爐”。

在千帆這個一站式大模型平臺上，企業(yè)用戶可以按照自身的需求，直接把大模型接入自家應(yīng)用，或者干脆重新訓(xùn)練、調(diào)優(yōu)出一個屬于自己的大模型。

正如前文所言，為了滿足企業(yè)對大模型多樣的需求，千帆大模型平臺除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個大模型。

從后臺界面可以看出，從數(shù)據(jù)服務(wù)，到大模型訓(xùn)練，再到大模型的評估、測試、部署，千帆都提供了完整的開發(fā)和應(yīng)用工具鏈。

在“模型倉庫”中的預(yù)置模型中，可以找到文心大模型、BLOOMZ-7B和此番更新的全部第三方大模型，一鍵就能開始部署。

辣么問題來了，其中不少都是開源模型，在千帆上調(diào)用跟直接拿代碼用相比，有啥好處？

直白一點說，就是便宜、易用，“千帆優(yōu)選”。

首先，在諸多開源大模型中，并不是每一個都效果理想，有可商用協(xié)議。而對上線千帆平臺的第三方模型，百度都會事先完成測試驗證，確保模型在效果、安全性、可商用三個方面的可靠性。

其次，百度會提前對第三方模型進行性能增強。具體而言，是通過優(yōu)化模型吞吐、降低模型尺寸，實現(xiàn)模型推理速度的大幅提升。

根據(jù)百度的測算，調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理成本最多可降低50%。

實際上，推理恰恰是大模型應(yīng)用階段的算力消耗大戶。量子位智庫認為，隨著大模型訓(xùn)練階段完成，未來AI服務(wù)器的主要需求將向推理側(cè)轉(zhuǎn)移。IDC的預(yù)測則顯示，到2026年，AIGC的算力62.2%將作用于模型推理。

再者，調(diào)用開源模型很大的一個問題就是，在安全合規(guī)方面不能滿足國內(nèi)的需求。為此，千帆對第三方大模型做了二次安全增強，接入了百度多年來在安全上的積累。另外百度也保證，客戶在千帆上調(diào)用第三方模型，享有平臺的安全保障。

最后，如果有進一步調(diào)優(yōu)大模型的需求，那么在千帆這樣的平臺上，各個環(huán)節(jié)都集成了低門檻工具，上手十分方便，包括數(shù)據(jù)的標注、處理、回流，SFT（全量參數(shù)微調(diào)、P-tuning、LoRA）、RLHF等調(diào)優(yōu)方法，以及大模型的評估、壓縮、測試、部署等。

此前，百度智能云就曾在技術(shù)交流活動中現(xiàn)場上演10分鐘微調(diào)大模型。

不會提示工程也能上手大模型

值得一提的是，在此番更新之后，百度智能云還上線了Prompt模板庫，長這樣：

關(guān)注大模型的小伙伴們想來沒少聽說過“提示工程”這個詞。所謂提示（Prompt）工程，就是通過聊天提問的方式，來影響大模型輸出內(nèi)容的質(zhì)量。

也就是說，只要你的提問技巧夠高明，在不耗費大量資源更新模型權(quán)重（微調(diào)）的情況下，也能讓大模型的回答質(zhì)量更上一層樓。

不過雖說是“聊天”，但針對大模型的提問，那絕對是項技術(shù)活兒。吳恩達老師就專門出過有關(guān)提示工程的課程。

而千帆平臺的這個Prompt模板功能，實際上就是幫你在不熟悉提示工程的情況下，也能快速玩轉(zhuǎn)大模型。

比如讓某開源大模型幫忙推薦菜譜。

如果只是告訴它：想吃辣。

生成的回答是這樣的：

沒什么毛病但有點簡略。這個時候就可以一鍵引用千帆模型庫里的“廚師”模板：

我想讓你充當我的私人廚師。我將告訴你我的飲食偏好和過敏癥，你將建議我嘗試的食譜。你應(yīng)該只回復(fù)你推薦的菜譜，而不是其他。不要寫解釋。想吃辣。

就能得到一份更為詳細的建議：

目前，千帆共預(yù)置了103款Prompt模板，覆蓋對話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個場景。

看來，很多問題不是大模型不會，是我問的不對

。

待你“參透”這些咒語的通用規(guī)律，比如設(shè)定角色、細化要求，還可以在千帆上自制模板，方便測試效果和復(fù)用。

千帆大模型平臺研發(fā)團隊認為，很多企業(yè)使用大模型時，覺得效果不好是模型本身的問題。但其實很多情況下，企業(yè)無需花費大量資源調(diào)優(yōu)大模型，基于模板優(yōu)化Prompt，即可得到滿意的模型效果。

工程師們還向我們透露，根據(jù)調(diào)研，隨著大模型能力的逐漸增強，越來越多的中小企業(yè)逐漸由監(jiān)督微調(diào)改為直接調(diào)用大模型。因此如何通過優(yōu)化跟大模型對話的方式，讓大模型輸出更好的內(nèi)容，其實正是大模型落地探索過程中的一大痛點。

千帆上線海量Prompt模板，實際上就降低了企業(yè)應(yīng)用大模型的門檻。

大模型應(yīng)用門檻正在降低

不難看出，千帆這波大更新，主打的就是一個簡單易用。

事實上，當大模型走過最初的技術(shù)狂熱，真正來到探索應(yīng)用的階段，不僅是大模型正在激發(fā)全新的應(yīng)用創(chuàng)新，越來越多傳統(tǒng)行業(yè)也在積極融入大模型生態(tài)。

而在這個過程中，無論是前者還是后者，對于降低大模型的使用門檻，都有著迫切的需求。

千帆工程師也表示，從百度自身的實踐上來看，大模型最終要達到好的應(yīng)用效果，除了基礎(chǔ)模型本身的能力之外，更重要的是要“找到場景”。而只有降低門檻，才能讓更多專業(yè)的人把精力聚焦到對場景的理解和場景的應(yīng)用之上。

千帆大模型平臺，如今正是在這一方向上持續(xù)打樣。

這一方面是因為百度在打造文心大模型的過程中，對大模型技術(shù)本身有更深入的理解。

另一方面，在3月份率先發(fā)布國產(chǎn)大語言模型之后，百度是國內(nèi)“目前接觸用戶/開發(fā)者最多的大語言模型廠商”，手握國內(nèi)最豐富的大模型客戶測試經(jīng)驗，對于行業(yè)當下所面臨的痛點，有著更明確的認識。

甚至可以說，在國內(nèi)的一眾大模型廠商中，百度無疑擁有從數(shù)據(jù)，到算力，到算法再到實踐經(jīng)驗的最全大模型生成資料。

如今，百度不僅局限于自己打造大模型，還正在把越來越多第三方大模型做進基礎(chǔ)設(shè)施，并不斷降低基礎(chǔ)設(shè)施的使用門檻。

在搜索時代的“百度一下”，或許也將在大模型時代，通過千帆賦予新的意義——

現(xiàn)在接觸大模型，最直接的方式還是：百度一下。

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)鍵詞：