(相關(guān)資料圖)
微軟研究人員推出了名為ZeRO++的新系統(tǒng)，用于優(yōu)化訓(xùn)練大型AI模型，以應(yīng)對高數(shù)據(jù)傳輸開銷和有限帶寬的難題。
ZeRO++ 建立在現(xiàn)有的 ZeRO 優(yōu)化的基礎(chǔ)上，并提供增強的通信策略，以提高訓(xùn)練效率，減少訓(xùn)練時間和成本。
像Turing-NLG、ChatGPT和GPT-4這樣的大型模型的訓(xùn)練需要跨多個GPU設(shè)備占用大量內(nèi)存和計算資源。DeepSpeed開發(fā)的ZeRO++引入了通信優(yōu)化策略，以克服在每個GPU上批量大小較小時或在低帶寬集群上進行訓(xùn)練時ZeRO的限制。
ZeRO優(yōu)化系列包括ZeRO-Inference，它使用GPU的集體內(nèi)存和計算能力，將模型狀態(tài)分割在多個GPU之間。然而，在訓(xùn)練過程中，ZeRO可能會產(chǎn)生較高的通信開銷。ZeRO++通過整合三組通信優(yōu)化來解決這個問題:量化權(quán)重通信（qwZ）、分層權(quán)重分割(hpZ)和量化梯度通信(qgZ)。
為了減少參數(shù)通信量，ZeRO++對權(quán)重進行量化，利用基于塊的量化方法來保持訓(xùn)練精度。這種優(yōu)化的量化過程比基本量化更快更準確。為了在反向傳播過程中盡量減少通信開銷，ZeRO++通過在每臺機器上保持完整的模型副本，以 GPU 內(nèi)存換取通信。梯度通信方面，ZeRO++引入了一種新的量化梯度通信范式 qgZ，可以減少跨節(jié)點的流量和延遲。
這些通信優(yōu)化大大減少了通信量。與ZeRO相比，ZeRO++實現(xiàn)了減少高達4倍的通信量，提高了訓(xùn)練吞吐量和效率。當(dāng)在每個GPU上使用小批量大小時，在高帶寬集群中，ZeRO++相比ZeRO-3的吞吐量提高了28%至36%。在低帶寬集群中，與ZeRO-3相比，ZeRO++實現(xiàn)了平均2倍的加速，使得大模型訓(xùn)練在更多種類的集群上更為可行。
ZeRO++不僅限于訓(xùn)練場景，還可應(yīng)用于對話模型中使用的人類反饋強化學(xué)習(xí)（RLHF）訓(xùn)練。通過將ZeRO++與DeepSpeed-Chat集成，RLHF訓(xùn)練可以獲得更好的生成和訓(xùn)練吞吐量，生成吞吐量提高了高達2.25倍，訓(xùn)練吞吐量提高了1.26倍，超過了ZeRO。
DeepSpeed已經(jīng)發(fā)布了ZeRO++，以使大型模型的訓(xùn)練在AI社區(qū)更加高效和可訪問。該系統(tǒng)旨在加快訓(xùn)練速度，減少通信開銷，并實現(xiàn)更大的批量大小，從而節(jié)省時間和資源。研究人員和實踐者可以利用ZeRO++更有效地訓(xùn)練像ChatGPT這樣的模型，并在AI領(lǐng)域探索新的可能性。
來源：站長之家
標(biāo)簽：
最近發(fā)布的一份網(wǎng)售移動電源產(chǎn)品質(zhì)量監(jiān)督抽查結(jié)果顯示，不合格率高達35
中新網(wǎng)新疆新聞6月26日電（黃萬里）6月25日，記者在庫爾勒市49號小區(qū)牛
6月26日，A股電力板塊活躍，閩東電力（000993 SZ）漲停。今年6月以來，
6月26日上午10時，海珠區(qū)教育局舉行了2023年公辦初中電腦派位，本次派
為進一步加強禁毒宣傳力度，提升轄區(qū)群眾禁毒意識，增強群眾識毒、防毒
短線是個力氣活，做久了就不行了，身體吃不消。但高樓平地起，日內(nèi)短線
追蹤市場熱點，歡迎關(guān)注中新經(jīng)緯《董秘請回答》欄目中新經(jīng)緯6月26日電(
1、我有隨機購買附帶的光盤軟件~~使用可以遠程指導(dǎo)。本文就為大家分享
1、再見的意思從日語的發(fā)音而來。2、日語再見的大概發(fā)音是-撒油那拉。3
加時賽兩隊都錯失了絕佳機會，沒能改寫比分。最終，神戶勝利船以總比分
全球速遞！即墨禹洲朗廷府精裝交付一
據(jù)青島網(wǎng)絡(luò)電視臺生活在線欄目報道，王女士反映，交房都一年了，房子里
焦點熱議:買來二手特斯拉發(fā)現(xiàn)已是第
閑魚平臺顯示一手車未過戶。(來源：閑魚截圖)信網(wǎng)6月25日訊（記者陸彥
用私人微信聯(lián)系客戶被辭退 員工在中
張女士的相關(guān)工作記錄照片(來源：受訪者)信網(wǎng)6月25日訊（見習(xí)記者耿潤
記者持續(xù)跟拍一年，跨海大橋高架路二
即將通車的跨海大橋高架路二期跨海大橋高架路一期西起膠州灣大橋李村河
風(fēng)雨相伴 世界看點
6月25日傍晚，島城下起了小雨。風(fēng)力開始逐漸增大，路上行人打傘頂風(fēng)前
環(huán)球觀熱點：哈卡達品牌戰(zhàn)略升級，為
潮新聞客戶端通訊員姚夢婷6月25日，“嬰愛相遇、超能陪伴”哈卡達2023
保障達沃斯順利舉行 天津公路全面提
記者從天津市交通運輸委獲悉，天津夏季達沃斯論壇將于6月27日至6月29日
新能源迎來爆發(fā)性增長 綠色微電網(wǎng)風(fēng)
光伏、風(fēng)電等新能源綠色清潔，取之不盡，用之不竭，但也存在著諸多應(yīng)用
東方紅資管周楊：制造業(yè)正經(jīng)歷變革
嘉賓介紹：周楊，東方紅資產(chǎn)管理公募權(quán)益投資部基金經(jīng)理，超過7年研究
筆記本連接投影儀使用方法
連接首先，將筆記本電腦和投影儀連接。一般來說，這可以通過HDMI、VGA
山東臨邑：踐行新時代楓橋經(jīng)驗 讓平
光明網(wǎng)記者孫滿桃村民高某和王某因為一塊宅基地歸屬發(fā)生爭議，高某一氣
夜讀 | 期貨日內(nèi)交易實戰(zhàn)技法：日
短線是個力氣活，做久了就不行了，身體吃不消。但高樓平地起，日內(nèi)短線
世界視點！甩袖子_關(guān)于甩袖子介紹
甩袖子，關(guān)于甩袖子介紹這個很多人還不知道,我們一起來看看！1、甩袖子
電影《封神第一部》發(fā)布四款制式海報
中國首部國民神話史詩電影《封神第一部》發(fā)布IMAX、CINITY、中國巨幕、
理財產(chǎn)品“踩剎車”？債市不具備大跌
“最近買的理財產(chǎn)品收益又開始下降了，高峰期每天有10塊多的收益，這周
身體被掏空！米蘭中場只剩4人可用，
今年夏窗，AC米蘭在紅鳥財團的一波迷之操作下墜入深淵，他們解聘傳奇、
環(huán)球滾動:薇婭助力國貨品牌彎道超車
日前，朋友圈一則新聞引起了筆者的關(guān)注。新消費品牌“鋒味派”登上杭州
漢朝之后是什么朝代
1、這個國家在漢朝末期解體了。2、公元年，曹丕迫使東漢末代皇帝劉勰向
新化縣爐觀鎮(zhèn)開展“6.26”國際禁毒日
為進一步加強禁毒宣傳力度，提升轄區(qū)群眾禁毒意識，增強群眾識毒、防毒
張勇：「構(gòu)建安全可信的人工智能」逐
阿里云智能集團董事長兼首席執(zhí)行官張勇在會上表示，人工智能技術(shù)在中國
【熱聞】漢代甘泉宮到未央多遠_漢代
1、甘泉宮位于咸陽市北部，遠離咸陽市區(qū)的淳化縣王鐵鄉(xiāng)梁武帝村。2、甘
微資訊！何小鵬開 G6 親測 XNGP：
前有余承東上海街頭親測問界M5智駕版，今有何小鵬駕駛G6在廣州試XNGP。
三百斤荔枝拍出四萬元高價！東莞大朗
為提升大朗荔枝品牌知名度、辨識度和影響力，推進大朗荔枝產(chǎn)業(yè)的發(fā)展，
環(huán)球快報:文班：隊友曾互賭1000美元
文班亞馬此前做客《TheOldMan&TheThree》播客節(jié)目時談到了自己在賽場上
世界報道:漢朝有哪些皇帝列表_漢朝有
1、漢朝的皇帝有：漢高祖劉邦、惠帝劉英、劉文嫡恒、景帝劉啟、武帝劉
太陽有意哈里斯但76人不要艾頓？太陽
據(jù)《費城問詢報》記者KeithPompey日前報道，數(shù)位消息人士表示，太陽希
13個月寫就重要“一橫”！跨海大橋高
經(jīng)過13個月的緊鑼密鼓建設(shè)，25日零時，備受市民關(guān)注的跨海大橋高架路二
華信永道北交所 IPO 開啟申購：發(fā)
北交所打新股華信永道（837592）將于6月26日申購，發(fā)行價為10 38元 股
農(nóng)發(fā)行肇慶市分行成功營銷1.792億元
本報訊記者李美麗報道6月13日，廣東省肇慶市財政局在農(nóng)發(fā)行肇慶市分行
風(fēng)雨相伴 世界看點
6月25日傍晚，島城下起了小雨。風(fēng)力開始逐漸增大，路上行人打傘頂風(fēng)前