(相關資料圖)
微軟研究人員推出了名為ZeRO++的新系統，用于優化訓練大型AI模型，以應對高數據傳輸開銷和有限帶寬的難題。
ZeRO++ 建立在現有的 ZeRO 優化的基礎上，并提供增強的通信策略，以提高訓練效率，減少訓練時間和成本。
像Turing-NLG、ChatGPT和GPT-4這樣的大型模型的訓練需要跨多個GPU設備占用大量內存和計算資源。DeepSpeed開發的ZeRO++引入了通信優化策略，以克服在每個GPU上批量大小較小時或在低帶寬集群上進行訓練時ZeRO的限制。
ZeRO優化系列包括ZeRO-Inference，它使用GPU的集體內存和計算能力，將模型狀態分割在多個GPU之間。然而，在訓練過程中，ZeRO可能會產生較高的通信開銷。ZeRO++通過整合三組通信優化來解決這個問題:量化權重通信（qwZ）、分層權重分割(hpZ)和量化梯度通信(qgZ)。
為了減少參數通信量，ZeRO++對權重進行量化，利用基于塊的量化方法來保持訓練精度。這種優化的量化過程比基本量化更快更準確。為了在反向傳播過程中盡量減少通信開銷，ZeRO++通過在每臺機器上保持完整的模型副本，以 GPU 內存換取通信。梯度通信方面，ZeRO++引入了一種新的量化梯度通信范式 qgZ，可以減少跨節點的流量和延遲。
這些通信優化大大減少了通信量。與ZeRO相比，ZeRO++實現了減少高達4倍的通信量，提高了訓練吞吐量和效率。當在每個GPU上使用小批量大小時，在高帶寬集群中，ZeRO++相比ZeRO-3的吞吐量提高了28%至36%。在低帶寬集群中，與ZeRO-3相比，ZeRO++實現了平均2倍的加速，使得大模型訓練在更多種類的集群上更為可行。
ZeRO++不僅限于訓練場景，還可應用于對話模型中使用的人類反饋強化學習（RLHF）訓練。通過將ZeRO++與DeepSpeed-Chat集成，RLHF訓練可以獲得更好的生成和訓練吞吐量，生成吞吐量提高了高達2.25倍，訓練吞吐量提高了1.26倍，超過了ZeRO。
DeepSpeed已經發布了ZeRO++，以使大型模型的訓練在AI社區更加高效和可訪問。該系統旨在加快訓練速度，減少通信開銷，并實現更大的批量大小，從而節省時間和資源。研究人員和實踐者可以利用ZeRO++更有效地訓練像ChatGPT這樣的模型，并在AI領域探索新的可能性。
來源：站長之家
標簽：
最近發布的一份網售移動電源產品質量監督抽查結果顯示，不合格率高達35
中新網新疆新聞6月26日電（黃萬里）6月25日，記者在庫爾勒市49號小區牛
6月26日，A股電力板塊活躍，閩東電力（000993 SZ）漲停。今年6月以來，
6月26日上午10時，海珠區教育局舉行了2023年公辦初中電腦派位，本次派
為進一步加強禁毒宣傳力度，提升轄區群眾禁毒意識，增強群眾識毒、防毒
短線是個力氣活，做久了就不行了，身體吃不消。但高樓平地起，日內短線
追蹤市場熱點，歡迎關注中新經緯《董秘請回答》欄目中新經緯6月26日電(
1、我有隨機購買附帶的光盤軟件~~使用可以遠程指導。本文就為大家分享
1、再見的意思從日語的發音而來。2、日語再見的大概發音是-撒油那拉。3
加時賽兩隊都錯失了絕佳機會，沒能改寫比分。最終，神戶勝利船以總比分
環球觀熱點：哈卡達品牌戰略升級，為
潮新聞客戶端通訊員姚夢婷6月25日，“嬰愛相遇、超能陪伴”哈卡達2023
保障達沃斯順利舉行 天津公路全面提
記者從天津市交通運輸委獲悉，天津夏季達沃斯論壇將于6月27日至6月29日
新能源迎來爆發性增長 綠色微電網風
光伏、風電等新能源綠色清潔，取之不盡，用之不竭，但也存在著諸多應用
東方紅資管周楊：制造業正經歷變革
嘉賓介紹：周楊，東方紅資產管理公募權益投資部基金經理，超過7年研究
筆記本連接投影儀使用方法
連接首先，將筆記本電腦和投影儀連接。一般來說，這可以通過HDMI、VGA
山東臨邑：踐行新時代楓橋經驗 讓平
光明網記者孫滿桃村民高某和王某因為一塊宅基地歸屬發生爭議，高某一氣
夜讀 | 期貨日內交易實戰技法：日
短線是個力氣活，做久了就不行了，身體吃不消。但高樓平地起，日內短線
世界視點！甩袖子_關于甩袖子介紹
甩袖子，關于甩袖子介紹這個很多人還不知道,我們一起來看看！1、甩袖子
電影《封神第一部》發布四款制式海報
中國首部國民神話史詩電影《封神第一部》發布IMAX、CINITY、中國巨幕、
理財產品“踩剎車”？債市不具備大跌
“最近買的理財產品收益又開始下降了，高峰期每天有10塊多的收益，這周
身體被掏空！米蘭中場只剩4人可用，
今年夏窗，AC米蘭在紅鳥財團的一波迷之操作下墜入深淵，他們解聘傳奇、
環球滾動:薇婭助力國貨品牌彎道超車
日前，朋友圈一則新聞引起了筆者的關注。新消費品牌“鋒味派”登上杭州
漢朝之后是什么朝代
1、這個國家在漢朝末期解體了。2、公元年，曹丕迫使東漢末代皇帝劉勰向
新化縣爐觀鎮開展“6.26”國際禁毒日
為進一步加強禁毒宣傳力度，提升轄區群眾禁毒意識，增強群眾識毒、防毒
張勇：「構建安全可信的人工智能」逐
阿里云智能集團董事長兼首席執行官張勇在會上表示，人工智能技術在中國
【熱聞】漢代甘泉宮到未央多遠_漢代
1、甘泉宮位于咸陽市北部，遠離咸陽市區的淳化縣王鐵鄉梁武帝村。2、甘
微資訊！何小鵬開 G6 親測 XNGP：
前有余承東上海街頭親測問界M5智駕版，今有何小鵬駕駛G6在廣州試XNGP。
三百斤荔枝拍出四萬元高價！東莞大朗
為提升大朗荔枝品牌知名度、辨識度和影響力，推進大朗荔枝產業的發展，
環球快報:文班：隊友曾互賭1000美元
文班亞馬此前做客《TheOldMan&TheThree》播客節目時談到了自己在賽場上
世界報道:漢朝有哪些皇帝列表_漢朝有
1、漢朝的皇帝有：漢高祖劉邦、惠帝劉英、劉文嫡恒、景帝劉啟、武帝劉
太陽有意哈里斯但76人不要艾頓？太陽
據《費城問詢報》記者KeithPompey日前報道，數位消息人士表示，太陽希
13個月寫就重要“一橫”！跨海大橋高
經過13個月的緊鑼密鼓建設，25日零時，備受市民關注的跨海大橋高架路二
華信永道北交所 IPO 開啟申購：發
北交所打新股華信永道（837592）將于6月26日申購，發行價為10 38元 股
農發行肇慶市分行成功營銷1.792億元
本報訊記者李美麗報道6月13日，廣東省肇慶市財政局在農發行肇慶市分行
風雨相伴 世界看點
6月25日傍晚，島城下起了小雨。風力開始逐漸增大，路上行人打傘頂風前
