近日,阿里云提出的計算池化解決方案“Aegaeon ”成功入選頂級學術會議SOSP 2025 ,該方案可解決AI模型服務中普遍存在的GPU資源浪費問題,大幅提升GPU資源利用率,目前其核心技術已應用在阿里云百煉平臺。
SOSP(操作系統(tǒng)原理研討會)由ACM SIGOPS主辦 ,是計算機系統(tǒng)領域頂級學術會議,平均每年收錄的論文數(shù)量僅有數(shù)十篇,被譽為計算機操作系統(tǒng)界的“奧斯卡” ,入選論文代表了操作系統(tǒng)和軟件領域最具代表的研究成果 。本屆SOSP大會上,系統(tǒng)軟件與AI大模型技術的融合成為新的趨勢。
數(shù)據(jù)顯示,在阿里云模型市場為期超三個月的Beta測試中 ,Aegaeon系統(tǒng)在服務數(shù)十個參數(shù)量高達720億的大模型時,所需的英偉達H20 GPU數(shù)量從1192個減至213個,削減比例高達82%(見下圖)。GPU用量削減82%意味著公司硬件采購成本將顯著降低,這對于動輒使用成千上萬張GPU的大型模型服務商至關重要 。
在真實的模型服務場景中 ,少數(shù)熱門模型(如阿里的Qwen)承載了絕大多數(shù)用戶請求,而大量不常被調(diào)用的“長尾”模型卻各自獨占著GPU資源。數(shù)據(jù)顯示,在阿里云模型市場中 ,曾有17.7%的GPU算力僅用于處理1.35%的請求,資源閑置嚴重。
而Aegaeon系統(tǒng)通過GPU資源池化,打破了“一個模型綁定一個GPU ”的低效模式 。
Token級調(diào)度是該系統(tǒng)的核心創(chuàng)新點 ,Aegaeon多模型混合服務系統(tǒng)在每次生成下一個token后動態(tài)決定是否切換模型,實現(xiàn)精細化管理,同時 ,通過組件復用 、顯存精細化管理和KV緩存同步優(yōu)化等全棧技術,Aegaeon將模型切換開銷降低97%,確保了token級調(diào)度的實時性 ,可支持亞秒級的模型切換響應。
據(jù)介紹,Aegaeon系統(tǒng)支持單GPU同時服務多達7個不同模型,相比現(xiàn)有主流方案提升1.5-9倍的有效吞吐量,實現(xiàn)2-2.5倍的請求處理能力。
如何從底層系統(tǒng)軟件層面優(yōu)化 ,以更好地支撐和賦能上層AI應用,已成為全球?qū)W術界和工業(yè)界關注的焦點 。未來AI的發(fā)展將不僅依賴于硬件算力的單純增長,更需要通過系統(tǒng)級的軟件創(chuàng)新來深度挖掘現(xiàn)有硬件的潛力。
散戶炒股如何加杠桿:有什么好的股票交流網(wǎng)站-近千家A股公司涉足機器人業(yè)務 “虛火”知多少?業(yè)界呼吁遏制蹭概念炒作
如何杠桿炒股指:股票買賣加杠桿操作-獨角獸IPO催生“影子股”盛宴 GPU、機器人賽道造富效應顯現(xiàn)
散戶適合買什么股票:股票融資杠桿多少安全-剛剛!美聯(lián)儲、鮑威爾重磅突發(fā)!
半導體股票龍頭前十名:買股票杠桿最多可加多少-量子計算“接棒”AI 谷歌兩年內(nèi)“走出”五位諾獎得主
股指杠桿保證金:網(wǎng)上的股票交流群-俄羅斯宣布:普京與特朗普計劃下周會晤!俄羅斯股市大漲 國際金價、油價走低
求個股票交流群:炒股可以加多少倍杠桿-天?;ɡ麧櫛┰龀?1倍 業(yè)績翻倍股曝光!下周解禁股出爐 7股占比超50%
散戶交流股票群:股票10倍杠桿正規(guī)平臺-7月24日晚間滬深上市公司重大事項公告最新快遞
炒股什么是杠桿交易:股票突破平臺能漲多少-港股暴漲!阿里巴巴市值重回3萬億港元 自研AI芯片亮相央視《新聞聯(lián)播》
熱豐網(wǎng)-安全的股票配資平臺,有保障的股票配資公司提示:文章來自網(wǎng)絡,不代表本站觀點。
記者|趙陽戈年初,證監(jiān)會就修改《證券發(fā)行與承銷管理辦法》部分條款向社會公開征求意見,市場也將注意力投向了...
【隔夜行情】?周五(2025年3月21日),A股三大指數(shù)集體下跌,截至收盤,截止收盤,滬指跌1.29%,報收33...
記者王珍中國國際經(jīng)濟交流中心副理事長、國務院發(fā)展研究中心原副主任王一鳴周一在“中國發(fā)展高層論壇2025...
3月24日,易方達國證自由現(xiàn)金流ETF公開發(fā)售。該產(chǎn)品跟蹤國證自由現(xiàn)金流指數(shù),這個指數(shù)是什么?有哪些優(yōu)勢?投資價值如何?...
記者辛圓3月25日,博鰲亞洲論壇旗艦報告《亞洲經(jīng)濟前景及一體化進程2025年度報告》(以下簡稱《報告》...
2025年3月25日,倍輕松(688793.SH)公告稱,公司股東寧波倍松投資有限公司(簡稱“寧波倍松”)擬通過大宗交易...
2025年3月24日下午三點A股收盤后,港股科技板塊持續(xù)走強至四點十分收盤。消息面上,一方面美元相對于人民幣連續(xù)3個交易...
國海富蘭克林基金國富深化價值基金經(jīng)理劉曉日前發(fā)表了對?2025?年市場的展望。劉曉指出,國內(nèi)經(jīng)濟正處于復蘇通道,市場大幅...
文/吳治邦3月24日早盤,在2024年年底壓哨實施完畢重整計劃的*ST花王股價繼續(xù)跌停。自2025年1月...
近日,開源證券大連分公司遭大連證監(jiān)局處罰,暫停其辦理需要合格投資者認定相關業(yè)務六個月。該懲處力度在近年來券商分支機構(gòu)中并...
記者辛圓給補貼、建平臺,為了吸引更多高層次人才,各地紛紛放出“大招”。據(jù)央廣網(wǎng)周一發(fā)布消息,湖...
3月24日,海洋王照明科技股份有限公司(以下簡稱“海洋王”,002724.SZ)早盤一字跌停,此后股價拉漲,尾盤封漲停板...
3月24日,AI眼鏡概念股開盤拉升,瀛通通訊直線漲停,明月鏡片漲超10%,比依股份、博士眼鏡、恒玄科技、國光電器等跟漲。...
滬深兩市成交額連續(xù)第44個交易日突破1萬億,較昨日此時縮量超900億。...
當?shù)貢r間3月24日,特斯拉美股漲幅擴大至5%,現(xiàn)報262.055美元/股。...