
「數字吞電獸」這個暱稱,是人們對AI這一耗電大戶形象化的比喻。據介紹,AI之所以成為耗電大戶,主要源於其硬件設備的高功耗、訓練與推理階段的巨大能耗,以及規模化應用帶來的電力需求激增等。
服務器用上萬張超級芯片
在硬件層面,AI所需的GPU/芯片的耗電激增。以英偉達H100芯片為例,單卡功耗達700瓦,近年來已連續售出數百萬張。AI服務器往往需要成千上萬張此類芯片協同工作,導致整體耗電量遠超傳統服務器。AI模型依賴高性能GPU和專用芯片(如TPU),這些設備為處理大規模計算任務而設計,但效率提升的同時也推高了單位時間內的能耗。
訓練大模型如3000特斯拉開跑
AI大模型的訓練與推理階段,同樣需要大量的電力支撐。AI模型的訓練需要處理海量數據,其計算量呈指數級增長。有外媒統計,以GPT-3的一次訓練為例,每一次訓練使用了大約128.7萬度電,相當於3,000輛特斯拉共同開跑,每輛車跑20萬英里。
據悉,ChatGPT目前處理一個請求平均耗電2.9瓦時(相當於60瓦燈泡亮3分鐘)。若每日響應2億次請求,總耗電量達50萬度,相當於1.7萬個美國家庭日均用電量。
DeepSeek主打低成本更環保
反觀中國AI頭部DeepSeek,主打用較低成本來訓練AI模型,宣稱其AI模型僅使用2,000顆功率較低的輝達H800芯片,不同於西方的主要AI模型約使用1.6萬顆專用芯片。DeepSeek關鍵技術是「知識蒸餾」,即讓規模較小、較新的AI模型去學習受到充足訓練的大型、複雜模型,降低推理的成本。
評論