第354章 算力還是電力
買不起手辦就造出了鋼鐵俠這件事 作者:我不吃動物內髒 投票推薦 加入書簽 留言反饋
“算力是ai世界發展的基礎,而算力的瓶頸歸根到底還是電力....”
“根據chatgpt原國外團隊,提供的數據來說,他們的ai大模型訓練,電力需求將以每年約10%的速度增長,能耗將為常規雲工作的三倍。”
“而這僅僅是訓練ai模型的前期電力,僅占模型實際使用時所消耗電力的40%。而我們的1%,在這一方麵,即便服務器使用的相對來說比運算量的chatgpt要少30%,這一年來的運轉下來,我們的用電量依舊是相當驚人的。”
“是的,ai服務器的功率較普通服務器高6-8倍,這對於電源的需求也將同步提升,通用型服務器原來隻需要2顆800w服務器電源,而ai服務器的需求直接提升為4顆1800w高功率電源,服務器能耗成本直接3100元直接飆升到元,大漲3倍。”
“你還沒有算應對為運行日益能源密集型工作負載的計算機服務器組群供電和散熱而產生的額外成本。”
“以目前的形式來看,大廈的迴收電量勉強能夠支撐部分支出,但是到了冬日....”
“據全球最大商業房地產服務公司統計,數據中心客戶囊括了小型企業到大型雲服務供應商,目前消耗電力的速度快於數據中心運營商擴展容量的速度。由於人工智能用例的增加,供應限製日益嚴重,導致數據中心收取的價格更是離譜,顯然這個方案是不可行的。”
.......
在ly大廈的一間會議室中,大家為1%“吃電”的大模型服務器,而感到頭疼。
何依霖看著會計送過來的賬單,豎起了眉頭。“技術開發那塊現在怎麽說了?”
“可使用高度優化、甚至是更簡單、更專業的小型神經網絡模型來降低數據中心成本,方法是減少雲端的模型規模,將海量參數網絡用於快速訓練較小的模型,並將工作負載完全移出雲端,從而將生成式ai應用程序更加經濟高效地分發給智能手機、pc、車輛和移動xr產品等分布式平台上運行。”技術部總監說道。
何依霖在桌子上敲動著手指,對這一塊拿不定主意,他技術方麵得仰仗李奧才行啊。
“隨著消費者使用量的增加,成本將不可避免地攀升。將計算轉移到邊緣,並將其分配給pc、智能手機和xr設備等客戶端是降低資本和運營成本的關鍵途徑。”技術部總監又補充說明道。
“通俗的來說....就是現在人工智能的潛力是無限的,但物理和成本最終可能是界限。”何依霖概括的說道。
“是的。”技術部總監點頭說道。
按照當前的技術路線和發展模式,1%必將引發兩個問題:一方麵,數據中心的規模將會越來越龐大,其功耗也隨之水漲船高,且運行越來越緩慢。
另一方麵,ai芯片朝高算力、高集成方向演進,依靠製程工藝來支撐峰值算力的增長,製程越來越先進,其功耗和水耗也越來越大。
這時,李奧打來了電話。
何依霖的煩惱頓時煙消雲散,今天是李奧出院的日子,今天早上還發微信過來說過幾天來新家過生日派對呢。
何依霖趕忙接起,剛接通,就聽到李奧近乎咆哮的聲音。
“他媽的,我要你從現在開始,以任何手段,針對深控這個狗娘養的,我要穆家從此再無翻身之日,馬勒戈壁的。艸!!”
“李奧,你先別激動啊。”電話那頭還傳來了胡斐的聲音。
“我怎麽不激動?啊?禍不及家人吧,這點規矩都不遵守...真他媽狗娘養的,真當我脾氣好啊,我分分鍾就能把他們穆家隨時搞垮,媽了個...”
何依霖剛舒展下去的眉頭,又緊皺了起來,對著會議室的眾人說道:“李總已經出院了,先散會,迴頭聊。”
說完以後,何依霖趕緊的離開了會議室,往自己的辦公室走去。中途手機一直舉著,聽著李奧那邊的動靜。
“你把手機給我!!”“手機給我,我來跟何總說,你趕緊去看看叔叔阿姨怎麽樣!!啊!!”
李奧看了眼前麵的房車,妹妹這會也氣憤的正在跟警察溝通事情經過呢。“你跟何依霖說,是一切代價!!”把手機遞給了何依霖就過去了。
“喂...何總!”胡斐拿過手機後說道。
“怎麽迴事?”何依霖可從未見過李奧這麽暴躁的一麵。
“我們不是出院出發去李奧的新家嘛,結果他中間接了個電話,突然就變得非常憤怒。然後就一路喇叭加速在國道上衝,甚至有的時候走的都是應急車道。”
“後來她妹妹打來電話,讓李奧的情緒更激動了。他妹妹跟他父母都在房車上,道路上是雙行道。司機在超貨車的過程中,被前麵那個貨車擋住了,摁喇叭也死活不讓道,跟右側貨車速度同步。這時,身後一輛貨車,利用這個時間在不斷靠近。”
“不僅僅是後車,前車也是如此,右側車更是如此,把房車擠在了一個,極小的空間內,而左側就是欄杆,輪胎就已經是在馬路邊緣徘徊,這樣的動靜肯定是把房車內的所有人都嚇到了。”
“也不知道是持續了多久,後邊的貨車減速,讓出了位置。然後司機趕忙就靠邊停車,報了警。”
胡斐把從司機那了解的情況大概訴說完,這也怪不得李奧如此生氣,這四輛車誰有個不注意,那就是一起重大車禍。。
“你一定要安撫好李奧的情緒,我怕他做出什麽傻事來。”何依霖擔憂的說道。
“嗯,我知道,我會看好的。”
“你跟李奧說,我知道了。”
“好!”胡斐鄭重的說道。
掛斷電話後,何依霖立刻給市長打去了電話。他知道,這次事件非同小可,必須盡快采取行動。
“這下可由不得我了,市長,穆家已經碰到李奧的底線了。”何依霖直截了當的說道。
“嗯??什麽意思??”市長疑惑的問道。
“根據chatgpt原國外團隊,提供的數據來說,他們的ai大模型訓練,電力需求將以每年約10%的速度增長,能耗將為常規雲工作的三倍。”
“而這僅僅是訓練ai模型的前期電力,僅占模型實際使用時所消耗電力的40%。而我們的1%,在這一方麵,即便服務器使用的相對來說比運算量的chatgpt要少30%,這一年來的運轉下來,我們的用電量依舊是相當驚人的。”
“是的,ai服務器的功率較普通服務器高6-8倍,這對於電源的需求也將同步提升,通用型服務器原來隻需要2顆800w服務器電源,而ai服務器的需求直接提升為4顆1800w高功率電源,服務器能耗成本直接3100元直接飆升到元,大漲3倍。”
“你還沒有算應對為運行日益能源密集型工作負載的計算機服務器組群供電和散熱而產生的額外成本。”
“以目前的形式來看,大廈的迴收電量勉強能夠支撐部分支出,但是到了冬日....”
“據全球最大商業房地產服務公司統計,數據中心客戶囊括了小型企業到大型雲服務供應商,目前消耗電力的速度快於數據中心運營商擴展容量的速度。由於人工智能用例的增加,供應限製日益嚴重,導致數據中心收取的價格更是離譜,顯然這個方案是不可行的。”
.......
在ly大廈的一間會議室中,大家為1%“吃電”的大模型服務器,而感到頭疼。
何依霖看著會計送過來的賬單,豎起了眉頭。“技術開發那塊現在怎麽說了?”
“可使用高度優化、甚至是更簡單、更專業的小型神經網絡模型來降低數據中心成本,方法是減少雲端的模型規模,將海量參數網絡用於快速訓練較小的模型,並將工作負載完全移出雲端,從而將生成式ai應用程序更加經濟高效地分發給智能手機、pc、車輛和移動xr產品等分布式平台上運行。”技術部總監說道。
何依霖在桌子上敲動著手指,對這一塊拿不定主意,他技術方麵得仰仗李奧才行啊。
“隨著消費者使用量的增加,成本將不可避免地攀升。將計算轉移到邊緣,並將其分配給pc、智能手機和xr設備等客戶端是降低資本和運營成本的關鍵途徑。”技術部總監又補充說明道。
“通俗的來說....就是現在人工智能的潛力是無限的,但物理和成本最終可能是界限。”何依霖概括的說道。
“是的。”技術部總監點頭說道。
按照當前的技術路線和發展模式,1%必將引發兩個問題:一方麵,數據中心的規模將會越來越龐大,其功耗也隨之水漲船高,且運行越來越緩慢。
另一方麵,ai芯片朝高算力、高集成方向演進,依靠製程工藝來支撐峰值算力的增長,製程越來越先進,其功耗和水耗也越來越大。
這時,李奧打來了電話。
何依霖的煩惱頓時煙消雲散,今天是李奧出院的日子,今天早上還發微信過來說過幾天來新家過生日派對呢。
何依霖趕忙接起,剛接通,就聽到李奧近乎咆哮的聲音。
“他媽的,我要你從現在開始,以任何手段,針對深控這個狗娘養的,我要穆家從此再無翻身之日,馬勒戈壁的。艸!!”
“李奧,你先別激動啊。”電話那頭還傳來了胡斐的聲音。
“我怎麽不激動?啊?禍不及家人吧,這點規矩都不遵守...真他媽狗娘養的,真當我脾氣好啊,我分分鍾就能把他們穆家隨時搞垮,媽了個...”
何依霖剛舒展下去的眉頭,又緊皺了起來,對著會議室的眾人說道:“李總已經出院了,先散會,迴頭聊。”
說完以後,何依霖趕緊的離開了會議室,往自己的辦公室走去。中途手機一直舉著,聽著李奧那邊的動靜。
“你把手機給我!!”“手機給我,我來跟何總說,你趕緊去看看叔叔阿姨怎麽樣!!啊!!”
李奧看了眼前麵的房車,妹妹這會也氣憤的正在跟警察溝通事情經過呢。“你跟何依霖說,是一切代價!!”把手機遞給了何依霖就過去了。
“喂...何總!”胡斐拿過手機後說道。
“怎麽迴事?”何依霖可從未見過李奧這麽暴躁的一麵。
“我們不是出院出發去李奧的新家嘛,結果他中間接了個電話,突然就變得非常憤怒。然後就一路喇叭加速在國道上衝,甚至有的時候走的都是應急車道。”
“後來她妹妹打來電話,讓李奧的情緒更激動了。他妹妹跟他父母都在房車上,道路上是雙行道。司機在超貨車的過程中,被前麵那個貨車擋住了,摁喇叭也死活不讓道,跟右側貨車速度同步。這時,身後一輛貨車,利用這個時間在不斷靠近。”
“不僅僅是後車,前車也是如此,右側車更是如此,把房車擠在了一個,極小的空間內,而左側就是欄杆,輪胎就已經是在馬路邊緣徘徊,這樣的動靜肯定是把房車內的所有人都嚇到了。”
“也不知道是持續了多久,後邊的貨車減速,讓出了位置。然後司機趕忙就靠邊停車,報了警。”
胡斐把從司機那了解的情況大概訴說完,這也怪不得李奧如此生氣,這四輛車誰有個不注意,那就是一起重大車禍。。
“你一定要安撫好李奧的情緒,我怕他做出什麽傻事來。”何依霖擔憂的說道。
“嗯,我知道,我會看好的。”
“你跟李奧說,我知道了。”
“好!”胡斐鄭重的說道。
掛斷電話後,何依霖立刻給市長打去了電話。他知道,這次事件非同小可,必須盡快采取行動。
“這下可由不得我了,市長,穆家已經碰到李奧的底線了。”何依霖直截了當的說道。
“嗯??什麽意思??”市長疑惑的問道。