ChatGPT大戰(zhàn)，Meta為何遲遲沒(méi)有動(dòng)作？

就在今天，路透社記者挖出了一個(gè)大瓜，原因讓人瞠目結(jié)舌——

相比谷歌、微軟等大廠，Meta跑AI時(shí)，用的竟然是CPU！

(資料圖片)

很難想象，在深度學(xué)習(xí)幾乎占機(jī)器學(xué)習(xí)半壁江山的時(shí)代，一個(gè)科技巨頭竟然能用CPU堅(jiān)持這么久。

雖然他們也曾嘗試過(guò)自研AI芯片，但最終遭遇滑鐵盧。

現(xiàn)在，ChatGPT引爆的生成式AI大戰(zhàn)打得昏天黑地，這就更加劇了Meta的產(chǎn)能緊縮。

用CPU訓(xùn)練AI，Meta怎么想的？

Meta遲遲不肯接受用GPU的原因，令人匪夷所思。

GPU芯片非常適合AI處理，因?yàn)樗鼈兛梢酝瑫r(shí)執(zhí)行大量任務(wù)，從而減少處理數(shù)十億條數(shù)據(jù)所需的時(shí)間。

然而，GPU 也比其他芯片更昂貴，英偉達(dá)控制著80%的市場(chǎng)份額，并在配套軟件上，也保持著絕對(duì)的領(lǐng)先地位。

直到去年，Meta在處理AI工作負(fù)載時(shí)，主要使用的還是CPU。CPU是計(jì)算機(jī)的主力芯片，幾十年來(lái)數(shù)據(jù)中心用的也是CPU，但它在AI工作上表現(xiàn)并不佳。

據(jù)悉，Meta還曾自研芯片，在內(nèi)部設(shè)計(jì)的定制芯片上進(jìn)行推理。

但在2021年，Meta還是失望地發(fā)現(xiàn)，比起GPU，這種雙管齊下的方法速度更慢、效率更低。而且GPU在運(yùn)行不同類(lèi)型的模型上，遠(yuǎn)比Meta的芯片更靈活。

而且，小扎決定All In元宇宙這一舉措，也直接榨干了Meta的算力。不管是AI的部署，還是威脅的應(yīng)對(duì)上，都遭到了極大的削弱。

這些失誤，引起了前Meta董事會(huì)成員Peter Thiel的注意，隨后，他于2022年初辭職。

據(jù)內(nèi)部人士透露，在離開(kāi)前的一次董事會(huì)會(huì)議上，Thiel告訴小扎和高管們，他們對(duì)Meta的社交媒體業(yè)務(wù)太自滿(mǎn)，并且過(guò)分關(guān)注元宇宙了，這讓公司很容易被TikTok的挑戰(zhàn)所撼動(dòng)。

Meta粗大事了

在去年夏天快要結(jié)束的時(shí)候，小扎曾召集了高級(jí)副手們，花了五個(gè)小時(shí)，對(duì)Meta的計(jì)算能力進(jìn)行分析。

他們需要知道，在開(kāi)發(fā)尖端的AI方面，Meta有多大的能力？

出來(lái)的結(jié)果，讓所有人倒吸一口涼氣。

根據(jù)9月20日的公司備忘錄顯示，盡管Meta對(duì)AI研究進(jìn)行了大筆高調(diào)的投資，然而主要業(yè)務(wù)需要的AI友好型硬件和軟件系統(tǒng)都非常昂貴，在這些方面公司的進(jìn)展相當(dāng)緩慢。

緩慢到，已經(jīng)阻礙了Meta跟上大規(guī)模創(chuàng)新的步伐。

這可是個(gè)棘手的大麻煩，要知道，Meta的增長(zhǎng)，越來(lái)越依賴(lài)AI。

基礎(chǔ)設(shè)施負(fù)責(zé)人Santosh Janardhan強(qiáng)調(diào)，無(wú)論是開(kāi)發(fā)AI的工具，還是工作流程，Meta都已經(jīng)遠(yuǎn)遠(yuǎn)落后于其他對(duì)手。

「Meta需要從根本上改變物理基礎(chǔ)設(shè)施設(shè)計(jì)、軟件系統(tǒng)和提供穩(wěn)定平臺(tái)的方法。」

一年多來(lái)，Meta一直在搞的大項(xiàng)目，就是希望完善AI基礎(chǔ)設(shè)施。但經(jīng)歷過(guò)產(chǎn)能緊縮、領(lǐng)導(dǎo)層變動(dòng)和廢棄的AI芯片項(xiàng)目后，Meta的改革似乎不盡如人意。

所以，Meta徹底放棄AI芯片了？

對(duì)于外媒的這個(gè)提問(wèn)，Meta發(fā)言人Jon Carvill表示，公司「在大規(guī)模創(chuàng)建和部署最先進(jìn)的基礎(chǔ)設(shè)施方面有著良好的記錄，并有著人工智能研究和工程方面的深厚專(zhuān)業(yè)知識(shí)?！?/p>

「隨著我們?yōu)閼?yīng)用程序和消費(fèi)產(chǎn)品系列帶來(lái)新的AI體驗(yàn)，我們有信心繼續(xù)擴(kuò)展基礎(chǔ)設(shè)施的能力，以滿(mǎn)足我們的近期和長(zhǎng)期需求?！?/p>

總之，沒(méi)有正面回答。

但這次改革，已經(jīng)耗費(fèi)了大量的人力物力。

據(jù)悉，改革使Meta每季度的資本支出增加了約40億美元，幾乎是2021年支出的兩倍。而且Meta此前建設(shè)4個(gè)數(shù)據(jù)中心的計(jì)劃，也因此暫?；蛉∠?。

Meta的資本支出大增

而這些大筆支出，跟Meta嚴(yán)重的財(cái)務(wù)緊縮期又恰恰重合。

去年11月以來(lái)，硅谷的互聯(lián)網(wǎng)泡沫開(kāi)始破滅，Meta一直在大規(guī)模裁員。

OpenAI的ChatGPT在11月30日亮相后，立馬引爆了科技巨頭之間的軍備競(jìng)賽。

此后的生成式AI大戰(zhàn)，吞噬了大量的算力，這更逼得Meta加緊改革。

極力追趕

據(jù)悉，Meta在現(xiàn)實(shí)面前，不得不選擇低頭。

高管們?nèi)∠嗽?022年大規(guī)模推出自研芯片的計(jì)劃，轉(zhuǎn)頭訂購(gòu)了價(jià)值數(shù)十億美元的英偉達(dá)GPU。

但此時(shí)，已經(jīng)為時(shí)已晚。

Meta已經(jīng)落后于谷歌等同行一大截，谷歌早在2015年就開(kāi)始部署自己定制的GPU——TPU。

在2022年春天，高管們也同時(shí)開(kāi)始著手重組Meta的AI部門(mén)。

這期間發(fā)生了長(zhǎng)達(dá)數(shù)月的動(dòng)蕩，十幾位高管離開(kāi)了。AI基礎(chǔ)設(shè)施領(lǐng)導(dǎo)層，整個(gè)經(jīng)歷了一次大換血。

接下來(lái)，Meta的工作也很棘手。

他們得費(fèi)老大勁重組數(shù)據(jù)中心，來(lái)適應(yīng)新的GPU，因?yàn)镚PU比CPU的功耗和產(chǎn)熱都更多，還必須用專(zhuān)用網(wǎng)絡(luò)把它們聚在一起。

為了管理集群的熱量，這些設(shè)施需要24到32倍的網(wǎng)絡(luò)容量和新的液冷系統(tǒng)，因此需要從頭設(shè)計(jì)。

即便如此，Meta似乎也并沒(méi)有放棄自研芯片的路線(xiàn)。

據(jù)悉，新的內(nèi)部芯片會(huì)和GPU一樣，能夠訓(xùn)練AI模型并執(zhí)行推理，將于2025年左右完成。

懸崖勒馬，回頭是岸

此前，微軟有ChatGPT，谷歌緊忙拉Bard出來(lái)對(duì)打，Meta卻似乎并不急于下場(chǎng)生成式AI競(jìng)賽，推出的LLaMA也并不用作商用。

Meta CFO Susan Li在2月承認(rèn)，Meta并沒(méi)有將大部分計(jì)算資源投入到生成式AI中，而是基本上將所有的AI能力都用于廣告、feeds和Reels（類(lèi)似于TikTok的短視頻）。

此前，同谷歌一樣，Meta并不重視生成式AI。Meta的FAIR實(shí)驗(yàn)室從21年底以來(lái)，就在發(fā)布這種AI技術(shù)的原型，研究成果也備受推崇，但Meta從未考慮過(guò)將其轉(zhuǎn)化為產(chǎn)品。

去年11月中旬，Meta的FAIR實(shí)驗(yàn)室曾提出Galactica模型

然而ChatGPT誕生后，一切都不一樣了。投資者的興趣開(kāi)始飆升，小扎在今年二月官宣了全新的頂級(jí)團(tuán)隊(duì)，押寶生成式AI。

據(jù)悉，工作的重點(diǎn)是建成一個(gè)基礎(chǔ)模型，在這個(gè)核心的基礎(chǔ)上，可以針對(duì)不同產(chǎn)品進(jìn)行微調(diào)和調(diào)整。

All In AIGC？網(wǎng)友：改名MetAI吧

18個(gè)月前，小扎把Facebook的未來(lái)押在了元宇宙上，甚至還把公司的名字改成了Meta。最近，他又迷上了另一個(gè)非常燒錢(qián)的技術(shù)——AIGC。

本月早些時(shí)候，Meta首席技術(shù)官Andrew Bosworth表示，扎克伯格和其他高管現(xiàn)在把大部分時(shí)間都花在了人工智能上。

對(duì)此，Bernstein的分析師表示，照這個(gè)架勢(shì)下去，Meta很可能要改名叫——MetAI了。

不過(guò)，想要追上OpenAI、微軟和谷歌的步伐，Meta就必須為訓(xùn)練這些超大規(guī)模的生成式AI模型，大肆采購(gòu)英偉達(dá)的芯片（單個(gè)組件1萬(wàn)美金起跳）。

目前，耗時(shí)5個(gè)月訓(xùn)練出的「Meta版ChatGPT」LLaMa，用的是2048個(gè)80GB顯存的A100。

作為對(duì)比，微軟為OpenAI量身定做的超算，搭載的可是上萬(wàn)塊A100。

而ChatGPT和Bard「決一死戰(zhàn)」的背后，正是英偉達(dá)CUDA支持的GPU（圖形處理單元）和谷歌定制的TPU（張量處理單元）。

換句話(huà)說(shuō)，這已經(jīng)不再是關(guān)于ChatGPT與Bard的對(duì)抗，而是TPU與GPU之間的對(duì)決，以及它們?nèi)绾斡行У剡M(jìn)行矩陣乘法。

由于在硬件架構(gòu)方面的出色設(shè)計(jì)，英偉達(dá)的GPU非常適合矩陣乘法任務(wù)——能有效地在多個(gè)CUDA核心之間實(shí)現(xiàn)并行處理。

因此從2012年開(kāi)始，在GPU上訓(xùn)練模型便成為了深度學(xué)習(xí)領(lǐng)域的共識(shí)，至今都未曾改變。

而隨著NVIDIA DGX的推出，英偉達(dá)能夠?yàn)閹缀跛械腁I任務(wù)提供一站式硬件和軟件解決方案，這是競(jìng)爭(zhēng)對(duì)手由于缺乏知識(shí)產(chǎn)權(quán)而無(wú)法提供的。

相比之下，谷歌則在2016年推出了第一代張量處理單元（TPU），其中不僅包含了專(zhuān)門(mén)為張量計(jì)算優(yōu)化的定制ASIC（專(zhuān)用集成電路），并且還針對(duì)自家的TensorFlow框架進(jìn)行了優(yōu)化。

而這也讓TPU在矩陣乘法之外的其他AI計(jì)算任務(wù)中具有優(yōu)勢(shì)，甚至還可以加速微調(diào)和推理任務(wù)。

不過(guò)，微軟與英偉達(dá)長(zhǎng)久以來(lái)的深度合作，讓各自在行業(yè)上的積累得到充分地利用，并以此同時(shí)擴(kuò)大了雙方的競(jìng)爭(zhēng)優(yōu)勢(shì)。

尤其是當(dāng)ChatGPT開(kāi)始橫掃整個(gè)AI圈時(shí)，兩家公司的市值也是一路狂飆。

而這波被ChatGPT帶起來(lái)的大模型煉丹潮，更是讓「煉丹爐」供應(yīng)商英偉達(dá)賺得盆滿(mǎn)缽滿(mǎn)。僅在今年的這幾個(gè)月里，市值就增長(zhǎng)了超過(guò)80%。

裁員硅谷第二，野心如何支撐

然而，Meta現(xiàn)在好像并沒(méi)有足夠的資金來(lái)支撐自己的野心。

眾所周知，這段時(shí)間裁員潮繼續(xù)席卷了整個(gè)科技行業(yè)，但有些公司裁得比別人更多。

在比例上，裁掉80%員工的推特毫無(wú)疑問(wèn)地占據(jù)了第一的位置，而送走近四分之一員工的Meta緊隨其后。

在數(shù)量上，Meta也憑借著高達(dá)2.1萬(wàn)人的巨大優(yōu)勢(shì)位列第二，但這并沒(méi)包括即將進(jìn)行第三輪裁員。

2022年，在小扎宣布大裁員之前，Meta有差不多87,000名員工。但在11月時(shí)畢業(yè)了11,000人，3月又畢業(yè)了10,000人。

據(jù)Insider報(bào)道，Meta的第三輪裁員會(huì)直接影響數(shù)千人，而管理層職位更是首當(dāng)其沖。包括但不限于，現(xiàn)實(shí)實(shí)驗(yàn)室、Facebook和Instagram的技術(shù)產(chǎn)品經(jīng)理，以及人工智能研究科學(xué)家、軟件工程師、數(shù)據(jù)工程師等。

最新的一項(xiàng)分析顯示，從2018年到2022年，Meta的員工隊(duì)伍膨脹了143%，但每個(gè)員工的收入在這段時(shí)間內(nèi)下降了14%。

高管變動(dòng)、員工流失、資金不足、路線(xiàn)選錯(cuò)，Meta前方的路，似乎困難重重。

讓我們看看小扎接下來(lái)會(huì)怎么走。

關(guān)鍵詞：