AI領域百模大戰正酣，但商業前景仍不明朗

上個月，AI界掀起了一場"動物之爭"。一方是Meta的Llama模型，因其開源特性廣受開發者歡迎。日本NEC公司研究Llama後迅速開發出日語版ChatGPT。另一方是名爲Falcon的大模型，5月問世後力壓Llama登頂開源LLM排行榜。

有趣的是，Falcon並非出自科技公司，而是阿聯酋阿布扎比科技創新研究所開發。阿聯酋官員表示，他們參與這個領域是爲了"顛覆核心玩家"。Falcon 180B版本發布次日，阿聯酋AI部長就入選了《時代周刊》"AI領域最具影響力的100人"。

如今AI領域已進入百家爭鳴階段，有實力的國家和企業都在打造自己的大模型。僅在海灣地區，沙特阿拉伯也剛爲國內大學購入3000多塊H100芯片用於LLM訓練。

一位投資人曾在社交媒體吐槽："當年看不起互聯網的商業模式創新，覺得沒有壁壘。沒想到硬科技大模型創業，依然是百模大戰..."

號稱高門檻的硬科技，怎麼變成了人人都能參與的角逐？

Transformer改變遊戲規則

各國初創公司、科技巨頭、石油大亨能夠追逐大模型夢想，都要歸功於2017年谷歌發表的《Attention Is All You Need》論文。該論文公開了Transformer算法，成爲此輪AI熱潮的導火索。當前各種大模型，無論國籍如何，包括轟動世界的GPT系列，都建立在Transformer基礎之上。

此前,"教機器讀書"一直是公認的學術難題。與圖像識別不同,人類閱讀時不僅關注當前詞句,還會結合上下文理解。早期神經網路的輸入相互獨立,難以理解長文本甚至整篇文章,因此出現了將"開水間"翻譯成"open water room"這類問題。

2014年,在谷歌工作後轉投OpenAI的計算機科學家伊利亞·薩茨克弗(Ilya Sutskever)率先取得突破。他使用循環神經網路(RNN)處理自然語言,使谷歌翻譯性能大幅領先競品。RNN提出"循環設計",讓每個神經元既接受當前時刻輸入,也接受上一時刻輸入,從而具備了"結合上下文"的能力。

RNN的出現點燃了學界研究熱情,Transformer論文作者沙澤爾(Noam Shazeer)也曾沉迷其中。但開發者們很快發現RNN存在嚴重缺陷:該算法使用順序計算,雖能解決上下文問題,但運行效率低下,難以處理大量參數。

RNN的繁瑣設計讓沙澤爾感到厭煩。2015年起,他和7位同好着手開發RNN替代品,最終成果就是Transformer。相比RNN,Transformer有兩大創新:一是用位置編碼取代循環設計,實現並行計算,大幅提升訓練效率,使AI進入大模型時代;二是進一步增強了上下文理解能力。

Transformer一舉解決了多項缺陷,逐漸成爲NLP(自然語言處理)的主流方案。連伊利亞也拋棄了自己開創的RNN,轉投Transformer陣營。可以說,Transformer是當今所有大模型的始祖,它將大模型從理論研究變成了純粹的工程問題。

2019年,OpenAI基於Transformer開發出GPT-2,震驚學界。谷歌隨即推出性能更強的AI模型Meena。與GPT-2相比,Meena沒有算法革新,僅是增加了8.5倍訓練參數和14倍算力。Transformer作者沙澤爾對這種"暴力堆砌"大爲震撼,寫下了"Meena吞噬世界"的備忘錄。

Transformer問世後,學界底層算法創新速度大幅放緩。數據工程、算力規模、模型架構等工程因素,日益成爲AI競賽的關鍵。只要有一定技術能力的科技公司,都能開發出大模型。

計算機科學家吳恩達在斯坦福大學演講時提出:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及現在的生成式人工智能。這些都是通用技術,類似於電力和互聯網等其他通用技術。"

OpenAI固然仍是LLM領域的風向標,但半導體分析機構Semi Analysis認爲,GPT-4的競爭力源於工程解決方案——如果開源,任何競爭對手都能迅速復制。該分析師預計,可能用不了多久,其他大型科技公司也能開發出與GPT-4性能相當的大模型。

護城河建立在何處?

目前,"百模大戰"已不再是比喻,而是現實。據報告顯示,截至今年7月,中國大模型數量已達130個,超過美國的114個,各種神話傳說幾乎不夠國內科技公司取名用了。

除中美之外,其他富裕國家也初步實現了"一國一模":日本、阿聯酋,還有印度政府主導的Bhashini、韓國互聯網公司Naver開發的HyperClova X等。這種景象,仿佛回到了互聯網泡沫時代,各方紛紛燒錢入場。

正如前文所述,Transformer讓大模型變成純工程問題,只要有資金和硬件,剩下就是參數調優。但入場門檻降低並不意味着人人都能成爲AI時代的巨頭。

開篇提到的"動物之爭"就是典型案例:Falcon雖在排名上超越了Llama,但很難說對Meta造成多大衝擊。衆所周知,企業開源自身科研成果,既是爲了分享科技紅利,也希望調動社會智慧。隨着各界不斷使用、改進Llama,Meta可以將這些成果應用到自己的產品中。

對開源大模型而言,活躍的開發者社群才是核心競爭力。Meta早在2015年組建AI實驗室時就確立了開源路線;扎克伯格憑藉社交媒體起家,更懂得"維護羣衆關係"的重要性。

例如10月,Meta專門舉辦了"AI創作者激勵"活動:使用Llama 2解決教育、環境等社會問題的開發者,有機會獲得50萬美元資助。如今,Meta的Llama系列已成爲開源LLM的風向標。

截至10月初,某知名平台開源LLM排行榜前10名中,有8個基於Llama 2開發,均使用其開源協議。僅在該平台上,使用Llama 2開源協議的LLM已超過1500個。

提升性能固然可行,但目前大多數LLM與GPT-4仍有明顯差距。例如近期,GPT-4以4.41分的成績問鼎AgentBench測試榜首。AgentBench由清華大學與多所美國知名大學共同推出,用於評估LLM在多維度開放式生成環境中的推理能力和決策能力。

測試結果顯示,第二名Claude僅獲2.77分,差距仍較大。至於那些聲勢浩大的開源LLM,多數得分徘徊在1分左右,還不到GPT-4的四分之一。要知道,GPT-4發布於今年3月,這還是全球同行追趕大半年後的成績。

造成這種差距的,是OpenAI高水平的科學家團隊與長期研究LLM積累的經驗,使其始終保持領先地位。換言之,大模型的核心能力不在於參數,而在於生態建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日益活躍,各LLM性能可能趨同,因爲大家都在使用相似的模型架構與數據集。另一個更直觀的難題是:除了Midjourney,似乎還沒有哪個大模型能實現盈利。

尋找價值錨點

今年8月,一篇題爲"OpenAI可能會於2024年底破產"的文章引發關注。文章主旨幾乎可用一句話概括:OpenAI的燒錢速度過快。

文中提到,自開發ChatGPT以來,OpenAI虧損迅速擴大,2022年就虧損約5.4億美元,只能依靠微軟投資支撐。這篇文章雖標題聳人聽聞,卻也道出了許多大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前靠AI真正賺大錢的只有英偉達,最多再加上博通。據諮詢公司Omdia估計,英偉達今年二季度售出超30萬塊H100芯片。這是一款高效的AI芯片,全球科技公司和研究機構都在爭相購買。如果將這30萬塊H100疊在一起,重量相當於4.5架波音747飛機。

英偉達業績隨之飆升,同比營收增長854%,令華爾街瞠目結舌。值得一提的是,H100在二手市場價格已被炒至4-5萬美元,而其物料成本僅約3000美元。

高昂的算力成本在某種程度上已成爲行業發展障礙。紅杉資本曾估算:全球科技公司每年預計將花費2000億美元用於大模型基礎設施建設;相比之下,大模型每年最多只能產生750億美元收入,存在至少1250億美元缺口。

此外,除Midjourney等少數例外,多數軟件公司在投入巨額成本後,還未找到盈利模式。即便是行業領頭羊微軟和Adobe也面臨挑戰。

微軟與OpenAI合作開發的AI代碼生成工具GitHub Copilot,雖每月收取10美元,但因設施成本,微軟反而每月虧損20美元,重度用戶甚至能讓微軟每月虧損80美元。由此推測,定價30美元的Microsoft 365 Copilot可能虧損更多。

同樣,剛推出Firefly AI工具的Adobe也迅速上線了配套積分系統,防止用戶過度使用導致公司虧損。一旦用戶超出每月分配積分,Adobe就會降低服務速度。

值得注意的是,微軟和Adobe已是業務場景明確、擁有大量付費用戶的軟件巨頭。而大多數參數龐大的大模型,最主要應用場景仍是聊天。

不可否認,若沒有OpenAI和ChatGPT橫空出世,這場AI革命可能不會發生;但目前,訓練大模型帶來的價值還存在疑問。隨着同質化競爭加劇和開源模型增多,單純的大模型供應商可能面臨更大挑戰。

iPhone 4的成功不在於45nm制程的A4處理器,而在於它能玩植物大戰僵屍和憤怒的小鳥這樣的應用。