芯東西（公眾號(hào)：aichip001）
編譯 | ?ZeR0
編輯 | ?漠影
芯東西2月11日消息，據(jù)外媒今日?qǐng)?bào)道，一家由00后創(chuàng)辦的神秘英國(guó)AI芯片創(chuàng)企Olix，已獲得2.2億美元（約合人民幣15億元）融資，估值超過(guò)10億美元（約合人民幣69億元），躋身獨(dú)角獸企業(yè)。
Olix（此前名為Flux Computing）成立于2024年3月，總部位于英國(guó)倫敦，由James Dacombe創(chuàng)辦，計(jì)劃開(kāi)發(fā)比英偉達(dá)GPU更快、更便宜的AI芯片。
James Dacombe今年25歲，同時(shí)也是英國(guó)腦監(jiān)測(cè)創(chuàng)企CoMind的創(chuàng)始人兼CEO。CoMind是他18歲時(shí)創(chuàng)立的，并已融資1億美元（約合人民幣7億元）。
▲James Dacombe
針對(duì)AI推理需求，Olix正在打造一種新型AI芯片，目標(biāo)是高吞吐量和高交互性，以應(yīng)對(duì)最苛刻的推理工作負(fù)載，并且不受當(dāng)今AI芯片的架構(gòu)和供應(yīng)鏈限制。
Olix光學(xué)張量處理單元（OTPU）是一款采用新型存儲(chǔ)器和互連架構(gòu)的光學(xué)數(shù)字處理器。
其團(tuán)隊(duì)相信，將SRAM架構(gòu)與光子學(xué)相結(jié)合，可以在每兆瓦吞吐量和總擁有成本方面超越基于HBM的架構(gòu)，并且在交互性和延遲方面顯著優(yōu)于純硅SRAM架構(gòu)。
該公司已累計(jì)獲得2.5億美元（約合人民幣17億元）融資。據(jù)知情人士透露，Olix希望最早明年向客戶(hù)交付首批產(chǎn)品。這家初創(chuàng)公司拒絕就其融資事宜置評(píng)。
Vertex Ventures普通合伙人、前Facebook基礎(chǔ)設(shè)施高管Jonathan Heiliger認(rèn)為，AI推理需要對(duì)芯片的制造方式進(jìn)行徹底的重新思考，系統(tǒng)級(jí)架構(gòu)的大規(guī)模重構(gòu)極其困難，“James和他的團(tuán)隊(duì)的執(zhí)行速度比擁有十倍資源的公司還要快?！?/p>
目前英國(guó)芯片公司的融資規(guī)模遠(yuǎn)遠(yuǎn)落后于美國(guó)。另一家英國(guó)AI芯片創(chuàng)企Fractile昨日宣布，計(jì)劃在未來(lái)三年投資1億英鎊（約合人民幣9億元），以擴(kuò)大在其在英國(guó)本土的業(yè)務(wù)。
Olix在官網(wǎng)分享了其芯片設(shè)計(jì)思路：
現(xiàn)有GPU架構(gòu)已接近物理極限，當(dāng)前硬件從根本上來(lái)說(shuō)無(wú)法同時(shí)為每個(gè)用戶(hù)提供快速推理。
這種權(quán)衡取舍是自TPUv2和V100以來(lái)所有主流加速器所采用的內(nèi)存架構(gòu)固有的——一個(gè)大型邏輯芯片放置在中介層上，旁邊是堆疊的HBM內(nèi)存。
只有將大量用戶(hù)的數(shù)據(jù)批量處理，充分利用計(jì)算資源，并將模型權(quán)重通過(guò)HBM傳輸?shù)酱罅枯敵鰐oken的能耗??分?jǐn)?，才能?shí)現(xiàn)每個(gè)XPU和每兆瓦的高吞吐量。
但大批量處理必然會(huì)增加每個(gè)用戶(hù)的延遲，降低交互性，迫使用戶(hù)做出艱難權(quán)衡。
推理性能受限于數(shù)據(jù)傳輸。因此，邏輯效率（FLOPs/W）和吞吐量（每個(gè)封裝的FLOP）的持續(xù)提升帶來(lái)的收益遞減。數(shù)據(jù)傳輸時(shí)間的縮短受到內(nèi)存墻以及封裝互連邊界長(zhǎng)度和封裝尺寸限制的制約。
雖然從HBM2到HBM4的過(guò)渡在能效和吞吐量密度方面都取得了顯著提升，但要再次實(shí)現(xiàn)如此巨大的改進(jìn)需要近十年時(shí)間，并且需要更加復(fù)雜和昂貴的制造技術(shù)。
HBM性能提升帶來(lái)的能效提升有限，不可避免限制了每個(gè)token傳輸KV cache所需的 pJ/bit 能量，從而也限制了當(dāng)前架構(gòu)中token總能耗的下限。
過(guò)去十年，這種架構(gòu)擴(kuò)展提升了系統(tǒng)的整體性能，但進(jìn)一步擴(kuò)展無(wú)法同時(shí)實(shí)現(xiàn)高吞吐量和高交互性。從英偉達(dá)Hopper到Rubin Ultra，封裝尺寸大約增長(zhǎng)了4倍。再增長(zhǎng)4倍將接近晶圓級(jí)封裝的極限。
更大的封裝可以縮短數(shù)據(jù)傳輸時(shí)間并提高交互性，但無(wú)法降低固定數(shù)據(jù)傳輸延遲。因此，阿姆達(dá)爾定律限制了未來(lái)通過(guò)進(jìn)一步增大封裝尺寸來(lái)提升交互性的可能性。
數(shù)據(jù)從HBM經(jīng)由中介層進(jìn)入計(jì)算單元的物理路徑并未發(fā)生根本性改變，但隨著跨光罩高帶寬接口的引入，其復(fù)雜性卻日益增加。
因此，以每次緩存命中或未命中時(shí)間衡量的數(shù)據(jù)傳輸延遲已接近或達(dá)到極限，并逐漸成為每個(gè)token延遲中越來(lái)越重要的組成部分。
雖然可以通過(guò)更大層的張量并行性進(jìn)一步縮短每層的數(shù)據(jù)傳輸時(shí)間，但這會(huì)增加功耗和互連延遲。
此外，高吞吐量編碼方案也會(huì)引入編碼和解碼延遲，進(jìn)一步提高每個(gè)token的最低延遲，并限制可實(shí)現(xiàn)的交互性。
如果可以通過(guò)規(guī)模、集成或執(zhí)行來(lái)解決這一權(quán)衡問(wèn)題，那么當(dāng)今計(jì)算生態(tài)系統(tǒng)的核心企業(yè)將是做這件事的主體。由于預(yù)付了數(shù)十億美元以確保獲得領(lǐng)先的邏輯節(jié)點(diǎn)、HBM和先進(jìn)封裝能力，這類(lèi)公司將在軟件、系統(tǒng)集成和供應(yīng)鏈方面擁有巨大的護(hù)城河。
每一代都加倍強(qiáng)化這種方法。系統(tǒng)規(guī)模越來(lái)越大，集成度越來(lái)越高，目標(biāo)也越來(lái)越遠(yuǎn)大。絕對(duì)性能持續(xù)提升，但底層限制卻始終不變，因此仍然無(wú)法同時(shí)實(shí)現(xiàn)高交互性和高吞吐量。
能夠同時(shí)提供高吞吐量和高交互性的硬件，必須同時(shí)解決大規(guī)模數(shù)據(jù)傳輸效率和延遲問(wèn)題。任何僅改善其中一個(gè)維度的方法都只是改變了權(quán)衡的本質(zhì)。
Olix團(tuán)隊(duì)認(rèn)為，從供應(yīng)鏈和制造角度來(lái)看，新的架構(gòu)必須放棄高密度金屬薄膜（HBM）、先進(jìn)封裝或其他任何受現(xiàn)有廠商供應(yīng)鏈限制的技術(shù)。即便是最大的超大規(guī)模數(shù)據(jù)中心運(yùn)營(yíng)商都難以確保產(chǎn)能，初創(chuàng)公司根本無(wú)法與之競(jìng)爭(zhēng)。
從兼容性角度來(lái)看，硬件必須支持現(xiàn)有模型。它不應(yīng)強(qiáng)制要求現(xiàn)有模型具備量子算術(shù)能力/物理理論能力，也不應(yīng)要求采用新的熱力學(xué)神經(jīng)擬態(tài)架構(gòu)，即使這種架構(gòu)承諾在理論上有所改進(jìn)。
從設(shè)計(jì)角度來(lái)看，實(shí)現(xiàn)這一目標(biāo)需要系統(tǒng)級(jí)思考，從光罩級(jí)和晶圓級(jí)設(shè)計(jì)轉(zhuǎn)向機(jī)架級(jí)計(jì)算和數(shù)據(jù)傳輸?shù)膮f(xié)同設(shè)計(jì)，將其作為一個(gè)單一的統(tǒng)一系統(tǒng)。
這個(gè)領(lǐng)域不乏資金雄厚的挑戰(zhàn)者，但他們都陷入了同樣的兩種失敗模式。
有些芯片仍然采用邏輯芯片-中介層-HBM架構(gòu)范式，并且在與新一代GPU/TPU競(jìng)爭(zhēng)時(shí)，仍面臨同樣的交互性-吞吐量權(quán)衡，而這些GPU/TPU采用的是老一代低端HBM和邏輯芯片。
另一些則做得不夠。他們認(rèn)識(shí)到需要一種新的范式，試圖重新塑造交互性的權(quán)衡取舍，但無(wú)法擺脫這種權(quán)衡取舍，仍然受到僅限硅基方法的局限性的制約。
Olix團(tuán)隊(duì)希望擺脫這些限制，創(chuàng)造前沿AI的下一個(gè)范式。
