AI應用風向標（公眾號：ZhidxcomAI）
作者｜江宇
編輯｜漠影
智東西1月23日報道，昨日，由開源項目vLLM核心團隊創(chuàng)立的AI基礎設施創(chuàng)企Inferact宣布完成1.5億美元（約合人民幣10.4億元）種子輪融資，投后估值達8億美元（約合人民幣55.7億元）。
Inferact創(chuàng)始成員游凱超稱：“我們的使命，是將vLLM打造成全球領先的AI推理引擎?！?/p>
▲Inferact創(chuàng)始成員游凱超轉載官宣貼（圖源：X）
本輪融資由a16z與Lightspeed領投，真格基金、Sequoia Capital、Altimeter Capital和Redpoint Ventures等跟投。
vLLM是當前最具影響力的開源推理引擎之一，已支持500余種模型架構、適配200多類加速器平臺，廣泛承載全球企業(yè)的大規(guī)模推理任務，Meta、Google、Character.ai等公司也已在生產環(huán)境中部署使用。
vLLM社區(qū)累計貢獻者已超2000人，長期位居GitHub同類項目活躍度前列。Inferact正是在這一深厚開源基礎上誕生。
▲vLLM開源項目主頁（圖源：GItHub）
Inferact的創(chuàng)始團隊幾乎全部來自vLLM核心開發(fā)者陣營。
Inferact CEO由vLLM原始維護者Simon Mo擔任，他曾就讀于加州大學伯克利分校電氣工程與計算機科學系（EECS），主攻機器學習系統(tǒng)設計方向。他在此前供職的AI基礎設施公司Anyscale積累了豐富的落地經驗。
另一位聯(lián)合創(chuàng)始人是vLLM項目的發(fā)起人Woosuk Kwon，擁有加州大學伯克利分校計算機科學博士學位，師從于Ion Stoica教授（Databricks聯(lián)合創(chuàng)始人之一）。
▲Woosuk Kwon（圖源：X）
他提出的Paged Attention算法顯著提升了KV Cache的顯存效率，成為vLLM吞吐性能提升的關鍵機制。
團隊中的另一位核心人物為首席科學家游凱超（Kaichao You），清華特等獎學金獲得者，曾在加州大學伯克利分校EECS系擔任訪問學者。
▲游凱超（圖源：X）
他主導了vLLM分布式推理功能的實現(xiàn)，尤其是對張量并行與PyTorch生態(tài)集成接口的優(yōu)化，使得大模型推理可在多卡環(huán)境中穩(wěn)定運行，開發(fā)門檻顯著降低。
此外，前Roblox高級機器學習工程師Roger Wang作為核心成員加盟。Databricks聯(lián)合創(chuàng)始人Ion Stoica教授和伯克利計算機科學教授Joseph Gonzalez也以深度顧問的身份深度參與項目。
Inferact方面稱，未來將持續(xù)以獨立開源項目形式支持vLLM，并將所有改進回饋社區(qū)；同時，團隊將圍繞多硬件平臺構建更強大的推理基礎設施，助力企業(yè)穩(wěn)定部署AI模型并降低運營成本。
