智東西（公眾號(hào)：zhidxcom）
作者 | 程茜
編輯 | 云鵬
智東西1月29日?qǐng)?bào)道，今日下午，清華系A(chǔ)I Infra明星創(chuàng)企清程極智發(fā)布一站式大模型服務(wù)測(cè)評(píng)與API調(diào)用平臺(tái)AI Ping。該平臺(tái)目前覆蓋了500多個(gè)主流大模型及30多個(gè)大模型服務(wù)商。
這一平臺(tái)可以為開(kāi)發(fā)者的兩大核心需求提供支持：一是通過(guò)7×24小時(shí)專業(yè)的持續(xù)評(píng)測(cè)，為開(kāi)發(fā)者提供可驗(yàn)證的大模型性能榜單；二是借助統(tǒng)一API接口、智能路由調(diào)度等功能，幫助需通過(guò)云端調(diào)用大模型的開(kāi)發(fā)者縮快速選定高性價(jià)比模型、大模型API服務(wù)商等。
清程極智聯(lián)合創(chuàng)始人、產(chǎn)品副總裁師天麾透露，在可用性方面，AI Ping的服務(wù)路由功能可以將API服務(wù)調(diào)用成功率提升到99.99%以上，在性價(jià)比方面，開(kāi)發(fā)者使用服務(wù)路由功能，相比于直接調(diào)用模型，API的平均成本可以降低37%、延遲降低超20%、吞吐量提升超90%。
AI Ping已經(jīng)于2025年9月9日開(kāi)啟公測(cè)，今天正式發(fā)布，師天麾稱，公測(cè)至今，該平臺(tái)累計(jì)注冊(cè)了數(shù)萬(wàn)名用戶，承載了單日500億token的消耗與請(qǐng)求量。
未來(lái)，AI Ping的升級(jí)重點(diǎn)將圍繞接入更多模型和服務(wù)商、更全面的評(píng)測(cè)體系和更豐富的評(píng)測(cè)指標(biāo)、更強(qiáng)穩(wěn)定性和高性價(jià)比的智能路由展開(kāi)。
一、7×24小時(shí)不間斷測(cè)評(píng)，智能路由使調(diào)用成本降低37%
AI Ping有三大核心優(yōu)勢(shì)，其接入了30多家大模型服務(wù)商和500多個(gè)大模型；并且會(huì)對(duì)大模型API服務(wù)進(jìn)行7×24小時(shí)的不間斷測(cè)試；智能路由能力會(huì)根據(jù)用戶需求提供高性價(jià)比大模型。
其中，師天麾談道，AI Ping的評(píng)測(cè)有以下幾個(gè)特點(diǎn)，他們的評(píng)測(cè)會(huì)從真實(shí)用戶視角出發(fā)，進(jìn)行端到端評(píng)測(cè)；模型會(huì)在同模型、同輸入、同時(shí)段進(jìn)行對(duì)比；通過(guò)動(dòng)態(tài)輸入設(shè)計(jì)，規(guī)避緩存的干擾；7×24小時(shí)的多地域分布式監(jiān)測(cè)；評(píng)測(cè)結(jié)果還會(huì)與廠商的后臺(tái)數(shù)據(jù)進(jìn)行交叉驗(yàn)證。
AI Ping平臺(tái)上會(huì)展示大模型的延遲吞吐等基本性能，以及多個(gè)熱門(mén)模型在7天內(nèi)的指標(biāo)。如下圖所示，其中縱軸是延遲、橫軸是吞吐。開(kāi)發(fā)者可以根據(jù)這樣的圖表，快速選擇低延遲、高吞吐的大模型。
在每個(gè)模型的詳情頁(yè)面下，其還會(huì)匯總各個(gè)服務(wù)商七天內(nèi)的評(píng)測(cè)指標(biāo)。對(duì)于用戶關(guān)心的大模型服務(wù)指標(biāo)，AI Ping會(huì)對(duì)上下文長(zhǎng)度、最大輸入輸出長(zhǎng)度進(jìn)行匯總，并對(duì)模型廠商提供的指標(biāo)進(jìn)行測(cè)試驗(yàn)證。
AI Ping也會(huì)為開(kāi)發(fā)者提供篩選、排序功能。開(kāi)發(fā)者可以根據(jù)關(guān)鍵詞篩選、按照一定順序排序等，快速找到符合自己需求的大模型。
師天麾提到，為了讓用戶更方便、快捷選擇模型，AI Ping還提供了智能路由功能。
智能路由的第一個(gè)階段是模型路由。他補(bǔ)充說(shuō)，假設(shè)這樣一個(gè)場(chǎng)景，A模型便宜但只能回答80%的問(wèn)題、B模型貴但能回答95%的問(wèn)題。模型路由就可以將這兩個(gè)模型混合成一個(gè)模型，提供價(jià)格適中、準(zhǔn)確率更高的模型。
研究人員在AI Ping上選擇了當(dāng)前較熱門(mén)的幾個(gè)模型進(jìn)行了實(shí)驗(yàn)，其中的成本優(yōu)先、均衡模式、效果優(yōu)先三個(gè)路由模型證明，模型路由的縱坐標(biāo)性能高于任何一個(gè)單一模型，且成本并不是非常高。
第二個(gè)階段是選擇大模型API服務(wù)商，也就是服務(wù)路由。
AI Ping可以幫助用戶把每一條請(qǐng)求發(fā)送給當(dāng)前滿足用戶需求、性價(jià)比高的大模型API服務(wù)商。開(kāi)發(fā)者可以在AI Ping里描述自己的請(qǐng)求，如延遲在3秒以內(nèi)等，網(wǎng)頁(yè)上就會(huì)自動(dòng)彈出符合這些需求的服務(wù)商。
師天麾透露，在可用性方面，AI Ping的服務(wù)路由功能可以將API服務(wù)調(diào)用成功率提升到99.99%以上，在性價(jià)比方面，開(kāi)發(fā)者使用服務(wù)路由功能，相比于直接調(diào)用模型，API的平均成本可以降低37%、延遲降低超20%、吞吐量提升超90%。
二、AI應(yīng)用開(kāi)發(fā)平終極目標(biāo)：用戶提需求就能自動(dòng)匹配
大模型API的服務(wù)形式對(duì)開(kāi)發(fā)者和應(yīng)用AI的企業(yè)有不少優(yōu)勢(shì)。
師天麾談道，其中有低門(mén)檻、低使用成本，可擴(kuò)展性強(qiáng)，開(kāi)箱即用，免費(fèi)的安全部署等增值服務(wù)四大優(yōu)勢(shì)。
基于此，開(kāi)發(fā)者既可以低成本部署模型，也可以避免自己部署模型帶來(lái)的安全風(fēng)險(xiǎn)。
國(guó)際市研機(jī)構(gòu)IDC的數(shù)據(jù)顯示，2025年上半年，國(guó)內(nèi)大模型API服務(wù)呈現(xiàn)爆發(fā)式增長(zhǎng)態(tài)勢(shì)，同比增長(zhǎng)421.2%。
大模型API服務(wù)在國(guó)內(nèi)發(fā)展迅猛背后有兩大關(guān)鍵原因。首先在供給側(cè)，中國(guó)擁有最繁榮的開(kāi)源模型生態(tài)，且國(guó)產(chǎn)AI算力增長(zhǎng)飛速，其次在需求側(cè)，企業(yè)希望大模型服務(wù)能夠做到低成本、低門(mén)檻。
但在真正的AI應(yīng)用開(kāi)發(fā)過(guò)程中，想要選擇合適的大模型以及大模型API服務(wù)并不容易。
師天麾稱，AI應(yīng)用開(kāi)發(fā)大致可以分為分析問(wèn)題、設(shè)計(jì)工作流、選擇大模型、選擇大模型API服務(wù)商、輸出結(jié)果、優(yōu)化效果幾個(gè)環(huán)節(jié)。但企業(yè)和開(kāi)發(fā)者在選擇大模型、選擇大模型API服務(wù)時(shí)有較多痛點(diǎn)。
首先在模型層面，模型更新迭代速度快，開(kāi)發(fā)者需要在多家平臺(tái)反復(fù)切換模型、互相對(duì)比、驗(yàn)證效果，還要考慮模型定價(jià)、上下文窗口長(zhǎng)度、使用場(chǎng)景等的影響。
其次，大模型API服務(wù)商即使提供相同模型，但服務(wù)性能的差距也會(huì)很大。再加上需求側(cè)企業(yè)的關(guān)注點(diǎn)各不相同，需要和大模型服務(wù)商的產(chǎn)品相匹配。
因此，在師天麾看來(lái)，未來(lái)開(kāi)發(fā)者需要一個(gè)統(tǒng)一的平臺(tái)，用戶可以在此之上查看、使用模型，以數(shù)據(jù)評(píng)測(cè)驅(qū)動(dòng)為企業(yè)提供科學(xué)的標(biāo)準(zhǔn)，最后基于評(píng)測(cè)數(shù)據(jù)提供進(jìn)一步服務(wù)。
這樣的平臺(tái)比較理想的終極目標(biāo)就是，用戶發(fā)送請(qǐng)求，平臺(tái)可以直接匹配最適合的模型服務(wù)商。
三、清程極智已圍繞大模型訓(xùn)練、推理、應(yīng)用全棧布局
清程極智作為AI Infra創(chuàng)企，目前已經(jīng)圍繞大模型訓(xùn)練、大模型推理、大模型應(yīng)用推出了不同的產(chǎn)品。
八卦爐解決的是大模型訓(xùn)練與微調(diào)的場(chǎng)景需求。
此前，由于國(guó)內(nèi)大模型研究機(jī)構(gòu)受限于海外先進(jìn)算力難獲取、國(guó)內(nèi)算力軟件生態(tài)相對(duì)不夠完善，清程極智構(gòu)建了智能計(jì)算軟件棧八卦爐，圍繞跨體系架構(gòu)的算子適配、集群通信、負(fù)載均衡等進(jìn)行了優(yōu)化。
清程極智創(chuàng)始人、CEO湯雄超透露，該產(chǎn)品已經(jīng)在多個(gè)重大項(xiàng)目中落地，支撐大模型的大規(guī)模集群訓(xùn)練需求。
在大模型推理層面，清程極智推出了大模型推理引擎赤兔。湯雄超稱，目前只需要一臺(tái)國(guó)產(chǎn)智算服務(wù)器就可以部署DeepSeek超大參數(shù)量的模型。
去年年底，該公司進(jìn)一步發(fā)布了針對(duì)大規(guī)模集群進(jìn)行特定深度優(yōu)化的版本，支持了包括華為CM384超節(jié)點(diǎn)等多種集成環(huán)境。
該推理引擎已經(jīng)在金融、能源安全等領(lǐng)域落地，滿足企業(yè)在華為昇騰、海光、沐曦、英偉達(dá)等多種算力平臺(tái)上部署高性價(jià)比大模型的需求。
此次AI Ping平臺(tái)，是清程極智圍繞大模型規(guī)模化應(yīng)用落地、AI智能體爆發(fā)的行業(yè)背景推出的。
湯雄超認(rèn)為，在大模型應(yīng)用場(chǎng)景中，最關(guān)鍵的AI Infra需求是智能路由，基于此，海量應(yīng)用可以找到最好、最快、最穩(wěn)定、最便宜的大模型服務(wù)。
結(jié)語(yǔ)：一站式搞定大模型選型與調(diào)用，普惠中小開(kāi)發(fā)者
從大模型應(yīng)用生態(tài)視角看，清程極智AI Ping的出現(xiàn)，或有望破解大模型服務(wù)碎片化、選型難、成本高、穩(wěn)定性差的行業(yè)痛點(diǎn)，進(jìn)一步加速大模型從技術(shù)到商業(yè)落地的全鏈路效率。
其采用一站式評(píng)測(cè)+智能路由的方式，開(kāi)發(fā)者無(wú)需自行測(cè)試、對(duì)比多家服務(wù)商，可快速鎖定高性價(jià)比模型，直接降低大模型應(yīng)用的試錯(cuò)與研發(fā)成本。這將進(jìn)一步普惠中小開(kāi)發(fā)者與創(chuàng)業(yè)團(tuán)隊(duì)，其無(wú)需自建算力、精通底層Infra，就能通過(guò)API調(diào)用低成本使用頂級(jí)大模型能力。
