智東西(公眾號:zhidxcom)
作者 |? 陳駿達(dá)
編輯 |? 云鵬

智東西10月26日報(bào)道,生成式AI技術(shù)正在加速滲透至搜索、推薦和廣告領(lǐng)域,昨日,快手在一場技術(shù)沙龍活動(dòng)中全方位解讀了生成式技術(shù)在快手推薦系統(tǒng)、電商搜索、廣告出價(jià)場景中的實(shí)踐與應(yīng)用。

這場技術(shù)沙龍集齊了快手在推薦、搜索、廣告三大領(lǐng)域(簡稱“搜推廣”)的四位負(fù)責(zé)人,以及來自中國人民大學(xué)、香港城市大學(xué)的學(xué)術(shù)專家,共同探討生成式框架在搜推廣領(lǐng)域的潛力。

快手已經(jīng)將生成式技術(shù)全面運(yùn)用于搜推廣系統(tǒng)。推薦系統(tǒng)方面,快手的OneRec實(shí)現(xiàn)了從傳統(tǒng)判別式到生成式的全面躍遷,具備推理與思考能力,已在主站、電商、極速版等場景落地;短視頻推薦排序框架通過端到端多目標(biāo)融合與對比學(xué)習(xí),實(shí)現(xiàn)了用戶體驗(yàn)的智能自進(jìn)化。

搜索領(lǐng)域的OneSearch以生成式大模型取代“召回—粗排—精排”架構(gòu),顯著提升CTR、CVR和訂單量;廣告出價(jià)環(huán)節(jié)則引入生成式強(qiáng)化學(xué)習(xí),通過GAVE與CBD范式實(shí)現(xiàn)高效、低延遲、全空間優(yōu)化的自動(dòng)出價(jià)。

圓桌對話環(huán)節(jié)中,來自學(xué)術(shù)界的徐君教授與趙翔宇副教授認(rèn)為,生成式范式雖面臨挑戰(zhàn),但其“將搜索與推薦從行為預(yù)測轉(zhuǎn)向意圖理解”的根本性創(chuàng)新,正在改變整個(gè)行業(yè)的技術(shù)邏輯。

徐君指出,“偽范式”的批評并不成立,因?yàn)榭焓值裙疽言谡鎸?shí)商業(yè)場景中驗(yàn)證了其價(jià)值。趙翔宇補(bǔ)充道,大模型憑借自回歸學(xué)習(xí)能力與內(nèi)置世界知識,能夠更精準(zhǔn)地理解復(fù)雜行為序列,為搜索、推薦和廣告建立了新的理論基礎(chǔ)。

在關(guān)于成本與收益的辯論中,快手推薦大模型資深算法專家王詩瑤提出:“不能用昨天的尺子量今天的模型。”她認(rèn)為計(jì)算成本持續(xù)下降、算法回報(bào)卻呈幾何級增長,關(guān)鍵不是算得起,而是配得上算力。

快手商業(yè)化算法部負(fù)責(zé)人蔡慶芃則強(qiáng)調(diào),大模型基礎(chǔ)建設(shè)是一次性成本,而收益是持續(xù)累積的,只要ROI為正,就值得投入。快手貨架電商搜索與推薦算法負(fù)責(zé)人楊一帆進(jìn)一步強(qiáng)調(diào),這個(gè)賬其實(shí)能算清楚,機(jī)器成本會(huì)下降,算法收益會(huì)增長,核心是技術(shù)團(tuán)隊(duì)要有長期視角——“要想著撬動(dòng)新的收益,而不是只壓縮成本。”

一、快手搜推廣技術(shù)探索全揭秘,生成式方案展現(xiàn)潛力

快手在推薦、搜索、廣告領(lǐng)域的四位專家分享了快手在相關(guān)領(lǐng)域的最新技術(shù)進(jìn)展。

1、OneRec:如何重構(gòu)推薦系統(tǒng)的智能邊界與效率標(biāo)準(zhǔn)?

快手推薦大模型資深算法專家王詩瑤認(rèn)為,大模型的興起讓推薦系統(tǒng)從傳統(tǒng)的判別式范式邁向生成式范式,為突破傳統(tǒng)推薦的智能天花板提供了可能。

快手在生成式推薦方面的重要探索為OneRec,其演進(jìn)分為三階段。OneRec V1首次實(shí)現(xiàn)端到端生成式推薦,用單一模型直接生成待推薦內(nèi)容的對應(yīng)token,突破傳統(tǒng)多級判別結(jié)構(gòu)。OneRec?V2則針對算力在Encoder和Decoder側(cè)的不均衡分布進(jìn)行了優(yōu)化,提出Lazy Decoder Only架構(gòu),并采用強(qiáng)化學(xué)習(xí),最終大幅提升計(jì)算效率與可擴(kuò)展性.

最新的OneRec Think則將用戶行為日志視為新模態(tài),與語言模型對齊,讓推薦系統(tǒng)具備推理與思考能力,能夠解釋用戶偏好并生成更具洞察力的推薦。

用生成式AI重構(gòu)推薦、搜索與廣告,快手在下一盤什么大棋?

目前,OneRec已在快手主站、極速版及電商等多場景落地,帶來顯著的業(yè)務(wù)提升。王詩瑤稱,團(tuán)隊(duì)將繼續(xù)探索生成式推薦與大模型的融合,推動(dòng)推薦系統(tǒng)向更智能、更通用的方向演進(jìn)。

2、下一代推薦排序:快手短視頻端到端多目標(biāo)融合框架詳解

快手短視頻推薦算法鏈路機(jī)制策略技術(shù)負(fù)責(zé)人徐曉曉分享了團(tuán)隊(duì)近半年打磨的成果——端到端動(dòng)目標(biāo)排序機(jī)制框架。這是快手近兩年在用戶體驗(yàn)提升最顯著的推薦系統(tǒng)項(xiàng)目之一。

該方案以模型化替代傳統(tǒng)的人工設(shè)計(jì)融合公式,實(shí)現(xiàn)了推薦排序機(jī)制的端到端智能優(yōu)化。通過聚焦“四大挑戰(zhàn)”:候選間比較關(guān)系、用戶滿意度定義、模型可解釋性及離在線一致性,團(tuán)隊(duì)構(gòu)建了系統(tǒng)性解決方案。

比較關(guān)系建模方面,該方案以請求為單位組織候選樣本,引入位置特征與Transformer結(jié)構(gòu),捕捉候選間相對關(guān)系。滿意度定義上,他們提出了“相對優(yōu)勢滿意對度與“多維滿意度代理”,結(jié)合自進(jìn)化的個(gè)性化動(dòng)態(tài)權(quán)重實(shí)現(xiàn)多目標(biāo)平衡。

用生成式AI重構(gòu)推薦、搜索與廣告,快手在下一盤什么大棋?

為增強(qiáng)可解釋性,該團(tuán)隊(duì)引入反事實(shí)樣本生成與對比學(xué)習(xí),保障模型輸出與輸入特征單調(diào)性。同時(shí),為了優(yōu)化離在線一致性,他們定義了“互動(dòng)效率”指標(biāo),消除觀看時(shí)長混淆,實(shí)現(xiàn)離線與線上指標(biāo)統(tǒng)一。

落地結(jié)果顯示,模型在多個(gè)鏈路中顯著提升用戶體驗(yàn),特別是在快手極速版中,停留時(shí)長提升約2%,7日留存提升超3‰。項(xiàng)目標(biāo)志著推薦機(jī)制從規(guī)則驅(qū)動(dòng)邁向智能自進(jìn)化的新階段。

3、讓搜索“一步到位”,快手端到端生成式搜索框架OneSearch

快手貨架電商搜索與推薦算法負(fù)責(zé)人楊一帆介紹了業(yè)界首個(gè)電商搜索端到端生成式框架OneSearch,該框架以生成式大模型全面取代傳統(tǒng)“召回—粗排—精排”架構(gòu),提升搜索系統(tǒng)的相關(guān)性與個(gè)性化體驗(yàn)。

該框架的核心創(chuàng)新體現(xiàn)在三個(gè)方面:首先,關(guān)鍵詞增強(qiáng)層次量化編碼通過結(jié)合RQ與OPQ的五層層次編碼機(jī)制,為每個(gè)商品生成語義豐富的“智能身份證”,精準(zhǔn)提取核心屬性并區(qū)分細(xì)微差異,有效解決了商品標(biāo)題堆砌關(guān)鍵詞、屬性混亂等問題。

其次,多視角用戶行為建模將用戶的短期搜索與點(diǎn)擊行為顯式注入模型,同時(shí)隱式融合長期購買偏好,構(gòu)建具有語義理解能力的用戶標(biāo)識(UID),實(shí)現(xiàn)對用戶即時(shí)意圖與穩(wěn)定興趣的精準(zhǔn)捕捉。

最后,偏好感知獎(jiǎng)勵(lì)系統(tǒng)(PARS)結(jié)合多階段監(jiān)督微調(diào)與強(qiáng)化學(xué)習(xí),對齊線上精排分布,并基于真實(shí)用戶交互數(shù)據(jù)優(yōu)化排序邏輯,從而捕捉更細(xì)粒度的偏好信號。

實(shí)驗(yàn)結(jié)果顯示,OneSearch在CTR、CVR、訂單量等核心指標(biāo)上均顯著提升,訂單量提高3.22%、成本降低75%,在冷啟動(dòng)和長尾查詢場景中表現(xiàn)尤為突出,標(biāo)志著生成式搜索在工業(yè)級電商領(lǐng)域的成功落地。

用生成式AI重構(gòu)推薦、搜索與廣告,快手在下一盤什么大棋?

4、生成式強(qiáng)化學(xué)習(xí)在廣告自動(dòng)出價(jià)場景的技術(shù)實(shí)踐

快手商業(yè)化算法部負(fù)責(zé)人蔡慶芃介紹,快手廣告出價(jià)技術(shù)經(jīng)歷了三次演進(jìn):從基于反饋調(diào)節(jié)的PID控制,到具備預(yù)測能力的MPC模型預(yù)測控制,再到多步?jīng)Q策優(yōu)化的強(qiáng)化學(xué)習(xí)出價(jià)。

針對傳統(tǒng)強(qiáng)化學(xué)習(xí)在序列信息利用和探索效率上的不足,快手提出新一代生成式強(qiáng)化學(xué)習(xí)出價(jià)范式,融合生成模型與強(qiáng)化學(xué)習(xí)優(yōu)勢。

為解決對高質(zhì)量數(shù)據(jù)的依賴,快手推出了GAVE方法(Generative Auto-bidding with Value-Guided Exploration),通過Reture-To-Go模塊和價(jià)值引導(dǎo)探索機(jī)制,最終實(shí)現(xiàn)更好的出價(jià);CBD方法(Causal auto-Bidding via Diffusion completer-aligner)則在生成時(shí)利用trajectory-level aligner更新序列,對齊優(yōu)化目標(biāo)。

用生成式AI重構(gòu)推薦、搜索與廣告,快手在下一盤什么大棋?

實(shí)驗(yàn)表明,該范式提升了廣告轉(zhuǎn)化與成本控制效果,推理延遲僅為毫秒級,可穩(wěn)定在線應(yīng)用。

二、六位專家激辯,生成式框架是未來還是偽范式?

在圓桌對話環(huán)節(jié),中國人民大學(xué)高瓴人工智能學(xué)院教授徐君、香港城市大學(xué)副教授趙翔宇、快手推薦大模型資深算法專家王詩瑤、快手貨架電商搜索與推薦算法負(fù)責(zé)人楊一帆、快手商業(yè)化算法部負(fù)責(zé)人蔡慶芃就生成式框架在搜推廣領(lǐng)域的潛力展開討論,快手推薦模型部排序模型技術(shù)負(fù)責(zé)人唐睿明擔(dān)任主持人。

唐睿明稱,當(dāng)前業(yè)內(nèi)的一大討論是,在搜推廣系統(tǒng),生成式框架到底是不是偽范式,有沒有取代傳統(tǒng)級聯(lián)架構(gòu)的潛力?

徐君認(rèn)為,“偽范式”的批評過于嚴(yán)重,因?yàn)榭焓值裙疽呀?jīng)在大規(guī)模商業(yè)應(yīng)用中看到了實(shí)際效果。生成式框架解決了傳統(tǒng)級聯(lián)架構(gòu)的問題,如錯(cuò)誤傳遞等。

此外,生成式框架將過去搜索與大模型之間“若即若離”的關(guān)系轉(zhuǎn)變?yōu)榫o密捆綁,從而能更好地利用大模型的前沿技術(shù)。

雖然技術(shù)的迭代速度在不斷加快,一項(xiàng)技術(shù)的生命周期從幾十年縮短十幾年,再到幾年,但只要技術(shù)有用,就值得擁抱和嘗試。

趙翔宇認(rèn)為,生成式范式的根本性創(chuàng)新在于,它將推薦系統(tǒng)的核心任務(wù)從傳統(tǒng)的行為相關(guān)性預(yù)測,轉(zhuǎn)變?yōu)榱藢τ脩粢鈭D的深度理解和推理。大模型憑借其自回歸的學(xué)習(xí)能力和內(nèi)置的世界知識,能夠更精準(zhǔn)地解讀用戶復(fù)雜的行為序列,從而為搜索、推薦和廣告建立了一個(gè)全新的、更為強(qiáng)大的理論基礎(chǔ)和實(shí)現(xiàn)模式。

而在工業(yè)界,現(xiàn)實(shí)情況則更為多元。盡管像快手這樣的先行者已經(jīng)通過一個(gè)模型的統(tǒng)一范式取得了顯著收益,證明了其解決傳統(tǒng)級聯(lián)架構(gòu)中目標(biāo)不對齊、誤差累積和資源利用率低等問題的巨大潛力,但許多公司因現(xiàn)狀所限,短期內(nèi)更可能將生成式推薦作為現(xiàn)有成熟體系的一種補(bǔ)充或增強(qiáng)。畢竟,傳統(tǒng)的級聯(lián)模式在低時(shí)延、高并發(fā)的場景下已經(jīng)高度優(yōu)化且穩(wěn)定。

同時(shí),生成式框架當(dāng)前仍面臨即生成效率問題。值得欣喜的是,業(yè)界和學(xué)界已經(jīng)涌現(xiàn)出許多工作來攻克這一難題。

王詩瑤認(rèn)為,生成式推薦可能是未來,也可能只是通向更好技術(shù)的中間形態(tài)。如果未來出現(xiàn)更具優(yōu)勢的新技術(shù),她會(huì)毫不猶豫地?fù)肀ё兓?。但此刻,生成式就是最值得用好的技術(shù)。

她舉例說,如今的推薦系統(tǒng)多是“瀑布式”的,被動(dòng)展示內(nèi)容,而未來可能進(jìn)入對話式推薦場景,用戶會(huì)多輪表達(dá)意圖,這些意圖可能相互關(guān)聯(lián)、甚至矛盾。面對這種復(fù)雜輸入,傳統(tǒng)系統(tǒng)靠規(guī)則拼接是“技術(shù)的倒退”,而生成式模型能更自然地理解并生成結(jié)果。

她還提到,類似的技術(shù)演進(jìn)已在其他領(lǐng)域出現(xiàn),例如特斯拉用端到端模型替代了數(shù)十萬行手寫代碼,正是數(shù)據(jù)與模型驅(qū)動(dòng)的勝利。王詩瑤認(rèn)為,現(xiàn)在正是用好生成式技術(shù)的時(shí)刻。

楊一帆從搜索視角出發(fā),認(rèn)為生成式不是終局,但無疑是一次值得興奮的變革。他指出,在搜索中,對意圖理解、檢索空間與推理能力的要求更高,而生成式模型改變了傳統(tǒng)“篩選優(yōu)化”的邏輯,轉(zhuǎn)向“智能生成”。

同時(shí),生成式范式能更自然地與當(dāng)下大模型的發(fā)展結(jié)合,引入推理、知識等能力。最后他強(qiáng)調(diào),技術(shù)變革也會(huì)帶來產(chǎn)品形態(tài)的革新,如對話式搜索等新交互方式,未來的搜索推薦可能由此形成新的循環(huán)。

蔡慶芃從廣告角度出發(fā),認(rèn)為生成式架構(gòu)的最大優(yōu)勢是“全空間優(yōu)化”。傳統(tǒng)多階段模型目標(biāo)不一致、數(shù)據(jù)分散,優(yōu)化上限受限。端到端生成能在完整空間中找到最優(yōu)的廣告投放策略。

他提到,生成式方法與強(qiáng)化學(xué)習(xí)結(jié)合的潛力巨大,能更好地定義狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì),推動(dòng)真正意義上的業(yè)務(wù)價(jià)值優(yōu)化。過去廣告系統(tǒng)的割裂讓強(qiáng)化學(xué)習(xí)難以落地,而生成式范式能解決這個(gè)問題,讓廣告優(yōu)化不再局限于局部模塊。

三、生成式范式經(jīng)濟(jì)賬怎么算,工業(yè)界、學(xué)術(shù)界究竟需要何種人才?

在關(guān)于成本與收益的討論中,王詩瑤提出:“不能用昨天的尺子量今天的模型?!彼J(rèn)為算法同學(xué)往往被“算力固定”的假設(shè)束縛,但事實(shí)上計(jì)算成本持續(xù)下降,而收入增長潛力巨大。哪怕在高毛利要求下,公司也完全有能力承載更大的模型規(guī)模。她鼓勵(lì)技術(shù)人員更多去思考如何開發(fā)配得上算力的好技術(shù),而不是過早自限。

楊一帆補(bǔ)充說,這個(gè)賬是能算清楚的。機(jī)器成本會(huì)隨時(shí)間下降,工程優(yōu)化會(huì)不斷提升。關(guān)鍵是技術(shù)團(tuán)隊(duì)要保持長期視角,通過算法創(chuàng)新撬動(dòng)新的收益,而不是只想著壓縮成本。

蔡慶芃則認(rèn)為,大模型的基礎(chǔ)建設(shè)是一次性成本,而收入增長是持續(xù)累積的。只要ROI為正,成本問題就不是阻礙。此外,他還強(qiáng)調(diào),通過蒸餾等手段完全可以在保持收益的前提下用更小模型上線。

談到研究方向時(shí),趙翔宇提到兩個(gè)重點(diǎn):一是構(gòu)建更通用的詞表,將語義、交互、地理等多模態(tài)信息融合進(jìn)來;二是設(shè)計(jì)新的詞表評估體系,讓token層的質(zhì)量與推薦效果形成可解釋的閉環(huán)。

楊一帆則希望探索更統(tǒng)一的多模態(tài)編碼,使不同物料(商品、視頻、直播)在同一空間中建模,同時(shí)提升模型的推理能力,從而催生新的交互形態(tài)。

蔡慶芃關(guān)注廣告出價(jià)與推薦中的生成機(jī)制,他認(rèn)為廣告決策是連續(xù)的,需要新的生成結(jié)構(gòu),并對“非自回歸”生成方式非常感興趣——人類思考不是逐字生成,而是從核心意圖出發(fā)再補(bǔ)全細(xì)節(jié)。他還提到,可以通過推理能力更好地理解用戶心理,預(yù)測他們真正的興趣。

在對未來1到3年的展望中,徐君認(rèn)為,未來搜索、推薦和廣告不再是分離的模塊,而會(huì)統(tǒng)一為“個(gè)人信息助手”的形態(tài)。屆時(shí),用戶無需再區(qū)分搜推廣,系統(tǒng)將直接呈現(xiàn)他們真正想要的內(nèi)容。

他還預(yù)測,下一代系統(tǒng)會(huì)從“語義匹配”升級到“語用理解”,真正理解用戶行為背后的動(dòng)機(jī),實(shí)現(xiàn)從工具到智能助手的演進(jìn)。

蔡慶芃則認(rèn)為,未來的最大機(jī)會(huì)不在于對現(xiàn)有模塊進(jìn)行小修小改,而是用生成式技術(shù)重塑廣告系統(tǒng),不只是提升ROI,而是重新定義廣告體系。此外,Agent在廣告場景的應(yīng)用,有望實(shí)現(xiàn)從素材生產(chǎn)到預(yù)算投放實(shí)現(xiàn)全鏈路智能化。

王詩瑤進(jìn)一步暢想,未來推薦也許由“個(gè)人助理”主導(dǎo),這個(gè)助理深知用戶的偏好、經(jīng)歷與購買記錄,能主動(dòng)生成最契合的內(nèi)容。同時(shí),她提到視頻內(nèi)容可能被“實(shí)時(shí)生成”,用戶不再被動(dòng)瀏覽,而是看到“為我生成”的動(dòng)態(tài)視頻世界。

最后在關(guān)于“學(xué)生培養(yǎng)與人才選擇”的話題中,趙翔宇認(rèn)為,當(dāng)下的學(xué)生需要具備縱向的算法深度與橫向的大模型工程能力。既要深入理解傳統(tǒng)搜推體系(協(xié)同過濾、矩陣分解、強(qiáng)化學(xué)習(xí)等),也要掌握大模型的全流程技術(shù)(微調(diào)、特征工程、prompt設(shè)計(jì)等)。他強(qiáng)調(diào),最有價(jià)值的科研往往來源于真實(shí)問題,希望學(xué)生能在實(shí)習(xí)或合作中找到能落地的研究方向。

徐君補(bǔ)充說,基礎(chǔ)仍然是關(guān)鍵,特別是數(shù)學(xué)與邏輯的嚴(yán)謹(jǐn)性。學(xué)生要在“頂天立地”至少找到一個(gè)抓手,要么做理論深度的研究,要么能解決真實(shí)產(chǎn)業(yè)問題。他還提醒,科研的意義不應(yīng)被論文數(shù)量綁架,而應(yīng)關(guān)注實(shí)際價(jià)值。

楊一帆從企業(yè)角度指出,工業(yè)界看重的是業(yè)務(wù)理解力和快速學(xué)習(xí)力。搜推是高度業(yè)務(wù)驅(qū)動(dòng)的領(lǐng)域,技術(shù)人員必須能抽象業(yè)務(wù)問題并將其轉(zhuǎn)化為模型。他建議學(xué)生保持好奇心和學(xué)習(xí)熱情,因?yàn)榧夹g(shù)迭代太快,只有持續(xù)學(xué)習(xí),才能不被時(shí)代落下。

此外,他也希望學(xué)生在學(xué)習(xí)前沿技術(shù)時(shí),不應(yīng)只停留在當(dāng)下的應(yīng)用層面,而應(yīng)當(dāng)了解技術(shù)發(fā)展的歷史與脈絡(luò)。如今很多“AI原生代”同學(xué)直接接觸的是Transformer、大模型等最新成果,卻不了解這些技術(shù)從早期模型一路演進(jìn)的過程。他建議學(xué)生應(yīng)多學(xué)習(xí)計(jì)算機(jī)與人工智能技術(shù)史,理解技術(shù)的迭代邏輯和背后的思想脈絡(luò)。

結(jié)語:生成式技術(shù)改變搜推廣

從端到端的推薦系統(tǒng),到具備推理能力的搜索引擎,再到更為智能的廣告出價(jià)系統(tǒng),生成式技術(shù)正在改變搜推廣的底層邏輯。

正如多位嘉賓所言,生成式不是終點(diǎn),而是通往更智能系統(tǒng)的起點(diǎn)。未來,快手在該領(lǐng)域的探索,值得持續(xù)關(guān)注。