DeepSeek R1具有強(qiáng)大的推理能力，能夠通過(guò)多次推理和思考得出問(wèn)題的最佳答案。但其中每一步推理和思考都會(huì)消耗大量的計(jì)算資源，進(jìn)而提高了單次推理的算力成本。如何縮減DeepSeek R1的推理算力成本，降低私有化部署門(mén)檻，是全行業(yè)共同面臨的難題。
今年3月，清程極智聯(lián)合清華大學(xué)翟季冬教授團(tuán)隊(duì)開(kāi)源了大模型推理引擎赤兔（Chitu），率先實(shí)現(xiàn)了在非H卡設(shè)備運(yùn)行原生FP8模型突破。實(shí)測(cè)數(shù)據(jù)顯示，使用赤兔引擎在H800集群上部署滿血版DeepSeek R1，相比于vLLM部署方案，能夠在減少50%的GPU使用量的同時(shí)，將輸出速度提升3.15倍。這意味著通過(guò)赤兔推理引擎，企業(yè)可以通過(guò)更少的硬件資源，實(shí)現(xiàn)更高的性能，大幅降低推理模型的私有化部署成本。
3月27日19點(diǎn)，智猩猩「DeepSeek大解讀」系列公開(kāi)課第6期將開(kāi)講，由清程極智聯(lián)合創(chuàng)始人唐適之博士主講，主題為《低成本DeepSeek R1推理挑戰(zhàn)與赤兔推理引擎實(shí)踐》。
本次公開(kāi)課，唐適之博士首先會(huì)對(duì)DeepSeek R1與日益增長(zhǎng)的算力需求進(jìn)行分析，并探討有限硬件資源下的大模型推理取舍之道。之后，唐適之博士還會(huì)深入講解開(kāi)源大模型推理引擎“赤兔”如何降低DeepSeek R1推理所需的硬件成本，尤其是在更廣泛GPU上的FP8數(shù)據(jù)類型的推理優(yōu)化實(shí)踐。
公開(kāi)課內(nèi)容
主題：低成本 DeepSeek R1 推理挑戰(zhàn)與赤兔推理引擎實(shí)踐
提綱：
1、DeepSeek R1 與日益增長(zhǎng)的算力需求
2、有限硬件資源下的大模型推理取舍
3、“赤兔”方案：更廣泛 GPU 上的 FP8 推理優(yōu)化
主講人
唐適之，清程極智聯(lián)合創(chuàng)始人，清華大學(xué)計(jì)算機(jī)專業(yè)學(xué)士、博士，負(fù)責(zé)清程極智并行訓(xùn)練、推理框架、算子優(yōu)化等各類技術(shù)研發(fā)。唐適之曾獲全國(guó)信息學(xué)奧賽 NOI 金牌，曾為清華大學(xué)國(guó)際超算競(jìng)賽 ASC/ISC/SC 三冠團(tuán)隊(duì)成員，主要的學(xué)術(shù)研究領(lǐng)域包括編程語(yǔ)言、異構(gòu)計(jì)算等，代表工作為 FreeTensor 編程框架。
直播時(shí)間
3月27日19:00
