智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影

智東西7月30日報道，在國際頂級計算機(jī)圖形學(xué)會議SIGGRAPH 2024上，NVIDIA今日發(fā)布了通用場景描述（OpenUSD）的重大成果，以擴(kuò)大其在機(jī)器人、工業(yè)設(shè)計和工程領(lǐng)域的應(yīng)用，有助于幫助開發(fā)者提高構(gòu)建高精度虛擬世界的能力，這對AI后續(xù)發(fā)展很是重要。

今天NVIDIA新發(fā)布的內(nèi)容包括適用于AI模型的NVIDIA NIM微服務(wù)，可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質(zhì)應(yīng)用于3D物體、理解3D空間和物理學(xué)以幫助加快數(shù)字孿生的開發(fā)等。全球首個用于OpenUSD開發(fā)的生成式AI模型將以NVIDIA NIM微服務(wù)的形式提供。

其他還包括可用于機(jī)器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器，以及各種開發(fā)者工具，用戶可通過它們將海量NVIDIA RTX全光線追蹤數(shù)據(jù)集傳輸?shù)教O果Vision Pro。

通過基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平臺構(gòu)建的NVIDIA加速的開發(fā)框架，越來越多的行業(yè)現(xiàn)在能夠開發(fā)出用于可視化工業(yè)設(shè)計和工程項目的應(yīng)用，以及用于構(gòu)建新一代物理AI和機(jī)器人的環(huán)境仿真的應(yīng)用。

一、新NIM微服務(wù)：將生成式AI應(yīng)用于USD

OpenUSD是一個通用3D數(shù)據(jù)交換框架。NVIDIA去年與皮克斯、Adobe、蘋果、Autodesk共同創(chuàng)立了OpenUSD聯(lián)盟，并通過該聯(lián)盟與其他伙伴一起發(fā)布了 OpenUSD的新版本、OpenUSD核心規(guī)范的進(jìn)展以及新成員的加入情況。

NVIDIA開發(fā)的全球首個用于OpenUSD開發(fā)的生成式AI模型將以NVIDIA NIM微服務(wù)的形式提供。這些模型使得開發(fā)者能將生成式AI copilot和agents整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業(yè)、汽車行業(yè)和機(jī)器人等新工業(yè)領(lǐng)域的應(yīng)用。

預(yù)覽版中的微服務(wù)包括：

  • USD Code NIM微服務(wù)：回答常識性O(shè)penUSD問題，并基于文本提示自動生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應(yīng)用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應(yīng)用，以實(shí)現(xiàn)相應(yīng)3D數(shù)據(jù)的可視化。
  • USD Search NIM微服務(wù)：使開發(fā)者能夠使用自然語言或圖像輸入，在海量OpenUSD、3D和圖像數(shù)據(jù)庫中進(jìn)行搜索。
  • USD Validate NIM微服務(wù)：檢查上傳文件與OpenUSD發(fā)布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應(yīng)用編程接口）驅(qū)動的RTX渲染路徑追蹤圖像。

即將提供的新微服務(wù)包括：

  • USD Layout NIM微服務(wù)：使用戶能夠基于空間智能，根據(jù)一系列文本提示組裝出基于OpenUSD的場景。
  • USD SmartMaterial NIM微服務(wù)：預(yù)測并將逼真的材料應(yīng)用于計算機(jī)輔助設(shè)計對象。
  • fVDB Mesh Generation NIM微服務(wù)：根據(jù)點(diǎn)云數(shù)據(jù)生成基于OpenUSD的網(wǎng)絡(luò)，并通過 Omniverse Cloud API進(jìn)行渲染。
  • fVDB Physics Super-Res NIM微服務(wù)：對幀或幀序列執(zhí)行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。
  • fVDB NeRF-XL NIM微服務(wù)：使用Omniverse Cloud API在OpenUSD中生成大規(guī)模神經(jīng)輻射場。

全球制造業(yè)巨頭富士康受益于NVIDIA的計算平臺，利用NIM 微服務(wù)和Omniverse為一家正在開發(fā)中的工廠創(chuàng)建了數(shù)字孿生。

全球領(lǐng)先的營銷與傳播服務(wù)公司W(wǎng)PP是USD Search和USD Code NIM微服務(wù)的早期用戶之一，將這些微服務(wù)用于其基于NVIDIA Omniverse構(gòu)建的生成式AI內(nèi)容創(chuàng)建管線中，為可口可樂公司等客戶提供服務(wù)。

富士康首席數(shù)字官兼智能制造平臺負(fù)責(zé)人史喆認(rèn)為，NVIDIA Omniverse和全新的NIM微服務(wù)將使數(shù)字孿生的開發(fā)變得更加普及，并幫助富士康的團(tuán)隊以前所未有的速度構(gòu)建基于物理的虛擬工廠。

二、新USD連接器：加速數(shù)據(jù)無縫導(dǎo)入，助攻機(jī)器人開發(fā)

除了微服務(wù)外，NVIDIA還推出了多款適用于機(jī)器人數(shù)據(jù)格式和蘋果Vision Pro流式傳輸?shù)娜耈SD連接器。這些連接器將為更多行業(yè)帶來OpenUSD互操作性與高級創(chuàng)作能力。

NVIDIA與工業(yè)巨頭西門子正在擴(kuò)大合作，將把OpenUSD流水線與西門子Simcenter仿真技術(shù)組合集成，以支持基于證據(jù)的決策和關(guān)鍵利益相關(guān)方之間的協(xié)作，實(shí)現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實(shí)時、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。西門子將把Omniverse納入到其Teamcenter產(chǎn)品生命周期管理軟件組合中，為這項工作打好基礎(chǔ)。

NVIDIA還發(fā)布了一個從統(tǒng)一機(jī)器人描述格式到OpenUSD的連接器，以便機(jī)器人專家能夠?qū)⑺麄兊臋C(jī)器人數(shù)據(jù)無縫導(dǎo)入到用于設(shè)計、仿真和強(qiáng)化學(xué)習(xí)等用途的各種應(yīng)用中。

為了推動OpenUSD生態(tài)系統(tǒng)的擴(kuò)張，NVIDIA發(fā)布了OpenUSD Exchange軟件開發(fā)套件，幫助開發(fā)者創(chuàng)建出自己的強(qiáng)大OpenUSD數(shù)據(jù)連接器。

新的開發(fā)者工具和API可通過NVIDIA Graphics Delivery Network（GDN），將大規(guī)模OpenUSD場景從基于Omniverse平臺構(gòu)建的應(yīng)用流式傳輸?shù)?。目前，這些新工具和API提供搶先體驗版本。

NVIDIA API目錄現(xiàn)在提供USD Search、USD Code和USD Validate NIM微服務(wù)的預(yù)覽版。OpenUSD – URDF連接器與NVIDIA Isaac Sim一起提供。

開發(fā)者可使用全新Omniverse開發(fā)者工具和參考工作流，將生成式AI集成到OpenUSD工作流中，使用OpenUSD構(gòu)建生成式AI賦能的合成數(shù)據(jù)管線。

結(jié)語：重工業(yè)的生成式AI潮已經(jīng)到來

“重工業(yè)的生成式AI潮已經(jīng)到來?！盢VIDIA Omniverse與仿真技術(shù)副總裁Rev Lebaredian說，“直到最近，數(shù)字世界的主要用戶還是創(chuàng)意行業(yè)；而現(xiàn)在，借助NVIDIA NIM微服務(wù)為OpenUSD帶來的增強(qiáng)功能和可訪問性，各個行業(yè)都可以創(chuàng)建基于物理學(xué)的虛擬世界和數(shù)字孿生，在加快創(chuàng)新的同時，為機(jī)器人這次新一輪AI技術(shù)熱潮做好準(zhǔn)備?！?/p>

NVIDIA不僅在AI領(lǐng)域持續(xù)領(lǐng)先，也是推動工業(yè)元宇宙發(fā)展的積極貢獻(xiàn)者。今日的新發(fā)布則是NVIDIA為改變3D內(nèi)容創(chuàng)作和交互方式所提供的新利器，也反映了這家計算巨頭為推動USD發(fā)展所做出的最新努力。

數(shù)字孿生將為加速新一波工業(yè)制造和自主機(jī)器的發(fā)展提供助力。生成式AI模型則有望提供更高效、更準(zhǔn)確的模擬，進(jìn)而提高工業(yè)應(yīng)用的性能和可靠性。在工業(yè)數(shù)字化和內(nèi)容創(chuàng)作領(lǐng)域，越來越多的企業(yè)開始利用OpenUSD和生成式AI技術(shù)來突破工業(yè)元宇宙、數(shù)字孿生、3D內(nèi)容創(chuàng)作等解決方案的邊界。隨著NVIDIA持續(xù)推出更多好用的NIM微服務(wù)和USD連接器，該公司將在這股浪潮中處于有利地位。