智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影
智東西5月31日報(bào)道，5月24日-28日，以“奇境漫游”為主題的索尼大型品牌活動“Sony Expo 2023”在上海舉行。本屆展會上，索尼中國研究院旗下多項(xiàng)技術(shù)概念驗(yàn)證結(jié)合索尼人氣娛樂IP內(nèi)容的體驗(yàn)項(xiàng)目悉數(shù)亮相，包括結(jié)合3D內(nèi)容生成和動作捕捉技術(shù)的“虛擬舞蹈實(shí)驗(yàn)室”、可取代人力實(shí)現(xiàn)機(jī)械臂自動拍攝的“智能機(jī)械攝影室”、以觸覺反饋技術(shù)助力演唱會等欣賞體驗(yàn)的“沉浸式觸覺劇場”等。
期間，索尼（中國）副總裁、索尼中國研究院院長竹中幹雄與智東西等媒體進(jìn)行深入交流，分享索尼中國研究院技術(shù)研發(fā)的方向、舉措以及階段性成果。他談道：“中國是一個(gè)高速發(fā)展和充滿無限可能性的市場，并且人才濟(jì)濟(jì)，在中國做研發(fā)能夠更貼近本土的實(shí)際需求、加快研發(fā)成果的概念驗(yàn)證，從而推動實(shí)際落地?！?/p>
一、強(qiáng)化中國本土產(chǎn)學(xué)研合作，已發(fā)力AIGC方向，未來關(guān)注可持續(xù)發(fā)展
竹中幹雄說，索尼中國研究院的使命是“通過開展對索尼技術(shù)的應(yīng)用研究，為中國社會和索尼的業(yè)務(wù)做出貢獻(xiàn)”，研發(fā)聚焦于三個(gè)方向——娛樂、移動出行和可持續(xù)發(fā)展。
索尼中國研究院于2005年在北京設(shè)立了第一個(gè)實(shí)驗(yàn)室，最近幾年又設(shè)立了深圳和上海實(shí)驗(yàn)室，持續(xù)加大在中國的研發(fā)投入。其中，北京實(shí)驗(yàn)室主攻人工智能（AI）、無線通信方面的研究，上海實(shí)驗(yàn)室側(cè)重研究3D內(nèi)容制作，深圳實(shí)驗(yàn)室則側(cè)重于傳感器和機(jī)器人相關(guān)研發(fā)。
從短期來看，兩到三年間，索尼中國研究院會特別聚焦在中國的娛樂（元宇宙）和移動出行領(lǐng)域，期待通過索尼的AI、通信、傳感、機(jī)器人、3D內(nèi)容制作等前端技術(shù)，結(jié)合索尼旗下影視、音樂、動畫、游戲等豐富的娛樂內(nèi)容，打造更加多樣和可及的娛樂內(nèi)容創(chuàng)作和欣賞解決方案。
竹中幹雄談道，AI內(nèi)容創(chuàng)作和AI大模型研究是非常重要的前沿技術(shù)，將會給未來的互聯(lián)網(wǎng)帶來極大沖擊，索尼中國研究院目前在AIGC方向發(fā)力較多。
從中長期來看，五到十年間，索尼中國研究院希望著眼于可持續(xù)發(fā)展，即利用現(xiàn)有的一些工業(yè)互聯(lián)網(wǎng)IoT技術(shù)、傳感器設(shè)備，再結(jié)合上索尼中國研究院開發(fā)的AI和無線移動通信的基礎(chǔ)技術(shù)，應(yīng)用在農(nóng)業(yè)、老齡化、教育等一些中國現(xiàn)存的社會課題領(lǐng)域，運(yùn)用索尼的技術(shù)在本土找到合適的合作伙伴，共同開發(fā)相應(yīng)的解決方案，為中國社會的發(fā)展做出一些貢獻(xiàn)。
▲索尼（中國）有限公司副總裁、索尼中國研究院院長竹中幹雄接受媒體采訪
索尼中國研究院正在向應(yīng)用型研究轉(zhuǎn)型，把基礎(chǔ)技術(shù)應(yīng)用到實(shí)際場景和產(chǎn)品中，以其現(xiàn)有技術(shù)再加上其他技術(shù)進(jìn)行一些適合中國國情的PoC驗(yàn)證，并會面向特定應(yīng)用領(lǐng)域，在中國尋找合適的產(chǎn)學(xué)研合作伙伴來共同進(jìn)行研究和開發(fā)。
竹中幹雄告訴智東西，通過與合作伙伴一起共同研究開發(fā)新的解決方案和新的應(yīng)用，能夠改進(jìn)索尼中國研究院的技術(shù)?？偨Y(jié)來說，基礎(chǔ)技術(shù)研究這部分是由索尼中國研究院獨(dú)自完成的，在基礎(chǔ)研究上面一層的應(yīng)用研究方向，索尼中國研究院希望能夠積極地與外部合作伙伴共同開展。在明確想要在某個(gè)領(lǐng)域?qū)ふ液献骰锇闀r(shí)，索尼中國研究院會本著互補(bǔ)原則，主動提出邀約合作的提案，共同在中國推進(jìn)某一項(xiàng)技術(shù)的發(fā)展。
二、將關(guān)鍵技術(shù)與現(xiàn)有產(chǎn)品融合，探索未來娛樂內(nèi)容創(chuàng)作體驗(yàn)
在Sony Expo 2023上，索尼中國研究院以給創(chuàng)作者提供更多創(chuàng)作可能性和給用戶提供多維娛樂體驗(yàn)為目標(biāo)帶來了三個(gè)主題體驗(yàn)項(xiàng)目。
這些項(xiàng)目展現(xiàn)了索尼中國研究院開發(fā)的關(guān)鍵技術(shù)與現(xiàn)有產(chǎn)品的融合與協(xié)同。其展臺的體驗(yàn)內(nèi)容和空間展示由索尼中國設(shè)計(jì)中心統(tǒng)籌設(shè)計(jì)開發(fā)，整個(gè)展臺是索尼設(shè)計(jì)理念、前端技術(shù)、娛樂IP的一次融合和展示，是索尼對未來娛樂內(nèi)容創(chuàng)作和體驗(yàn)的思考成果。
▲索尼中國研究院Sony Expo 2023展臺全貌
（1）“虛擬舞蹈實(shí)驗(yàn)室”體驗(yàn)區(qū)：參觀者可以先進(jìn)入綠幕拍攝區(qū)，拍下自己的真實(shí)三維形象，然后佩戴索尼的輕量級動作捕捉設(shè)備，跟著索尼大屏電視上的RAYNOS-chan卡通人物形象簡單舞動，記錄下自己的動作數(shù)據(jù)，經(jīng)過索尼的系統(tǒng)生成加工后，就可以在索尼的空間現(xiàn)實(shí)顯示屏上裸眼欣賞到自己的三維形象在3D空間中跳舞。
竹中幹雄談道，這個(gè)項(xiàng)目用到了輕量級動作捕捉系統(tǒng)mocopi、空間現(xiàn)實(shí)顯示設(shè)備Spatial Reality Display兩個(gè)既有產(chǎn)品，與自由視點(diǎn)體積捕捉拍攝技術(shù)（FVV）相結(jié)合，瞬間就能生成3D人物，從而創(chuàng)造一種全新的娛樂體驗(yàn)。索尼中國研究院會提出各種新的應(yīng)用方法提案，然后進(jìn)行實(shí)驗(yàn)價(jià)值驗(yàn)證。
該項(xiàng)技術(shù)已經(jīng)于索尼在華的首個(gè)黑彩晶虛擬制作影棚開始了概念驗(yàn)證實(shí)驗(yàn)，將有望幫助內(nèi)容創(chuàng)作者甚至普通用戶以更輕量級、更可及的方式創(chuàng)造虛擬3D內(nèi)容，將現(xiàn)實(shí)真實(shí)世界映射到元宇宙中。
（2）“智能機(jī)械攝影室”體驗(yàn)區(qū)：參觀者可在一個(gè)由索尼虛擬制作技術(shù)打造出的《尼爾：機(jī)械紀(jì)元》游戲場景中近距離接觸游戲主角尤爾哈B型二號（YoRHa No.2 Type B）。選好游戲關(guān)卡背景后，拍攝機(jī)器人能夠自動追蹤并記錄下參觀者與尤爾哈的合照影像，并支持免費(fèi)下載領(lǐng)取電子照片留念。
這是索尼中國研究院探索的機(jī)械臂在娛樂場景的用例，也是全場最大的一個(gè)體驗(yàn)區(qū)。拍攝機(jī)器人可智能化的完成追蹤、對焦、構(gòu)圖、拍攝的功能，提供穩(wěn)定的拍攝質(zhì)量，極大節(jié)省人力。未來，索尼中國研究院將進(jìn)一步在該概念驗(yàn)證中加入可實(shí)時(shí)移動的中小屏背景，打造更加輕量級，小面積空間可實(shí)現(xiàn)的虛擬制作解決方案。
▲在“智能機(jī)械攝影室”體驗(yàn)區(qū)，機(jī)器人正在給體驗(yàn)者拍照
（3）“沉浸式觸覺劇場”：參觀者可以站上特制的地板區(qū)域，觀看電視中索尼音樂旗下藝人LiSA演唱會的精彩內(nèi)容。地板上搭載了索尼的觸覺反饋技術(shù)，使得參觀者能與LiSA的歌聲同頻共振，通過不同波形的震動效果感受演唱會中的高潮起伏，實(shí)現(xiàn)360音頻、視頻、觸感多維一體的沉浸式娛樂體驗(yàn)。
目前，觸覺反饋技術(shù)已應(yīng)用于索尼PlayStation 5游戲機(jī)的DualSense手柄、索尼Xperia智能手機(jī)的部分型號中。竹中幹雄說，索尼中國研究院考慮將這一技術(shù)應(yīng)用于元宇宙空間中，尤其是在大型娛樂、體驗(yàn)型設(shè)施的應(yīng)用，提供大型空間的沉浸式娛樂解決方案，現(xiàn)在已與國內(nèi)部分合作伙伴在合作洽談中。
▲索尼中國研究院Sony Expo 2023展臺全貌
結(jié)語：技術(shù)研發(fā)創(chuàng)新是根本基石
索尼中國研究院在華領(lǐng)銜的首次出展，旨在對外溝通和交流索尼在華技術(shù)研發(fā)舉措及階段性成果，進(jìn)一步貼近本土創(chuàng)意娛樂社群，攜手更多優(yōu)秀合作伙伴共同進(jìn)行新時(shí)代下新應(yīng)用場景的探索與實(shí)踐。
竹中幹雄說，多元化的業(yè)務(wù)是索尼獨(dú)特的優(yōu)勢，而技術(shù)研發(fā)創(chuàng)新是根本的基石，立足長遠(yuǎn)，索尼中國研究院關(guān)注的領(lǐng)域?qū)⒏鼮閺V泛，如可持續(xù)發(fā)展等，會進(jìn)一步開放對外交流，強(qiáng)化中國本土的產(chǎn)學(xué)研合作，以期更加融入和貢獻(xiàn)于中國的產(chǎn)業(yè)升級和社會發(fā)展。
