智東西（公眾號(hào)：zhidxcom）
作者 | 楊暢
編輯 | Panken
智東西7月25日消息，近日，由耶魯-新加坡國(guó)立大學(xué)學(xué)院（Yale-NUS College）副教授Robby Tan領(lǐng)導(dǎo)的研究團(tuán)隊(duì)，在2021年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（CVPR）上發(fā)表了三項(xiàng)研究，介紹利用計(jì)算機(jī)視覺(jué)技術(shù)提高錄制時(shí)受環(huán)境因素影響視頻的分析準(zhǔn)確度。
這三項(xiàng)研究分別優(yōu)化了解決降雨因素、夜間因素和人群密集環(huán)境因素這3種視頻分析中較常見(jiàn)問(wèn)題的方法，均可用于改善監(jiān)控設(shè)備、自動(dòng)駕駛汽車、視頻游戲和體育節(jié)目轉(zhuǎn)播等與計(jì)算機(jī)視覺(jué)相關(guān)的應(yīng)用性能。
第一項(xiàng)研究介紹科研人員利用幀對(duì)齊和深度估計(jì)等方法，實(shí)現(xiàn)同時(shí)處理雨天錄制視頻中雨水條紋和雨幕效果這兩種主要影響視頻清晰度的問(wèn)題。
該論文題目為《具有傳輸深度一致性的自對(duì)齊視頻去降雨影響（Self-Aligned Video Deraining with Transmission-Depth Consistency）》，發(fā)表在2021年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（會(huì)議時(shí)間6月19至6月25日）上。
論文地址：
https://openaccess.thecvf.com/content/CVPR2021/papers/Yan_Self-Aligned_Video_ Deraining_With_Transmission Depth_Consistency_CVPR_2021_paper.pdf
第二項(xiàng)研究是研究人員通過(guò)訓(xùn)練半監(jiān)督網(wǎng)絡(luò)來(lái)增加視頻動(dòng)態(tài)范圍和抑制光效應(yīng)，更徹底地解決了夜間視頻清晰度問(wèn)題。
該論文題目為《通過(guò)增加動(dòng)態(tài)范圍和抑制燈光效果來(lái)增強(qiáng)夜間能見(jiàn)度（Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects）》，發(fā)表在2021年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議上。
論文地址：
https://openaccess.thecvf.com/content/CVPR2021/papers/Sharma_Nighttime_Visibility_Enhancement_by_ Increasing_the_Dynamic_Range_and_Suppression_CVPR_2021_paper.pdf
第三項(xiàng)研究同樣也是處理環(huán)境因素的影響，但不是雨天和夜間這種自然環(huán)境因素，而是視頻中出現(xiàn)人群密集這種社會(huì)場(chǎng)景因素影響。研究人員結(jié)合自頂向下和自底向上方法，提高了估計(jì)視頻中3D人體姿態(tài)準(zhǔn)確度，進(jìn)而提升了視頻處理效果。
該論文題目為《基于自頂向下和自底向上網(wǎng)絡(luò)的單目三維多人姿態(tài)估計(jì)（Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks）》，發(fā)表在2021年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議上。
論文地址：
https://openaccess.thecvf.com/content/CVPR2021/papers/Cheng_Monocular_3D_Multi-Person_Pose_Estimation_by_Integrating_Top-Down_and_Bottom-Up_CVPR_2021_paper.pdf
一、計(jì)算機(jī)視覺(jué)分析易受環(huán)境影響
計(jì)算機(jī)視覺(jué)技術(shù)越來(lái)越多地應(yīng)用于自動(dòng)監(jiān)控系統(tǒng)、自動(dòng)駕駛汽車、人臉識(shí)別、護(hù)理和社交距離工具等領(lǐng)域。
用戶需要準(zhǔn)確可靠的視覺(jué)信息，才能充分利用視頻分析應(yīng)用程序優(yōu)勢(shì)，但是視頻數(shù)據(jù)質(zhì)量通常會(huì)受到環(huán)境因素影響，例如拍攝時(shí)在下雨或處于夜間環(huán)境，以及視頻圖像中存在人群（一個(gè)場(chǎng)景中有多個(gè)重疊的人的圖像）這三種較常見(jiàn)情況。這三種場(chǎng)景在實(shí)際中可能單獨(dú)出現(xiàn)，也可能混合出現(xiàn)。
具體來(lái)說(shuō)，下雨降低視頻能見(jiàn)度的原因包括雨水流下產(chǎn)生的條紋和雨水積聚（或稱雨幕效果）。
雨水條紋部分會(huì)遮擋背景外觀，導(dǎo)致視頻圖像場(chǎng)景看起來(lái)模糊。雨水積聚就像出現(xiàn)霧一樣，會(huì)沖淡場(chǎng)景顏色，降低視頻整體對(duì)比度并產(chǎn)生遮蔽效果。這兩者都會(huì)降低場(chǎng)景能見(jiàn)度，因此，要獲得更好的視頻背景場(chǎng)景視覺(jué)信息，人們就需要去除視頻中雨水條紋和雨水積聚問(wèn)題。
而晚上拍攝的視頻存在的問(wèn)題，跟在雨中拍攝的視頻存在的問(wèn)題有差異。
夜晚拍攝會(huì)受到光照變化和多個(gè)人造光源影響，夜間視頻圖像不僅存在低光區(qū)域，還有輝光燈、眩光燈和泛光燈照射區(qū)域，這會(huì)嚴(yán)重降低圖像可見(jiàn)度。因此，通過(guò)提高低光區(qū)域強(qiáng)度來(lái)增強(qiáng)夜間圖像可見(jiàn)性，同時(shí)抑制夜間光效應(yīng)（輝光、眩光）是一項(xiàng)重要任務(wù)。
除了下雨和夜間等因素影響，當(dāng)場(chǎng)景中出現(xiàn)很多人對(duì)于視頻分析來(lái)講也是一大挑戰(zhàn)。
由于其對(duì)現(xiàn)實(shí)世界應(yīng)用很重要，基于單目（單個(gè)相機(jī)拍攝的視頻）的3D人體姿態(tài)估計(jì)技術(shù)已引起了越來(lái)越多關(guān)注。但是，這個(gè)技術(shù)存在挑戰(zhàn)，就是當(dāng)場(chǎng)景中存在多個(gè)人時(shí)，人多會(huì)產(chǎn)生遮擋，導(dǎo)致人體檢測(cè)錯(cuò)誤以及人體關(guān)節(jié)分組識(shí)別不可靠。
為了解決視頻分析中遇到的這些影響準(zhǔn)確性的環(huán)境因素問(wèn)題，Robby Tan和來(lái)自中國(guó)香港城市大學(xué)、瑞士蘇黎世聯(lián)邦理工學(xué)院和騰訊游戲人工智能研究中心研究人員一起進(jìn)行了三項(xiàng)研究，分別提高雨天視頻、夜間視頻和有人群密集場(chǎng)景視頻處理準(zhǔn)確性。
二、研究一：幀對(duì)齊和深度估計(jì)消除視頻中雨水影響
針對(duì)雨天錄制視頻中存在的問(wèn)題，研究人員先用合成降雨視頻（帶有地面實(shí)況）和真實(shí)降雨視頻（沒(méi)有地面實(shí)況）來(lái)訓(xùn)練對(duì)齊網(wǎng)絡(luò)，然后研究人員使用基于特征的對(duì)齊網(wǎng)絡(luò)去對(duì)齊幾個(gè)連續(xù)的輸入幀。最后，對(duì)齊網(wǎng)絡(luò)根據(jù)相鄰幀的對(duì)齊特征，刪除每一幀中的雨條紋。
處理雨幕問(wèn)題，研究人員使用了積累網(wǎng)絡(luò)，利用從視頻中獲得的深度線索，結(jié)合去除雨水條紋的圖像，最終輸出無(wú)雨水影響的圖像。
▲消除下雨環(huán)境影響的圖像處理流程
從效果上來(lái)看三種方法都相較于之前方法有所改進(jìn)。與現(xiàn)有專注于去除雨水條紋方法不同，新方法可以同時(shí)去除雨水條紋和雨幕效果。
▲從上到下，第一張圖時(shí)輸入（現(xiàn)有方法），中間圖顯示去除雨痕的中間輸出，第三張是使用研究團(tuán)隊(duì)新方法去除雨水痕跡和雨幕效果的最終輸出
三、研究二：半監(jiān)督網(wǎng)絡(luò)被用于優(yōu)化夜間圖像
處理夜間視頻目標(biāo)是，通過(guò)同時(shí)增加動(dòng)態(tài)范圍（以處理低光和過(guò)度曝光區(qū)域）和抑制光效應(yīng)（輝光、眩光等）來(lái)提高其可見(jiàn)性。
研究人員提出一個(gè)半監(jiān)督網(wǎng)絡(luò)，使用配對(duì)圖像（高動(dòng)態(tài)范圍成像的地面實(shí)況）來(lái)訓(xùn)練半監(jiān)督網(wǎng)絡(luò)以增加動(dòng)態(tài)范圍，并使用未配對(duì)的圖像（沒(méi)有地面實(shí)況）來(lái)訓(xùn)練半監(jiān)督網(wǎng)絡(luò)以抑制燈光效果，得到兩種訓(xùn)練網(wǎng)絡(luò)。
具體操作是研究人員首先使用線性化網(wǎng)絡(luò)估計(jì)輸入夜間圖像的逆條件隨機(jī)場(chǎng)（CRF），獲得線性化圖像后，將其分解為低頻（光場(chǎng)，LF，包含輝光、眩光效果）和高頻（同態(tài)濾波，HF，包含噪聲、紋理等效果）特征圖。光場(chǎng)特征圖和同態(tài)濾波特征圖使用訓(xùn)練得到的兩個(gè)網(wǎng)絡(luò)來(lái)，分別抑制光效應(yīng)和去除噪聲。最后將處理過(guò)的光場(chǎng)特征圖和同態(tài)濾波特征圖融合并輸出。
▲消除夜間環(huán)境影響的圖像處理流程
夜間視頻圖像新技術(shù)同樣解決了以前方法處理不徹底的問(wèn)題：夜間圖像以及視頻中因?yàn)檠９獠荒鼙缓鲆晻r(shí)對(duì)于視頻清晰度的影響。
▲上面四張圖是研究人員采用新方法，抑制光效并產(chǎn)生增強(qiáng)能見(jiàn)度；下面三張圖是現(xiàn)有方法，無(wú)法處理的光學(xué)效果（如眩光），還錯(cuò)誤增強(qiáng)了它
四、研究三：結(jié)合兩種3D人體姿態(tài)估計(jì)方法，實(shí)現(xiàn)更可靠輸出
而針對(duì)3D人體姿態(tài)估計(jì)問(wèn)題，研究人員通過(guò)結(jié)合兩種現(xiàn)有方法（即自頂向下方法和自底向上方法）來(lái)估計(jì)視頻中的3D人體姿態(tài)。
自頂向下網(wǎng)絡(luò)被用來(lái)估計(jì)每個(gè)檢測(cè)到的邊界框內(nèi)的人體關(guān)節(jié)，生成聯(lián)合熱圖（heatmap）反饋到自底向上網(wǎng)絡(luò)，自底向上網(wǎng)絡(luò)同樣也進(jìn)行估計(jì)生成圖像。最后研究人員將自頂向下和自底向上網(wǎng)絡(luò)輸出的3D估計(jì)姿態(tài)輸入到集成網(wǎng)絡(luò)中，以獲得給定圖像序列的最終3D姿態(tài)估計(jì)圖像。
▲3D人體姿態(tài)估計(jì)改進(jìn)流程
3D 人體姿態(tài)新方法則可以產(chǎn)生更可靠的姿態(tài)估計(jì)，并更穩(wěn)健地處理個(gè)體之間距離（或尺度變化）。
▲從上到下，第一張是輸入圖；第二張是采取自頂向下方法，受人際遮擋影響；第三張是自底向上方法，對(duì)尺寸（3D）變化很敏感；第四張是研究人員提出的新方法
結(jié)語(yǔ)：避免物理環(huán)境干擾，是計(jì)算機(jī)視覺(jué)熱點(diǎn)
計(jì)算機(jī)視覺(jué)技術(shù)在應(yīng)用時(shí)會(huì)受到各種各樣的影響，不止是下雨、夜晚或者出現(xiàn)人群等情況，比如白天光線過(guò)強(qiáng)、攝像頭處于逆光角度等因素也會(huì)影響計(jì)算機(jī)視覺(jué)技術(shù)的處理效果。有時(shí)視頻中只會(huì)有一種環(huán)境因素影響分析準(zhǔn)確性，有時(shí)會(huì)混合出現(xiàn)多種，這種情況下針對(duì)每個(gè)因素都需要分別研究最優(yōu)方法，最后才能分因素逐步優(yōu)化視頻分析結(jié)果。
計(jì)算機(jī)視覺(jué)是人工智能最廣泛的技術(shù)方向之一，如何減少物理環(huán)境對(duì)計(jì)算機(jī)視覺(jué)應(yīng)用方面影響仍是持續(xù)性熱點(diǎn)話題。
來(lái)源：Yale-NUS College
