7月7日消息,最近,來(lái)自加州大學(xué)伯克利分校和圣迭戈分校的研究者發(fā)布一項(xiàng)研究,提出不使用歸一化和殘差連接的深度ConvNet在標(biāo)準(zhǔn)圖像識(shí)別基準(zhǔn)上也能實(shí)現(xiàn)優(yōu)異的性能。初始化、歸一化和殘差連接被認(rèn)為是訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)并獲得最優(yōu)性能的三大必備技術(shù)。該方法實(shí)現(xiàn)方式是:在初始化和訓(xùn)練期間,令卷積核具備近似保距性(near isometric);使用ReLU激活函數(shù)的變體,實(shí)現(xiàn)保距性。



15


