摘要：提出了一種基于卷積長短期記憶(LSTM)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的單目視覺里程計方法,命名為LSTMVO(LSTM visual odometry).LSTMVO采用無監(jiān)督的端到端深度學(xué)習(xí)框架,對單目相機(jī)的6-DoF位姿以及場景深度進(jìn)行同步估計.整個網(wǎng)絡(luò)框架包含位姿估計網(wǎng)絡(luò)以及深度估計網(wǎng)絡(luò),其中位姿估計網(wǎng)絡(luò)是以端到端方式實現(xiàn)單目位姿估計的深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(RCNN),由基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取和基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的時序建模組成,深度估計網(wǎng)絡(luò)主要基于編碼器和解碼器架構(gòu)生成稠密的深度圖.同時本文還提出了一種新的損失函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練,該損失函數(shù)由圖像序列之間的時序損失、深度平滑度損失和前后一致性損失組成.基于KITTI數(shù)據(jù)集的實驗結(jié)果表明,通過在原始單目RGB圖像上進(jìn)行訓(xùn)練,LSTMVO在位姿估計精度以及深度估計精度方面優(yōu)于現(xiàn)有的主流單目視覺里程計方法,驗證了本文提出的深度學(xué)習(xí)框架的有效性.