【摘要】：隨著圖像傳感器技術(shù)的發(fā)展,基于圖像的人體動作分析已成為當前計算機視覺和數(shù)據(jù)挖掘領域的熱門課題。人體三維姿態(tài)估計作為后續(xù)動作分析和理解的重要前提,通過從圖像中估計人體關鍵點的坐標、旋轉(zhuǎn)角度等參數(shù),對人體在三維空間中的姿態(tài)進行重建,在運動分析、虛擬現(xiàn)實、影視制作等領域有著十分可觀的應用前景。本文主要研究基于單目視覺的人體三維姿態(tài)估計問題,該問題可分為從圖像中抽取人體二維位姿和利用二維位置坐標估計三維姿態(tài)兩個步驟,考慮現(xiàn)有二維人體姿態(tài)估計方案已相對成熟,因此本文具體針對已知二維人體位置條件下,人體在空間中深度姿態(tài)信息的重建。人體姿態(tài)在時間維度上具有較高的連續(xù)性和相關性,因此本文首先基于人體二維姿態(tài)的時序數(shù)據(jù),利用Sequence to Sequence框架和LSTM單元,實現(xiàn)了基于時間序列的人體三維姿態(tài)估計模型。之后通過引入注意力機制,以及結(jié)合人體關節(jié)點的加速度數(shù)據(jù)特征對模型進行改進,最終在TotalCapture數(shù)據(jù)集上的平均誤差為39.03 mm,預測精度較改進前提升6.3%。實驗證明該改進能夠有效降低模型的預測誤差,并提升模型在人體遠端節(jié)點上的預測準確度。神經(jīng)網(wǎng)絡模型的魯棒性嚴重依賴于訓練數(shù)據(jù)集的規(guī)模和覆蓋程度,而現(xiàn)有三維標注數(shù)據(jù)集場景和動作較為單一,因此本文針對人體三維姿態(tài)估計的無監(jiān)督學習方法進行研究。基于生成對抗式網(wǎng)絡結(jié)構(gòu),借助生成器和判別器的競爭和博弈,以及三維姿態(tài)和二維成像結(jié)果之間的聯(lián)系,通過對人體三維姿態(tài)的估計結(jié)果進行結(jié)合仰角和平面旋轉(zhuǎn)的隨機投影,實現(xiàn)了能夠僅使用二維標注數(shù)據(jù)集訓練的無監(jiān)督模型。同時為了更直觀的評估模型效果,本文結(jié)合現(xiàn)有二維姿態(tài)估計算法,完成了基于單目圖像的人體三維姿態(tài)估計的模型可視化工作。
【圖文】：

哈爾濱工業(yè)大學工程碩士學位論文來進行重建，其中 = × ，N 為人體為特征的骨架模型的表示方法將人體和動作參數(shù)化模型的分析來描述人體的運動，可以精確表示人體因而常用于描述較為精細的人體運動[25]，在醫(yī)學領為廣泛的應用。人體姿態(tài)估計的任務即定位圖像或肘部、手腕等，該任務將圖像中的人體姿態(tài)信息從體動作理解和分析等更深層次的問題奠定了基礎。姿態(tài)分析而不涉及與周圍環(huán)境的交互，同時人體在坐標系的選取，因此本文主要研究人體在三維空間關節(jié)點作為人體骨骼結(jié)構(gòu)模型的根節(jié)點后，重建以位姿信息。

MPJPE 作為人體三維姿態(tài)估計的誤差度量，即計算每個關節(jié)點預測值間的歐式空間距離，，并對其計算平均值，該種度量方法具有明確的物能夠在空間上直觀的表現(xiàn)出預測值與真值之間的誤差，具有較高的可需要特別注意的是 MPJPE 是在每個關節(jié)點與根節(jié)點(通常是骨盆)進行后進行計算的。圖像傳感器數(shù)據(jù)及其處理 攝像機模型及其坐標系介紹圖像傳感器的基本原理與人類視覺大體相似，發(fā)射源發(fā)出的光線經(jīng)空被物體反射并通過透鏡到達圖像采集器，這種現(xiàn)象被描述為針孔攝像來自真實世界的物體的光線通過攝像機的針孔，在圖像平面形成倒立方便描述，針孔攝像機模型改為選用針孔前方的虛擬圖像平面作為參 2-2，虛擬圖像的位置位于稱為光軸的水平線上，光軸與圖像平面的形被稱為投影點，攝像機的焦距則被定義為圖像平面與針孔即光心的距
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP391.41;TP212

【相似文獻】

相關期刊論文 前10條

1 陶麗君;;基于隨機森林的實時頭部姿態(tài)估計方法[J];計算機光盤軟件與應用;2013年06期

2 馬瑾;陳立潮;張永梅;;基于分類的頭部姿態(tài)估計算法的研究[J];科技情報開發(fā)與經(jīng)濟;2006年02期

3 廖海斌;邱益鳴;陳慶虎;;基于稀疏表示的人臉姿態(tài)估計研究[J];電視技術(shù);2015年13期

4 趙松;潘可;張培仁;;典型相關分析在人臉姿態(tài)估計中的應用[J];小型微型計算機系統(tǒng);2009年05期

5 劉勇;;一種基于監(jiān)督流形學習的頭部姿態(tài)估計方法[J];電子制作;2013年07期

6 邱麗梅;胡步發(fā);;基于仿射變換和線性回歸的3D人臉姿態(tài)估計方法[J];計算機應用;2006年12期

7 陳永康;宋亞男;何嘉俊;徐榮華;黃栩濱;;基于深度學習的動物姿態(tài)估計和狀態(tài)評估研究[J];電子世界;2019年05期

8 魯鑫;高敬東;李開龍;;不同姿態(tài)表示方法下的姿態(tài)估計分析[J];艦船科學技術(shù);2018年05期

9 牛曉霞;;基于三維模型的人臉姿態(tài)估計[J];微處理機;2014年06期

10 Ying CAI;Meng-long YANG;Jun LI;;基于深度卷積網(wǎng)絡的多分類法在頭部姿態(tài)估計中的應用(英文)[J];Frontiers of Information Technology & Electronic Engineering;2015年11期

相關會議論文 前10條

1 呂丹;孫劍峰;李琦;王騏;;基于激光雷達距離像的目標姿態(tài)估計[A];黑龍江、江蘇、山東、河南、江西 五省光學（激光）聯(lián)合學術(shù)‘13年會論文（摘要）集[C];2013年

2 張科備;王大軼;王有懿;;一種航天器星體和快反鏡兩級姿態(tài)估計方法[A];第37屆中國控制會議論文集（C）[C];2018年

3 姚紅;任元;王衛(wèi)杰;;立方星無陀螺姿態(tài)估計UKF濾波算法仿真研究[A];第二十屆中國系統(tǒng)仿真技術(shù)及其應用學術(shù)年會論文集（20th CCSSTA 2019）[C];2019年

4 牟忠凱;隋立芬;甘雨;黃賢源;;觀測噪聲為有色噪聲的UKF姿態(tài)估計算法[A];第二屆中國衛(wèi)星導航學術(shù)年會電子文集[C];2011年

5 馬獻德;陳強;孫振國;張文增;;水輪機葉片坑內(nèi)修焊機器人姿態(tài)估計算法[A];第十五次全國焊接學術(shù)會議論文集[C];2010年

6 葉蓬;劉方;;一種基于李群的目標姿態(tài)估計方法[A];全國第二屆信號處理與應用學術(shù)會議專刊[C];2008年

7 李嘯煒;劉越;王涌天;鄭偉;;一種使用M估計祛除特征野點的健壯性方法[A];第三屆全國數(shù)字成像技術(shù)及相關材料發(fā)展與應用學術(shù)研討會論文摘要集[C];2004年

8 賈英宏;劉勇;徐世杰;;航天器兩自由度掃描鏡圖象運動補償技術(shù)研究[A];全國第十二屆空間及運動體控制技術(shù)學術(shù)會議論文集[C];2006年

9 譚波;李勛;黃榮輝;張欣;李聰;王紅雨;;三軸自穩(wěn)云臺智能控制仿真研究[A];2017智能電網(wǎng)發(fā)展研討會論文集[C];2017年

10 吳中紅;石章松;傅冰;劉健;;MAVs多源信息融合無跡姿態(tài)估計方法[A];第四屆中國指揮控制大會論文集[C];2016年

相關重要報紙文章 前1條

1 清華大學 李迎春;多姿態(tài)人臉圖像的估計及合成[N];計算機世界;2006年

相關博士學位論文 前10條

1 徐魯輝;基于標簽分布的頭部姿態(tài)估計算法研究及其應用[D];華中師范大學;2019年

2 張亞慶;面向視頻監(jiān)控場景的目標空間結(jié)構(gòu)語義感知[D];浙江大學;2018年

3 崔錦實;基于三維模型的關節(jié)式物體姿態(tài)估計與跟蹤方法研究[D];清華大學;2004年

4 劉袁緣;自然環(huán)境下頭部姿態(tài)估計方法的研究與應用[D];華中師范大學;2015年

5 胡春龍;基于人臉圖像的頭部姿態(tài)估計與年齡估計方法研究[D];華中科技大學;2014年

6 李成龍;基于RGB-D數(shù)據(jù)的頭部姿態(tài)估計研究[D];山東大學;2017年

7 李娜;面向人機交互的單目視頻三維人體姿態(tài)估計研究[D];浙江大學;2008年

8 呂丹;基于點法向量姿態(tài)估計的激光雷達距離像目標識別算法研究[D];哈爾濱工業(yè)大學;2016年

9 孟柳;基于視覺的復雜場景中運動目標檢測與跟蹤算法研究[D];北京郵電大學;2016年

10 劉菲;傘降小型飛行器初始轉(zhuǎn)平飛過程姿態(tài)估計與融合算法研究[D];北京理工大學;2015年

相關碩士學位論文 前10條

1 袁鵬泰;多人姿態(tài)估計算法研究及應用[D];南京航空航天大學;2019年

2 馮韜;基于單目視覺的人體三維姿態(tài)估計[D];哈爾濱工業(yè)大學;2019年

3 張楠;基于點法向量的激光雷達目標三維姿態(tài)估計算法研究[D];哈爾濱工業(yè)大學;2019年

4 梁大衛(wèi);基于深度學習的行人姿態(tài)估計與重識別算法研究[D];西安電子科技大學;2019年

5 姜緒;基于點云注意力模型的手部姿態(tài)估計方法研究[D];大連理工大學;2019年

6 夏盼;面向智能車主動安全的行人姿態(tài)估計[D];電子科技大學;2019年

7 方鵬飛;基于卷積神經(jīng)網(wǎng)絡框架的室內(nèi)物體目標檢測和姿態(tài)估計[D];杭州師范大學;2019年

8 李聽楓;子類敏感卷積神經(jīng)網(wǎng)絡研究：目標檢測與姿態(tài)估計[D];上海交通大學;2018年

9 戚杭州;仿人機械手設計與手姿態(tài)估計研究[D];南京大學;2019年

10 華國光;復雜場景下的多人實時姿態(tài)估計[D];河北工程大學;2019年

本文編號：2616498