導讀：人體姿態(tài)估計中常用的模式，就是用堆疊的漏斗模型去實現精密的關鍵點預測，并將上一階段的預測結果用于當前階段的先驗知識，并以強制中間層監(jiān)督的方式來解決梯度消失的問題。這一系列經典的操作，根源與這篇文章，即卷積姿態(tài)學習機，CPM。

【資料圖】

目錄

摘要介紹方法總結

摘要

Pose機為學習豐富的隱式空間模型提供了一個序列預測模型。這篇文章展示了一個姿態(tài)估計的系統設計，如何將卷積網絡整合到pose機中以學習圖像特征和圖像相關的空間模型。文章的貢獻在于，在結構化的預測任務中如關節(jié)姿態(tài)估計，隱式建模變量之間的長距離依賴關系。我們通過設計一個由卷積網絡組成的順序架構來實現，該網絡直接在上一階段的信念圖上運行，對身體部位的位置產生了不斷精細地估計，而不需要顯式的圖形模型式的推導。我們的方法通過提供一個強制中間監(jiān)督的自然學習目標函數來解決訓練過程中的梯度消失的典型問題，因此補充反向傳播的梯度和調節(jié)學習過程。我們在標準的數據集如MPII，LSP和FLIC數據集上驗證了領先的性能。

介紹

我們介紹了卷積姿態(tài)機用于關節(jié)點姿態(tài)識別。CPM繼承了pose機架構的優(yōu)點，即圖像和多局部線索之間長距離依賴的隱式建模，學習與推薦的緊密集成，模塊化的循序設計，以及將他們與卷積網絡提供的優(yōu)點結合起來：從數據中學習用于圖像和空間上下文的特征表征的能力；一個可微的架構，允許反向傳播用于全局聯合訓練；以及有效處理大數據集的能力。

CPM包含了一個序列的卷積網絡，它重復產生每一個局部位置的2D信念圖。在CPM的每一個階段，由上一階段產生的圖像特征與信念圖，作為當前階段的輸入。信念圖為后續(xù)階段的每個部位的空間不確定性提供了一個表達性的非參數編碼，允許CPM去學習豐富的圖像相關的部位之間關系的空間建模。取代使用圖形建?；蛘邔ｉT的后續(xù)處理顯式地解析信念圖，我們學習卷積網絡能夠之間在中間層的信念圖上操作，并學習隱式的部位之間關系的空間模型。整體提出的多階段架構是完全可微的，因此能夠使用反向傳播以端到端的方式來訓練。 A Convolutional Pose Machine consists of a sequence of predictors trained to make dense predictions at each image location. Here we show the increasingly refined estimates for the location of the right elbow in each stage of the sequence. (a) Predicting from local evidence often causes confusion. (b) Multi-part context helps resolve ambiguity. ? Additional iterations help converge to a certain solution.一個CPM包含有序列組成的預測器，被訓練成用于每個圖像位置的密集預測。這里展示序列中每個階段右手腕位置不斷精細的預測。（a）從局部特征預測經常引起混淆；（b）多部位上下文有助于解決歧義；（c）額外的訓練有助于收斂到一個確定的位置。

在CPM的某一特定階段，部位信念的空間上下文為后續(xù)階段提供了強有力的線索。因此，CPM的每一個階段產生了針對每個部位位置的不斷精細化估計的信念圖，上圖所示。為了獲取部位之間長距離的交互，我們的序列預測網絡的每一個階段，網絡的設計都出于在圖像和信念圖上實現更大感受野的目標。我們發(fā)現，通過實驗，信念圖上的更大感受野對于長距離的空間建模至關重要，并且有助于提升精度。

CPM的多卷積網絡組成導致了一個具有多層網絡的整體結構，在訓練過程中會存在梯度彌散的風險。這個問題出現主要由于反向的梯度在多層網絡中傳播會降低強度。雖然最近的工作展示了中間層監(jiān)督深度網絡有助于學習，他們大多數局限于分類問題。在這篇文章中，展示了對于結構化的預測問題如姿態(tài)估計，CPM如何自然地提出一個系統框架，它通過網絡定期地執(zhí)行中間層監(jiān)督來補充梯度和引導網絡生成越來越精確的信念圖。我們同樣討論了諸如此類序列預測問題的不同訓練方法。

論文的主要貢獻在于：通過一個序列的卷積架構來學習隱式的空間模型；一個系統的方法去設計和訓練如此的架構去學習圖像特征和圖像相關的空間模型用于結構化的預測任務，同時不需要任何的圖形模型類的推測。我們在標準的數據集合如MPII，LSP和FLIC等取得了領先的結果。

方法

Architecture and receptive fields of CPMs. We show a convolutional architecture and receptive fields across layers for a CPM with any T stages. The pose machine [29] is shown in insets (a) and (b), and the corresponding convolutional networks are shown in insets ? and (d). Insets (a) and ? show the architecture that operates only on image evidence in the first stage. Insets (b) and (d) shows the architecture for subsequent stages, which operate both on image evidence as well as belief maps from preceding stages. The architectures in (b) and (d) are repeated for all subsequent stages (2 to T ). The network is locally supervised after each stage using an intermediate loss layer that prevents vanishing gradients during training. Below in inset (e) we show the effective receptive field on an image (centered at left knee) of the architecture, where the large receptive field enables the model to capture long-range spatial dependencies such as those between head and knees. (Best viewed in color.)CPM的架構和視覺感受野。我們顯示了一個卷積架構和在任一階段中CPM的視覺感受野。pose機如插圖（a）和（b）所示，響應的卷積網絡顯示在插圖? 和(d)中。插圖（a）和（c）顯示第一階段僅在圖像證據上的卷積操作。插圖（b）和（d）顯示了后續(xù)階段的架構，它在圖像和上一階段的信念圖上操作。網絡在每個階段之后都使用中間損失層進行本地監(jiān)督，以防止訓練期間的梯度消失。插圖（e）展示了架構中一幅圖像（以左膝蓋為中心）的有效視覺感受野，其中大視覺感受野使得模型能夠在長距離的空間依賴性上建模，例如頭與膝蓋等。

總結

提示：

卷積姿態(tài)機器提供了端到端的架構用于解決在計算機視覺中結構化的預測問題，而不需要圖形模型分割的推理。文章展示了一個序列架構由卷積網絡組成，能夠隱式地學習用于姿態(tài)的空間模型，通過在階段中傳達不斷精確的信念圖。計算機視覺的多個領域中，如語義標簽，單圖像深度估計和目標檢測等，出現變量之間空間依賴性，將涉及把我們的工作擴展到這些問題中。但該模型對于密集的人群會出現失敗的例子，以端到端的模型來處理多人場景是一個有挑戰(zhàn)的問題，也是未來工作的有趣途徑。