近日，騰訊優(yōu)圖實(shí)驗(yàn)室在人體2D姿態(tài)估計(jì)任務(wù)中獲得創(chuàng)新性技術(shù)突破，其提出的基于語義對(duì)抗的數(shù)據(jù)增強(qiáng)算法Adversarial Semantic Data Augmentation ASDA，刷新了人體姿態(tài)估計(jì)國際權(quán)威榜單。相關(guān)論文Adversarial Semantic Data Augmentation for Human Pose Estimation已被計(jì)算機(jī)視覺頂尖會(huì)議EUROPEAN CONFERENCE ON COMPUTER VISION ECCV2020收錄。

作為計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)技術(shù)之一，人體姿態(tài)可以理解為對(duì)“人體”的姿態(tài)關(guān)鍵點(diǎn)，比如頭、左手、右腳等的位置估計(jì)，其中2D人體姿態(tài)估計(jì)在多種視覺應(yīng)用中發(fā)揮著重要作用。不過盡管該技術(shù)研究的時(shí)間歷程較長(zhǎng)，相關(guān)創(chuàng)新方法也層出不窮，但在很多場(chǎng)景下，其效果依然不盡人意。

如圖1所示，對(duì)于對(duì)稱性較強(qiáng)的人體、遮擋比較嚴(yán)重的場(chǎng)合以及多人場(chǎng)景，2D姿態(tài)估計(jì)的表現(xiàn)普遍比較差。解決上述問題的一種有效的方法是對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，然而現(xiàn)有的數(shù)據(jù)增強(qiáng)算法比如圖片的翻轉(zhuǎn)、旋轉(zhuǎn)或者圖片色度的改變，都是全局尺度上的數(shù)據(jù)增強(qiáng)，無法解決圖中所示的挑戰(zhàn)性案例。

圖1. 二維人體姿態(tài)估計(jì)的挑戰(zhàn)性案例

為解決上述提及的難點(diǎn)，優(yōu)圖提出了基于語義對(duì)抗的數(shù)據(jù)增強(qiáng)算法Adversarial Semantic Data Augmentation ASDA。該算法的整體pipeline如圖2所示，輸入圖片經(jīng)過生成網(wǎng)絡(luò)，進(jìn)行語義粒度上的數(shù)據(jù)增強(qiáng);增強(qiáng)后的圖片作為姿態(tài)估計(jì)網(wǎng)絡(luò)的輸入，進(jìn)行姿態(tài)估計(jì)，得到二維人體姿態(tài)。生成網(wǎng)絡(luò)生成增強(qiáng)樣本，提升姿態(tài)估計(jì)網(wǎng)絡(luò)的預(yù)測(cè)難度，姿態(tài)估計(jì)網(wǎng)絡(luò)則試圖預(yù)測(cè)增強(qiáng)后圖片。

圖2. ASDA算法流程圖

與其他算法相比，騰訊優(yōu)圖的算法有三點(diǎn)創(chuàng)新。創(chuàng)新之一，提出了一種基于局部變換的數(shù)據(jù)增強(qiáng)方式，有效填補(bǔ)了全局?jǐn)?shù)據(jù)增強(qiáng)的缺陷。創(chuàng)新之二設(shè)計(jì)了一種基于人體語義部件的數(shù)據(jù)增強(qiáng)算法SDA, Semantic Data Augmentation，通過語義粒度上的圖像替換以及變換來有效模擬之前網(wǎng)絡(luò)無法處理的挑戰(zhàn)案例。

第三點(diǎn)創(chuàng)新便是提出了ASDA算法，該算法在MPII、COCO、LSP等主流二維人體姿態(tài)估計(jì)Benchmark上均超過了state-of-the-art方法，達(dá)到第一名水平，將人體2D姿態(tài)估計(jì)的準(zhǔn)確度推進(jìn)到全新高度。ASDA作為一種通用的數(shù)據(jù)增強(qiáng)方法，可以便捷地用在二維人體姿態(tài)估計(jì)的不同數(shù)據(jù)集以及不同網(wǎng)絡(luò)結(jié)構(gòu)上。

實(shí)踐結(jié)果表明，優(yōu)圖的算法在COCO、MPII、LSP三個(gè)姿態(tài)估計(jì)的benchmark達(dá)到了最高的水平，圖4-7展示了在以上三個(gè)權(quán)威數(shù)據(jù)集上優(yōu)圖的方法與其他SOTA算法在準(zhǔn)確度上的差距。為了方便展示ASDA算法的效果，在COCO測(cè)試集進(jìn)行可視化得到圖3，可以看到優(yōu)圖的算法能夠有效的解決圖1中的挑戰(zhàn)性案例。

圖3. ASDA的可視化結(jié)果展示

圖4. ASDA的數(shù)值指標(biāo)展示-LSP

圖5. ASDA的數(shù)值指標(biāo)展示-MPII

圖6. 本文方法對(duì)應(yīng)MPII官方榜單結(jié)果

圖7. ASDA的數(shù)值指標(biāo)展示-COCO

作為騰訊旗下頂尖的人工智能實(shí)驗(yàn)室之一，優(yōu)圖聚焦計(jì)算機(jī)視覺，專注人臉識(shí)別、圖像識(shí)別、OCR、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域開展技術(shù)研發(fā)和行業(yè)落地，在推動(dòng)產(chǎn)業(yè)數(shù)字化升級(jí)過程中，始終堅(jiān)持基礎(chǔ)研究、產(chǎn)業(yè)落地兩條腿走路的發(fā)展戰(zhàn)略，與騰訊云與智慧產(chǎn)業(yè)深度融合，挖掘客戶痛點(diǎn)，切實(shí)為行業(yè)降本增效。

在未來，騰訊優(yōu)圖也將繼續(xù)深耕于人體2D姿態(tài)估計(jì)技術(shù)，并將持續(xù)探索更多的應(yīng)用場(chǎng)景和應(yīng)用空間，讓更多的用戶享受到科技帶來的紅利。