15818624218
郵箱：liusyscnc@qq.com
QQ：790708208
地址：深圳市光明區(qū)光明街道碧眼社區(qū)華強(qiáng)創(chuàng)意公園5棟A座19樓
當(dāng)前位置：什么是姿態(tài)識別抓?。恳晃淖x懂
機(jī)器人作為面向未來的智能制造重點(diǎn)技術(shù)，其具有可控性強(qiáng)、靈活性高以及配置柔性等優(yōu)勢，被廣泛的應(yīng)用于零件加工、協(xié)同搬運(yùn)、物體抓取與部件裝配等領(lǐng)域，如圖1-1所示。然而，傳統(tǒng)機(jī)器人系統(tǒng)大多都是在結(jié)構(gòu)化環(huán)境中，通過離線編程的方式進(jìn)行單一重復(fù)作業(yè)，已經(jīng)無法滿足人們在生產(chǎn)與生活中日益提升的智能化需求。隨著計(jì)算機(jī)技術(shù)與傳感器技術(shù)的不斷發(fā)展，我們期望構(gòu)建出擁有更加靈敏的感知系統(tǒng)與更加智慧的決策能力的智能化機(jī)器人系統(tǒng)。
圖1-2 機(jī)器人抓取的操作流程與步驟
機(jī)器人抓取與放置是智能化機(jī)器人系統(tǒng)的集中體現(xiàn)，也是生產(chǎn)與生活中十分重要的環(huán)節(jié)，近幾年來在工業(yè)界與學(xué)術(shù)界得到了深入而廣泛的研究。具體的機(jī)器人抓取可以分為視覺感知部分與機(jī)器人抓取操作部分。視覺感知部分又包含：模型與場景表征、目標(biāo)識別與定位這兩個(gè)步驟;而機(jī)器人抓取操作部分則包含：系統(tǒng)標(biāo)定、運(yùn)動(dòng)控制與抓取規(guī)劃等步驟，如圖1-2所示。這其中，機(jī)器人通過視覺傳感器感知環(huán)境并實(shí)現(xiàn)對目標(biāo)物體的識別與定位，也就是視覺感知部分，是十分重要的環(huán)節(jié)，其直接決定了后續(xù)機(jī)器人的抓取精度。
圖1-3 二維圖像的部分缺陷
受益于計(jì)算機(jī)算力的不斷提高以及傳感器成像水平的高速發(fā)展，目前針對結(jié)構(gòu)化環(huán)境或者半結(jié)構(gòu)化環(huán)境中，基于二維圖像的機(jī)器人平面單目標(biāo)物體的抓取技術(shù)已經(jīng)趨于成熟，并取得了豐富的研究成果[1][2][3]。然而，對于現(xiàn)實(shí)復(fù)雜環(huán)境中的三維物體，僅使用二維信息對三維目標(biāo)進(jìn)行表征，會不可避免的造成信息損失，如圖1-3所示，從而難以實(shí)現(xiàn)非結(jié)構(gòu)化環(huán)境中機(jī)器人對于多目標(biāo)物體的高精度抓取操作。因此，如何提升機(jī)器人的視覺感知能力，并基于此在復(fù)雜環(huán)境中自主完成對目標(biāo)物體的識別、定位、抓取等操作是一個(gè)很有價(jià)值的研究問題。
近年來，隨著低成本深度傳感器(如Intel RealSense、Xtion以及Microsoft Kinect等)與激光雷達(dá)的飛速發(fā)展，如圖1-4所示，三維點(diǎn)云的獲取越來越方便。這里的點(diǎn)云實(shí)際上就是在相機(jī)坐標(biāo)系下，對所拍攝的物體或者場景表面進(jìn)行點(diǎn)采樣。物體對應(yīng)的點(diǎn)云數(shù)據(jù)在在數(shù)學(xué)上可以簡單的理解為三維坐標(biāo)的無序集合。三維點(diǎn)云數(shù)據(jù)相對于平面二維圖像具有如下優(yōu)勢：(1)可以更加真實(shí)準(zhǔn)確的表達(dá)物體的幾何形狀信息與空間位置姿態(tài);(2)受光照強(qiáng)度變化、成像距離以及視點(diǎn)變化的影響較小;(3)不存在二維圖像中的投影變換等問題。三維點(diǎn)云數(shù)據(jù)具有的以上優(yōu)勢使得其有望克服平面二維圖像在機(jī)器人目標(biāo)識別與抓取中存在的諸多不足，所以其具有很重要的研究意義以及廣泛的應(yīng)用前景。因此，近年來針對點(diǎn)云的視覺研究以及基于點(diǎn)云的機(jī)器人抓取成為了機(jī)器人領(lǐng)域新的研究熱點(diǎn)。
圖1-4 點(diǎn)云獲取設(shè)備示意圖
對應(yīng)前文的，在基于點(diǎn)云的機(jī)器人抓取可以分為點(diǎn)云特征描述(模型與場景表征)、三維目標(biāo)識別(目標(biāo)識別與定位)與機(jī)器人抓取操作這三個(gè)部分[39][40]。進(jìn)一步的，點(diǎn)云特征描述指的是，將模型與場景對應(yīng)的無序點(diǎn)集通過特定的算法編碼為低維的特征向量，用此來表征對象的局部或者全局信息，其應(yīng)當(dāng)具有足夠的描述力與穩(wěn)定性。三維目標(biāo)識別則主要是指，利用模型與場景的表征結(jié)果，在場景中識別出目標(biāo)物體，并估計(jì)出其對應(yīng)的位置與姿態(tài)。對于特征描述與目標(biāo)識別，盡管現(xiàn)有文獻(xiàn)提出了不少算法，并且在特定的環(huán)境中取得了不錯(cuò)的效果，然而如何在包含噪聲、干擾、遮擋與密度變化的復(fù)雜非結(jié)構(gòu)化環(huán)境中提取有效而穩(wěn)定的特征，實(shí)現(xiàn)對多目標(biāo)物體的準(zhǔn)確識別定位以及高精度抓取，仍然是極富挑戰(zhàn)性的一個(gè)問題[4]。
綜上所述，基于點(diǎn)云的機(jī)器人抓取作為智能化機(jī)器人系統(tǒng)的集中體現(xiàn)，近幾年來得到了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注，并圍繞點(diǎn)云特征描述、三維目標(biāo)識別與機(jī)器人抓取操作這三個(gè)方面展開了深入研究。具體的，在點(diǎn)云特征描述部分，主要關(guān)注描述子的鑒別力、魯棒性、計(jì)算效率與緊湊性等性能;在三維目標(biāo)識別部分，主要關(guān)注目標(biāo)的識別準(zhǔn)確率與定位精度問題;而在機(jī)器人抓取操作部分，抓取系統(tǒng)的參數(shù)標(biāo)定與多目標(biāo)物體的數(shù)據(jù)分析都是很重要的環(huán)節(jié)。
什么是姿態(tài)識別抓?。?/strong>
基于點(diǎn)云的機(jī)器人抓取主要包含視覺感知部分與機(jī)器人抓取操作部分。機(jī)器人抓取操作部分則又包括系統(tǒng)標(biāo)定、抓取規(guī)劃與運(yùn)動(dòng)控制。
系統(tǒng)標(biāo)定包括主要是指對相機(jī)與機(jī)器人的標(biāo)定。由于對于視覺感知部分求出的待抓取目標(biāo)物體的位置與姿態(tài)均處于相機(jī)坐標(biāo)系下，為了進(jìn)行機(jī)器人準(zhǔn)確抓取，需要將其坐標(biāo)與姿態(tài)變換到機(jī)器人坐標(biāo)系下。這里便需要將相機(jī)與機(jī)器人進(jìn)行手眼標(biāo)定。手眼標(biāo)定主要求取相機(jī)坐標(biāo)系與機(jī)器人基坐標(biāo)系間的變換關(guān)系[67]，主要可以分為相機(jī)在手上的標(biāo)定與相機(jī)在手外的標(biāo)定。此外，對于相機(jī)，使用時(shí)需要進(jìn)行內(nèi)參的校準(zhǔn)，畸變系數(shù)的求取等[68][69];如果是雙目立體視覺，則還包含對于雙目相機(jī)的參數(shù)標(biāo)定[70];如果是結(jié)構(gòu)光或ToF(Time of Flight)成像的點(diǎn)云相機(jī)，則還要進(jìn)行深度校準(zhǔn)，以及彩色圖與深度圖的匹配對齊等操作[71][72][73]。對于機(jī)器人，如果是多機(jī)器人協(xié)同抓取，則組要進(jìn)行多機(jī)器人基坐標(biāo)系間的標(biāo)定[74]。
而對于抓取規(guī)劃部分，其主要作用是可以實(shí)現(xiàn)對于場景中目標(biāo)物體的抓取點(diǎn)的提取[75]。如論文[76]所述，抓取策略應(yīng)當(dāng)確保穩(wěn)定性，任務(wù)的兼容性和對于新物體的適應(yīng)性等;此外，抓取質(zhì)量可以通過對物體接觸點(diǎn)的位置和末端夾爪的配置來進(jìn)行評價(jià)[77]。對于物體的抓取，目前主要有基于經(jīng)驗(yàn)的方法與基于端到端的方法。
基于經(jīng)驗(yàn)的方法則是根據(jù)特定的任務(wù)和抓取對象的幾何形狀，使用與之相對應(yīng)的算法來進(jìn)行抓取。更具體的又可以分為對已知物體的抓取和對相似物體的抓取[78]。如果抓取對象是已知的物體，那么則可以通過學(xué)習(xí)已有的成功抓取實(shí)例，再結(jié)合具體環(huán)境進(jìn)行機(jī)器人抓取。事實(shí)上，如果目標(biāo)對象已知，則意味著對象的三維模型和抓取點(diǎn)位置在數(shù)據(jù)庫中也是先驗(yàn)已知的。這種情況下，只需要從局部視圖估計(jì)目標(biāo)對象的6D位姿，并通過ICP等算法進(jìn)行姿態(tài)細(xì)化與精確微調(diào)，進(jìn)一步便可以得到目標(biāo)物體的抓取位置。這是目前已知的抓取系統(tǒng)中最流行的方法，也是在亞馬遜抓取挑戰(zhàn)賽[79]中普遍使用的算法。Zeng等人[79]提出了一種利用全卷積神經(jīng)網(wǎng)絡(luò)對一個(gè)場景的多個(gè)視圖進(jìn)行分割和標(biāo)注，然后將預(yù)掃描的三維目標(biāo)模型與分割結(jié)果進(jìn)行匹配，得到6D目標(biāo)位姿。他們的方法在2016年APC抓取挑戰(zhàn)任務(wù)中獲得了第三名和第四名。Billings和Johnson-Roberson[80]提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)的管道算法，其可以同時(shí)完成目標(biāo)姿態(tài)估計(jì)和抓取點(diǎn)選擇。該管道算法作用于感興趣區(qū)域(ROI)，預(yù)測出一個(gè)中間輪廓來估計(jì)目標(biāo)位姿;然后從先驗(yàn)的數(shù)據(jù)庫中生成抓取點(diǎn)。對于這種方法，當(dāng)有準(zhǔn)確的三維模型是，可以通過估計(jì)出6D姿態(tài)后進(jìn)行準(zhǔn)確的抓取，由于擁有較高的抓取精度，是目前比較流行的抓取方法。然而，當(dāng)三維模型不太準(zhǔn)確時(shí)，如物體不可測量或者易變形等情況，則會導(dǎo)致有較大的抓取偏差。
局部抓取規(guī)劃方法
事實(shí)上，很多情況下，抓取的目標(biāo)對象與現(xiàn)有數(shù)據(jù)庫的模型并不完全相同，但是在模型庫中相似的同一類的物體，這便涉及到對相近物體的抓取。在目標(biāo)對象被定位以后，利用基于關(guān)鍵點(diǎn)對應(yīng)算法便可以將抓取點(diǎn)從模型庫中存在的相似三維模型上轉(zhuǎn)移到當(dāng)前的局部對象中。由于當(dāng)前的目標(biāo)對象與數(shù)據(jù)庫中的對象不完全相同，所以這類型的抓取算法是不需要進(jìn)行六維姿態(tài)估計(jì)的。Andrew等人[81]提出了一種基于分類法的方法，該方法將對象劃分為各個(gè)類別，每個(gè)類別均存在對應(yīng)的抓取規(guī)范。Vahrenkamp等人[82]提出了一種基于局部的抓取規(guī)劃方法，用于生成適用于多個(gè)已知目標(biāo)對象的抓取，根據(jù)物體的形狀和體積信息對物體模型進(jìn)行分割，并對目標(biāo)零件標(biāo)記語義信息和抓取信息。其還提出了一種抓取可轉(zhuǎn)移性的度量方法，用于評估在同一對象類別中的新物體的抓取成功率，如圖1-12所示。Tian等人[83]提出了一種將抓取構(gòu)型從先前的示例對象轉(zhuǎn)移到新目標(biāo)上的方法，該方法假設(shè)新對象和示例對象具有相同的拓?fù)浣Y(jié)構(gòu)和相似的形狀。他們考慮幾何形狀和語義形狀特征對對象進(jìn)行三維分割，利用主動(dòng)學(xué)習(xí)算法為示例對象的每個(gè)部分計(jì)算一個(gè)抓取空間，并為新對象在模型部分和相應(yīng)的抓取之間建立雙射接觸映射。這一類型的方法依賴于目標(biāo)分割的準(zhǔn)確性。然而，訓(xùn)練一個(gè)能識別出廣泛對象的網(wǎng)絡(luò)并不容易。同時(shí)，這些方法要求待抓取的三維物體與標(biāo)注模型相似，以便找到相應(yīng)的抓取模型。在經(jīng)常發(fā)生遮擋的雜亂環(huán)境中，計(jì)算高質(zhì)量的物體抓取點(diǎn)也是一個(gè)挑戰(zhàn)。
不同的抓取方案示意圖
端到端的抓取檢測則直接跳過了對于抓取目標(biāo)的定位，直接從輸入的圖像中提取抓取點(diǎn)位置。在這類方法中，滑動(dòng)窗口策略是比較常用的方法。Lenz等人[84]提出了一個(gè)兩步級聯(lián)系統(tǒng)，該系統(tǒng)具有兩個(gè)深度網(wǎng)絡(luò)，第一步的頂部檢測結(jié)果由第二步重新評估。第一個(gè)網(wǎng)絡(luò)具有更少的特性，運(yùn)行速度更快，并且可以有效地剔除不可能的候選項(xiàng)。第二個(gè)具有更多的特性，速度較慢，但只能在少數(shù)幾個(gè)檢測到的信號上運(yùn)行。盡管他們達(dá)到了很高的精度，但是迭代掃描使過程非常緩慢。Ten Pas等人[85]提出了一種無需對目標(biāo)物體進(jìn)行精確分割即可在任何可見表面生成抓取假設(shè)的方法。他們還提出了一種新的包含表面法線和多個(gè)視圖的抓取描述符。但是，由于沒有執(zhí)行實(shí)例級分段，因此這種算法會將多個(gè)對象視為同類物體。由于均勻網(wǎng)絡(luò)的性能優(yōu)于雙級聯(lián)系統(tǒng)[84]，越來越多的單級方法被提出。Guo等人[86]提出了一種共享卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行對象發(fā)現(xiàn)和抓取檢測。Pinto和Gupta [87]提出了一種通過試錯(cuò)預(yù)測抓取位置的方法，他們訓(xùn)練了一個(gè)基于CNN的分類器來估計(jì)給定一個(gè)輸入圖像塊的不同抓取方向的抓取可能性。Chu等人[88]提出了一個(gè)由抓取區(qū)域建議組件和機(jī)器人抓取檢測組件組成的網(wǎng)絡(luò)。對于端到端抓取檢測方法，計(jì)算出的抓取點(diǎn)可能不是全局最優(yōu)的抓取點(diǎn)，因?yàn)樵趫D像中只有部分對象是可見的。
對于機(jī)器人抓取中的運(yùn)動(dòng)控制這一部分，其主要是設(shè)計(jì)從機(jī)械手目標(biāo)物體抓取點(diǎn)的路徑，這里面的關(guān)鍵問題就是運(yùn)動(dòng)表征。雖然從機(jī)械手到目標(biāo)抓取點(diǎn)的軌跡是無限多的，但是由于機(jī)械臂的局限性，很多地方都無法達(dá)到。因此，軌跡需要規(guī)劃。
姿態(tài)識別抓取軌跡規(guī)劃主要有有三種方法，分別是傳統(tǒng)的基于DMP的方法、基于模仿學(xué)習(xí)的方法和基于強(qiáng)化學(xué)習(xí)的方法，如圖1-14所示。傳統(tǒng)的方法考慮運(yùn)動(dòng)的動(dòng)態(tài)性，生成運(yùn)動(dòng)原語。動(dòng)態(tài)運(yùn)動(dòng)原語(Dynamic Movement Primitives, DMPs)[89]是最流行的運(yùn)動(dòng)表示形式之一，可以作為反饋控制器。DMPs對應(yīng)的原語是行為單位，或者說是魯棒的吸引子系統(tǒng)，其實(shí)非線性的。在算法中將運(yùn)動(dòng)學(xué)對應(yīng)的控制策略按照規(guī)則編碼為非線性微分方程組，方程組的目標(biāo)就是吸引子[90]。DMPs已成功地應(yīng)用于強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)、以及動(dòng)作識別等領(lǐng)域。Colome等人[91]的論文則是通過降維(線性)在學(xué)習(xí)潛在關(guān)節(jié)耦合過程的同時(shí)也進(jìn)行擁有DMP特征的機(jī)器人運(yùn)動(dòng)，這實(shí)際上是很有價(jià)值的研究，因?yàn)檫@樣就直接提供了這種運(yùn)動(dòng)的最直觀的數(shù)學(xué)描述。Pervez和Lee[92]的論文提出了一個(gè)將DMP中的強(qiáng)迫項(xiàng)對應(yīng)的任務(wù)參數(shù)化進(jìn)行建模的數(shù)學(xué)模型。Li等[93]對應(yīng)的論文則給出了一種基于高斯混合模型(GMM)和DMP的機(jī)器人強(qiáng)化版教學(xué)界面模型。所采集的這些動(dòng)作是通過使用深度攝像頭Kinect v2傳感器從對應(yīng)的人體演示者身上采集，采用高斯混合模型(GMM)算法進(jìn)行DMPs的計(jì)算，然后對運(yùn)動(dòng)進(jìn)行建模和泛化。Amor等[94]的論文則描述了一種基于人體動(dòng)作演示的模仿學(xué)習(xí)算法，主要是用于機(jī)器人學(xué)習(xí)和運(yùn)用人體的抓取技能。他們將人類的抓取動(dòng)作分解為三個(gè)部分：從人的教學(xué)演示中提取有效的物體抓取策略方法，將抓取策略對應(yīng)的抓取點(diǎn)遷移到新的待抓取物體上，對抓取動(dòng)作進(jìn)行優(yōu)化。使用他們的方法可以很容易的在機(jī)器人中加入新的抓取類型，因?yàn)橛迷撍惴ㄊ褂谜咧恍杞o出一組抓取實(shí)例。
姿態(tài)識別抓取在抓取過程中，由于空間有限以及障礙物等原因，會阻礙機(jī)器人接近目標(biāo)物體。這需要機(jī)器人與環(huán)境進(jìn)行交互。在這種需要進(jìn)行避障的抓取任務(wù)中，最常見的軌跡規(guī)劃方法是以抓取對象為中心建模的算法[95]，它將目標(biāo)和環(huán)境分離開來。這種方法在結(jié)構(gòu)化或半結(jié)構(gòu)化的環(huán)境中工作得很好，因?yàn)閷ο蟊缓芎玫胤指糸_了。還有一種以障礙物為中心的方法[96]，它利用動(dòng)作原語與多個(gè)對象進(jìn)行同步聯(lián)系。通過這種方法，機(jī)器人可以在接觸和移動(dòng)目標(biāo)的同時(shí)抓住目標(biāo)，以清除所需的路徑。進(jìn)一步的，Zeng等人[97]提出了一種更為優(yōu)越的方法，其采用了無模型的深度強(qiáng)化學(xué)習(xí)策略來提取抓與推之間的關(guān)系。他們的方法中包含了兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)，行為動(dòng)作與視覺感知。這兩個(gè)網(wǎng)絡(luò)是在Q-learning框架下聯(lián)合訓(xùn)練的，完全是通過嘗試和錯(cuò)誤的自我監(jiān)督，成功掌握后會獲得獎(jiǎng)勵(lì)。通過仿真和真實(shí)場景下的抓取實(shí)驗(yàn)，他們的系統(tǒng)可以快速地學(xué)習(xí)復(fù)雜的行為，在存在障礙物的情況獲得更高的抓取成功率和效率。