用于對(duì)象檢測(cè)，對(duì)象識(shí)別和分割任務(wù)的自動(dòng)注釋解決方案。

你好，朋友們?cè)谶@篇博文中，我想分享我們?cè)谑褂萌斯ぶ悄芗夹g(shù)獨(dú)立生成數(shù)據(jù)標(biāo)簽方面的工作

在理解我們的方法之前，讓我們先了解一下什么是外行術(shù)語(yǔ)中的數(shù)據(jù)標(biāo)簽在機(jī)器學(xué)習(xí)中，數(shù)據(jù)標(biāo)注只是識(shí)別原始數(shù)據(jù)的過(guò)程)并添加一個(gè)或多個(gè)有意義和信息豐富的標(biāo)簽來(lái)提供上下文，以便機(jī)器學(xué)習(xí)模型可以從中學(xué)習(xí)和推斷大多數(shù)最先進(jìn)的機(jī)器學(xué)習(xí)模型高度依賴于大量標(biāo)記數(shù)據(jù)的可用性，這是監(jiān)督任務(wù)中的重要一步各種用例都需要數(shù)據(jù)標(biāo)簽，包括計(jì)算機(jī)視覺(jué)，自然語(yǔ)言處理和語(yǔ)音識(shí)別傳統(tǒng)上，這種枯燥瑣碎的數(shù)據(jù)標(biāo)注過(guò)程很大程度上是由人類完成的為了幫助人類最大限度地減少?gòu)牧汩_始的瘋狂數(shù)據(jù)標(biāo)記工作和努力，我們提出了一種自動(dòng)算法解決方案，旨在減少大量的人工工作讓我們來(lái)看看這種標(biāo)簽數(shù)據(jù)的實(shí)際位置的參考在這里，我將談?wù)動(dòng)?jì)算機(jī)視覺(jué)任務(wù)計(jì)算機(jī)視覺(jué)只是復(fù)制了人類視覺(jué)的復(fù)雜性和對(duì)周圍環(huán)境的理解例如，計(jì)算機(jī)視覺(jué)任務(wù)包括獲取，處理，分析和理解數(shù)字圖像的方法，以及從現(xiàn)實(shí)世界中提取高維數(shù)據(jù)以生成決策形式的數(shù)字或符號(hào)信息的方法在計(jì)算機(jī)視覺(jué)領(lǐng)域，有許多不同的任務(wù)我就不深入討論它們的細(xì)節(jié)了，比如分類，檢測(cè)，分割等等但是，下圖提供了這些任務(wù)的簡(jiǎn)明概述和目標(biāo)，并提供了上下文中對(duì)象的示例—，香蕉

標(biāo)簽數(shù)據(jù)的上下文要求示例

監(jiān)督模型檢測(cè)對(duì)象ndash香蕉帶注釋的標(biāo)簽被輸入到模型中，這樣它就可以學(xué)習(xí)香蕉像素的表示，并在上下文中定位它們，然后可以用來(lái)推斷看不見的/新的數(shù)據(jù)實(shí)例分割任務(wù)的目的是檢測(cè)對(duì)象，定位這些對(duì)象，并提供關(guān)于它們的數(shù)量，大小和形狀的信息我們用這樣一個(gè)高級(jí)的細(xì)分模型例子——，屏蔽R—cnnrd quo，作為我們框架的核心骨干，我們可以根據(jù)他們的需求和目標(biāo)使用任何其他網(wǎng)絡(luò)架構(gòu)我們堅(jiān)持使用遮罩R—CNN，因?yàn)樗梢詸z測(cè)圖像中的目標(biāo)，并為每個(gè)目標(biāo)生成高質(zhì)量的分割遮罩對(duì)于我們檢測(cè)COVID感染的具體測(cè)試用例來(lái)說(shuō)，感染區(qū)域的準(zhǔn)確定位非常重要，因此像素級(jí)檢測(cè)更適合這種情況

我們的方法

我們的工具流水線如下圖，主要由檢測(cè)器跟蹤器，自動(dòng)標(biāo)簽?zāi)K和輸出機(jī)器標(biāo)簽并保存到磁盤的I/O模塊組成。

步驟1:—用于像素級(jí)分類的目標(biāo)檢測(cè)和跟蹤

自定義弱訓(xùn)練MASK—RCNN模型用于檢測(cè)COVID感染，標(biāo)注實(shí)例較少(lt，10個(gè)樣本)為了標(biāo)記感染區(qū)域，我們使用了VIA(VIA)圖像標(biāo)記工具它是一個(gè)簡(jiǎn)單而獨(dú)立的圖像，音頻和視頻手動(dòng)注釋軟件VIA在網(wǎng)絡(luò)瀏覽器中運(yùn)行，無(wú)需任何安裝或設(shè)置完整的VIA軟件可以安裝在一個(gè)獨(dú)立的HTML頁(yè)面中，該頁(yè)面的大小不到400KB，在大多數(shù)現(xiàn)代網(wǎng)絡(luò)瀏覽器中作為離線應(yīng)用程序運(yùn)行VIA是一個(gè)完全基于HTML，Javascript和CSS(獨(dú)立于外部庫(kù))的開源項(xiàng)目VIA由視覺(jué)幾何集團(tuán)(VGG)開發(fā)，并在BSD—2下發(fā)布，這使得它既可用于學(xué)術(shù)項(xiàng)目，也可用于商業(yè)應(yīng)用檢測(cè)器用于獲取遮罩，邊界框和定位類別其次，利用中心跟蹤算法對(duì)輸入視頻數(shù)據(jù)流上的多個(gè)感染區(qū)域進(jìn)行跟蹤和標(biāo)記以下是我們的MASK—RCNN Covid檢測(cè)器的一個(gè)片段步驟2:—逐幀標(biāo)記數(shù)據(jù)來(lái)自預(yù)先訓(xùn)練的檢測(cè)器模型的推斷用于獲得邊界框的位置并創(chuàng)建JSON元數(shù)據(jù)一旦幀被使用掩?！猂CNN分割，相應(yīng)的感興趣區(qū)域(ROI)將被生成此外，生成每個(gè)感興趣區(qū)域的掩模，然后對(duì)整個(gè)圖像幀進(jìn)行輪廓檢測(cè)然后，從等高線中提取(x，y)坐標(biāo)最后，這些形狀，面積和坐標(biāo)屬性被逐幀保存到磁盤上下面是我們自動(dòng)閱卷算法的一個(gè)片段示例—冠狀病毒感染檢測(cè)和自動(dòng)標(biāo)記我們測(cè)試了我們的方法，目標(biāo)是為Covid感染區(qū)域生成自動(dòng)計(jì)算機(jī)標(biāo)記機(jī)器生成標(biāo)簽和手動(dòng)標(biāo)注標(biāo)簽的結(jié)果如下所示可以看到，自動(dòng)標(biāo)注引擎生成了質(zhì)量相當(dāng)好的合成標(biāo)簽，可以用來(lái)重新訓(xùn)練對(duì)象檢測(cè)模型，或者生成更多可以用于不同任務(wù)的標(biāo)注數(shù)據(jù)

。

數(shù)據(jù)標(biāo)注是一項(xiàng)非常艱巨的任務(wù)，也是監(jiān)督學(xué)習(xí)通道的關(guān)鍵組成部分之一這是一項(xiàng)需要大量手工工作的任務(wù)然后，我們可以讓大多數(shù)這些普通的，勞動(dòng)密集型的，耗時(shí)的任務(wù)由機(jī)器自動(dòng)驅(qū)動(dòng)，目的是將大量的人工任務(wù)減到最少我們以直觀的方式關(guān)注這個(gè)普遍性的問(wèn)題，從而緩解標(biāo)簽有限的瓶頸或者需要從頭標(biāo)記大量例子的問(wèn)題

注:—我們的工具目前正在進(jìn)行alpha測(cè)試目前我們?cè)O(shè)計(jì)的框架是基于MASK R—CNN和VIA標(biāo)注格式我們還打算擴(kuò)展我們的原型，以包括不同的最先進(jìn)的檢測(cè)器，如YOLO和相應(yīng)的YOLO兼容的注釋格式此外，我們計(jì)劃集成COCO注釋格式值得將所有不同的圖像注釋集成為我們框架的一部分，并為工具提供不同的庫(kù)，如Torch，TensorFlow，Caffe等