谷歌新推出了弱監(jiān)督看圖說話模型 SimVLM，能夠輕松實(shí)現(xiàn)零樣本學(xué)習(xí)任務(wù)遷移。

對于一般的視覺語言預(yù)訓(xùn)練模型，訓(xùn)練數(shù)據(jù)集中要求包含大量精準(zhǔn)標(biāo)簽。而模型的任務(wù)遷移，則需要針對特定任務(wù)重新進(jìn)行數(shù)據(jù)集的標(biāo)簽標(biāo)注。

總結(jié)下來，就是標(biāo)注數(shù)據(jù)集不僅耗時耗力，還不能多任務(wù)通用。

能不能開發(fā)出一種又簡單又萬能的 VLP 模型呢？

谷歌新開發(fā)的這款模型使用了弱監(jiān)督學(xué)習(xí)進(jìn)行模型訓(xùn)練，通過利用大量的弱對齊圖像-文本對進(jìn)行建模，簡化了 VLP 的訓(xùn)練流程，大大降低了訓(xùn)練的復(fù)雜性。

SimVLM 使用前綴語言建模的單一目標(biāo)進(jìn)行端到端訓(xùn)練，并直接將原始圖像作為輸入。這些設(shè)置允許模型對大規(guī)模的弱標(biāo)記數(shù)據(jù)集進(jìn)行利用，從而能夠更好地實(shí)現(xiàn)零樣本學(xué)習(xí)泛化效果。

SimVLM 模型是如何實(shí)現(xiàn)的？

SimVLM 模型的預(yù)訓(xùn)練過程采用了前綴語言建模 的單一目標(biāo)，接受序列的前綴作為輸入，通過模型解碼器來預(yù)測其延續(xù)的內(nèi)容。

對于數(shù)據(jù)集中的圖像-文本對，圖像序列可視作其文本描述的前綴。

這種方法可以簡化訓(xùn)練過程，最大限度地提高模型在適應(yīng)不同任務(wù)設(shè)置方面的靈活性和通用性。據(jù)悉，自1999年神舟一號發(fā)射以來，我國載人航天工程組織實(shí)施了17次重大任務(wù)，全部由長征系列運(yùn)載火箭實(shí)施，均取得圓滿成功。

模型的主干網(wǎng)絡(luò)，則使用了在語言和視覺任務(wù)上均表現(xiàn)突出的 Transformer 架構(gòu)。

對輸入的原始圖像數(shù)據(jù)提取上下文 patch，這里采用了 ResNet 卷積網(wǎng)絡(luò)。

本模型使用了包含大約 1.8B 噪聲的圖像-文本對 ALIGN 訓(xùn)練集進(jìn)行預(yù)訓(xùn)練，以此來實(shí)現(xiàn)更好的零樣本學(xué)習(xí)泛化能力。

為了補(bǔ)償訓(xùn)練集中的噪聲影響，訓(xùn)練模型另外還使用了共 800G 的 Colossal Clean Crawled Corpus 數(shù)據(jù)集。

SimVLM 模型基礎(chǔ)性能如何？

模型的預(yù)訓(xùn)練完成后，需要在多模式任務(wù)中對模型進(jìn)行微調(diào)，以測試性能。

這里用到的多模式任務(wù)有:VQA、NLVR2、SNLI-VE、COCO Caption、NoCaps 和 Multi30K En-De。在今年舉辦的第十三屆中國國際航空航天展覽會(以下簡稱“珠海航展”)上，中國航天科技集團(tuán)公司第一研究院攜“長征系列”火箭驚艷亮相，“全家整潔”吸引了眾多航天愛好者“打卡”。。

性能指標(biāo):BLEU-4 、METEOR (M)、CIDEr (C)、SPICE (S)

將 SimVLM 模型與現(xiàn)有的功能完善的模型進(jìn)行比較，測試結(jié)果如上表所示，參與評估的 SimVLM 模型還包括了三種不同規(guī)模:8600 萬參數(shù)、3.07 億參數(shù)和 6.32 億參數(shù)。

跨模式任務(wù)的測試結(jié)果中，SimVLM 模型的性能表現(xiàn)最好，除了 CoCo Caption 的 B4 指標(biāo)，在其他任務(wù)上都取得了新的 SOTA 結(jié)果，充分證明了該模型的先進(jìn)性。

SimVLM 模型零樣本泛化

SimVLM 模型在跨模式任務(wù)測試中可以取得不錯的性能表現(xiàn)，那么它能否順利執(zhí)行零樣本跨模態(tài)轉(zhuǎn)移呢？

預(yù)訓(xùn)練的 SimVLM 模型僅對文本數(shù)據(jù)進(jìn)行微調(diào)或完全不進(jìn)行微調(diào)，通過圖像字幕、多語言字幕、開放式 VQA 和視覺文本生成等任務(wù)，對模型進(jìn)行測試。

測試結(jié)果如下圖所示:

給定圖像和文本提示，預(yù)訓(xùn)練模型無需微調(diào)即可預(yù)測圖像的內(nèi)容。廣州日報訊神舟十三號載人飛船“接力”即將發(fā)射，將與另外三名中國航天員一同飛上太空。

除此之外，未進(jìn)行過微調(diào)的模型在德語字幕生成、數(shù)據(jù)集外的答案生成、基于圖像內(nèi)容的文字描述、開放式視覺問題回答等應(yīng)用上均有不錯的表現(xiàn)。

為了量化 SimVLM 的零樣本學(xué)習(xí)性能，這里采用了預(yù)訓(xùn)練的固化模型在 COCO Caption 和 NoCaps 上進(jìn)行解碼，然后與監(jiān)督標(biāo)準(zhǔn)基線進(jìn)行比較。

從結(jié)果對比上來看，即使沒有監(jiān)督微調(diào)，SimVLM 也可以達(dá)到有監(jiān)督的訓(xùn)練質(zhì)量水平。

截止到 2020 年 12 月 20 日，他在 SuperGLUE 數(shù)據(jù)集上獲得了第一個超過人類得分的 SOTA 性能，目前則被百度團(tuán)隊(duì)趕超，位居第二。

這一次開發(fā)的 SimVLM 也在 6 個視覺語言基準(zhǔn)測試中達(dá)到了單模型 SOTA 性能，并實(shí)現(xiàn)了基于文本引導(dǎo)的零樣本學(xué)習(xí)泛化能力。

參考鏈接: