賽道四

賽道四需要檢測出每個X軸或Y軸上的刻度點(diǎn)并與對應(yīng)的刻度標(biāo)簽文本框關(guān)聯(lián)。該賽道使用修改后的F－measure對每個軸評分，然后對所有軸進(jìn)行得分平均。對每個檢測到的刻度點(diǎn)，根據(jù)其距離真實(shí)刻度點(diǎn)之間的距離，給出0到1之間的評分。Precision計(jì)算方法為評分總和除以預(yù)測數(shù)。召回率的計(jì)算方法是得分的總和除以真實(shí)標(biāo)注刻度點(diǎn)的數(shù)量。

對于該任務(wù)，我們將整個任務(wù)拆分為刻度點(diǎn)檢測和匹配兩個步驟。

在刻度點(diǎn)檢測任務(wù)中，我們將該任務(wù)視為標(biāo)準(zhǔn)的關(guān)鍵點(diǎn)估計(jì)問題。參考CenterNet，使用DLA－34作為backbone，從底層添加更多的跳轉(zhuǎn)連接，并在上采樣階段將每個卷積層替換為可變形的卷積層，最后獲得尺寸為1／4的輸出特征圖，然后將特征圖送入頭部分支。在頭部分支中，包括三個分支。首先是刻度點(diǎn)檢測分支，在此分支中預(yù)測的熱圖中的峰值對應(yīng)于刻度點(diǎn)的位置，并通過兩個不同的特征圖將點(diǎn)分類為X軸或Y軸的刻度點(diǎn)。為了恢復(fù)由輸出步幅引起的離散化誤差，在Offset分支中預(yù)測了修正刻度點(diǎn)位置的偏移量。在第三個分支中（OTB），預(yù)測了刻度點(diǎn)到刻度標(biāo)簽文本框中心的偏移，該偏移僅在訓(xùn)練階段使用。

為了訓(xùn)練刻度點(diǎn)檢測分支，我們使用Focal Loss作為損失函數(shù)來進(jìn)行逐像素邏輯回歸。為了訓(xùn)練Offset分支，我們使用在人臉Landmark定位任務(wù)中提出的Wing Loss，其設(shè)計(jì)目的是提高深度神經(jīng)網(wǎng)絡(luò)針對中小型誤差的學(xué)習(xí)能力，并使用Smooth L1作為訓(xùn)練OTB分支的損失函數(shù)。

在檢測出X軸與Y軸上的刻度點(diǎn)后，首先使用線性分布檢查來過濾掉異常檢測點(diǎn)，然后基于刻度點(diǎn)與標(biāo)簽文本框之間X軸或Y軸的L1距離，將刻度點(diǎn)和標(biāo)簽文本框進(jìn)行匹配。

在Adobe Synth，UB PMC驗(yàn)證集及Test Challenge階段不同實(shí)驗(yàn)得分如表1，2所示，可以看出不使用預(yù)訓(xùn)練模型與添加OTB分支能夠取得更好的得分。最后通過模型融合我們在測試階段分別取得了99．90％與81．28％的成績，取得第一。

表1

表2

賽道五

賽道五將圖例標(biāo)簽文本與圖例中相應(yīng)的樣式元素相關(guān)聯(lián)。我們采用先檢測圖例元素，然后匹配圖例元素和圖例標(biāo)簽的方法。為了進(jìn)一步提高匹配精度，同時(shí)檢測圖例對和圖例元素，圖例對的檢測結(jié)果輔助匹配過程。

我們的方法分為三個步驟：

使用與賽道三相同的方法對文本框進(jìn)行分類，然后篩選出圖例標(biāo)簽類別的文本框。

用CenterNet ［3］檢測圖例元素和圖例對兩個類別，圖例對通過合并圖例元素和相應(yīng)文本的邊框獲得。

匹配圖例元素和圖例標(biāo)簽，對于每個圖例標(biāo)簽，如果存在圖例元素在同一個圖例對中，則該圖例標(biāo)簽和圖例元素配對，然后使用匈牙利算法匹配剩余的圖例元素和圖例標(biāo)簽。為了減少賽道三的分類錯誤對賽道五結(jié)果的影響，加入了后處理，對于賽道三的結(jié)果中沒有圖例標(biāo)簽的圖像，如果同時(shí)檢測到圖例元素和圖例對，則將圖例元素與所有文本框進(jìn)行匹配。

賽道六

賽道六第一個子任務(wù)的目標(biāo)，是對圖表中繪圖區(qū)域中的每個元素進(jìn)行檢測和分類，第二個子任務(wù)輸出用于生成圖表圖像的原始數(shù)據(jù)，且在元素的表示形式中包含框和點(diǎn)兩種類型。我們將對這兩個子任務(wù)進(jìn)行整體介紹。

賽道六的評價(jià)指標(biāo)比較復(fù)雜，概括為采用檢測到的元素與真實(shí)標(biāo)注元素之間的歐氏距離或者IOU評價(jià)檢測的得分，通過每個分組中的點(diǎn)與真實(shí)標(biāo)注每個分組中點(diǎn)匹配程度，與提取到的坐標(biāo)軸坐標(biāo)系的數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的誤差，計(jì)算分組得分與數(shù)據(jù)提取得分。

我們分別通過基于框的檢測算法和基于點(diǎn)的檢測算法來檢測元素。為了檢測框表示的元素，我們使用目標(biāo)檢測算法CenterNet進(jìn)行檢測。為了檢測點(diǎn)表示的元素，我們使用與賽道四中相同的點(diǎn)檢測算法，并刪除OTB分支。

在解決了檢測問題之后，為了將檢測到的元素進(jìn)行分組（比如檢測到的同一條曲線上的點(diǎn)，應(yīng)該被分為同一組）。對于水平框和垂直框，我們可以按X軸或Y軸的L1距離對框進(jìn)行分組，但是對于“線和散點(diǎn)圖”而言，則更為復(fù)雜。我們分別提取檢測到的元素的顏色直方圖特征和Hog特征，然后使用K－means對它們進(jìn)行聚類分組。

通過檢測我們可以得到元素在圖像坐標(biāo)系中的位置表示，為了獲得繪制圖表圖像時(shí)所使用的原始元素?cái)?shù)據(jù)，我們需要將圖像坐標(biāo)系表示的元素轉(zhuǎn)化為軸坐標(biāo)系表示。經(jīng)過分析，我們將UB PMC數(shù)據(jù)集分為五個類別，將Adobe Synth數(shù)據(jù)集分為八個類別，然后分別處理每個類別。對于數(shù)據(jù)序列，如果x值為數(shù)字值，則通過插值計(jì)算x軸值。如果x值為字符串值，則使用L1距離查找最接近的字符內(nèi)容。

最終在測試階段我們使用單模型取得了76．43％與61．18％的得分，位列第三。

參考文獻(xiàn)：

1． Breiman L． Random forests［J］． Machine learning， 2001， 45（1）： 5－32．

2． Ke G， Meng Q， Finley T， et al． Lightgbm： A highly efficient gradient boosting decision tree［C］／／Advances in neural information processing systems． 2017： 3146－3154．

3． Zhou X， Wang D， Kr¨ahenb¨uhl P． Objects as points［J］． arXiv preprint arXiv：1904．07850， 2019．