將三維形貌轉為藝術簡體畫?神經(jīng)輪廓算法助力繪制三維形狀精準輪廓
描繪目標的精確線條一直是藝術家引以為豪的高超手藝,寥寥幾筆就能刻畫出逼真的形貌。這看似簡單的背后卻需要藝術家長期的訓練對三維形狀的深入理解和對線條的取舍與光影的平衡。
如何讓機器學會藝術家的這種能力是計算機視覺領域一個非常有意思的開放性問題,需要綜合三維形狀理解、視覺感知和圖像風格化等多個領域的技術。來自麻省大學阿默斯特分校和Adobe的研究人員最近提出了一種結合可操作幾何特征的三維模塊和操作圖像與視角特征的圖像模塊共同實現(xiàn)對三維模型線條的描述,這種方法在精度和視覺效果上都超過了傳統(tǒng)的方法,可以精確簡潔地描述模型的線條表示。
Neural Contours模型
從三維形狀到二維線條草圖看起來簡單,但用先前的圖像風格遷移方法來處理會使得模型無法有效獲取形狀隱含的的三維幾何信息。如果使用分析幾何類的算法雖然可以捕捉基本的線條特征,卻無法捕捉真實繪畫時候的復雜線條特征,針對每一個模型都需要一系列參數(shù)來調節(jié)。綜合三維分析和圖像特征是一個可行的研究方向。
在本研究中研究人員的目標是通過三維形狀生成線條稿,模型包含了幾何與圖像兩個分支。其中幾何分支基于輪廓、凹凸和形貌實現(xiàn)線條的繪制,不同于現(xiàn)有手工調參方法,這一分支可以利用可差分模型自動對參數(shù)進行選擇。而圖像分支則使用了標準的圖像遷移網(wǎng)絡模型,同時加入了基于視角的形狀表示。通過兩個分支的有機結合可以為三維形狀得到較為清晰、完整、高效的線條表示。
下圖顯示了模型的基本架構,其輸入為三維形狀和相機參數(shù)、輸出為對應視角下的2D灰度線條稿。
模型分為幾何分支和圖像遷移分支,其中幾何分支主要基于3D模型的幾何特征來進行線條繪制、圖像遷移分支則通過圖對圖的遷移來學習線條,同時來利用了排序模塊來決定最好的線條參數(shù)。
幾何分支主要依賴于經(jīng)典的幾何線條定義,包括啟發(fā)性輪廓線(suggestive contours),脊線谷線與顯著脊線(ridges,valleys,apparent ridges)等。
生成線條的第一部分是輪廓線Occluding Contours,模型利用插值輪廓算法生成了一幅二進制掩膜圖Ic,在輪廓線投影位置其值為'on'。這是無參數(shù)模型不需要進行任何學習,其生成結果如上圖b所示。
生成線條的第二部分是啟發(fā)性輪廓SC,可以定義啟發(fā)性輪廓是曲線殘差集合中值為零但方向導數(shù)大于零的點。針對網(wǎng)格可以通過尋找曲線殘差幾何的零集來得到這些曲線,如圖c所示如果渲染所有的SC是不現(xiàn)實的,利用一個閾值將較弱的SC去除掉得到如上圖d中的結果。為了自動化地確定這一閾值,研究人員引入了可查分的方法來確定閾值的結果在網(wǎng)絡模塊的上半部分就顯示了SC的投影圖和殘差方向導數(shù)。另一部分與顯著脊線圖和視角相關的曲率一同作為輸入,以便自動化確定了顯著脊線的閾值。上圖中g和h也相應的顯示了顯著脊線在閾值過濾的前后結果。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 小米YU7新增835公里續(xù)航版,6-7月面市
- 3 昆侖萬維24年營收56億,AI出海商業(yè)化獲重要進展
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 大模型下半場:Agent時代為何更需要開源模型
- 8 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關稅,能否乘機器人東風翻身?
- 9 中國“智造”背后的「關鍵力量」
- 10 全球無人駕駛技術排名:誰才是細分賽道的扛把子?