VTuber 舞力全開!從技術面淺談動作捕捉對舞蹈表現的影響

轟跳舞

為什麼我們推薦這篇文章
「動作捕捉」一直是 VTuber 技術發展的重要議題,捕捉的精準與否會大幅度影響表演的可看性,無論是粉絲或 VTuber 自身皆希望能夠完整還原精心安排的表演,然而事實上以現有的技術,仍然無法抵達完美無瑕的境界。接續就讓本文作者 OpenLive3D 開發人 Wei 與你分享動捕的困難處以及如何改善吧!

為什麼很多人在說:「動作捕捉對 VTuber 跳舞是一種 Nerf。」「動捕跟不上本人的動作。」

目次

動作捕捉造成弱化的原因

捕捉設備的定位平滑化 (Positioning Smooth)

不論是使用「動補裝」,或者是透過「家用 3D 的單鏡頭」機器學習定位,這些設備或多或少會有定位誤差的問題。若是一個人完全靜止不動的時候,捕捉設備每次定位出來的點其實會呈現一個常態分佈。

常態分佈的例圖

當每次定位結果不停地在該分佈裡跳動,看起來就像是訊號不好一樣,導致人在畫面上閃爍,所以動捕定位完之後,本身一定會有一層平滑化機制:平滑化 弱化銳利度 跳舞動作頓點力道減少

動捕幀率與影片播放幀率不匹配的內差機制 (Frame Rate Mismatch)

動捕設備每一次擷取定位點所需要的時間不一定相同,在定位點量大的時候 (例如人多或是動作複雜) ,每次動捕的時間更會拉長,造成每秒的幀率不一定相同。

然而,影片播放需要穩定的幀率 (通常是 60 FPS) ,因此我們會使用內差來解決不匹配的問題。使用內差的當下,如果只參考最近的定位點,在動作變化的時候將發生不平滑的問題 (想像畫一個圓形可是變成八角形) ,所以通常會參考多點來進行內差,參考多點之後達成的效果便是平滑化,而隨著平滑化,動作頓點也將弱化。

Linear interpolation 的例圖

定位點到 3D 模型動作轉換 (Motion Smooth)

動捕定位完之後得到的只是在 3D 空間裡的一個座標,這個座標需要經過一定的數學轉換才能夠變成 3D 模型的動作。模型動作可以分為兩種:「位置」與「角度」,以人型的 3D 模型而言,一般以尾椎為支點 (HIPS) 計算位置。

人型的 3D 模型例圖

其他的相對骨架都是計算旋轉角度之後,進一步轉換為 3D 模型的動作。在這樣的計算中,如果 3D 模型與被偵測人的肢體有長度差異,我們在做模型旋轉的時候就會需要「額外補正」;而這樣的額外補正通常會在旋轉的參數上再帶一層平滑化,以補救模型補正之後卡頓的問題。

算圖渲染平滑化 (Render Smooth)

筆者在開發的動捕軟體 OpenLive3D,因為使用者是以 Mac 為主,故電腦 GPU 效能較差,算圖的過程也會發生卡頓的問題,此時雖然能夠採用減少 3D 算圖渲染的平滑化方法,但同樣會造成頓點力道減少。

如何改善動捕平滑問題

更好的設備

上述所列的眾多問題在使用更佳的動捕設備時都能有一定程度的改善,再搭配更昂貴的 GPU,可以讓算圖與渲染不需要妥協。儘管弱化的問題仍會存在,但當幀數夠高的時候,影響便會減少。

減少計算的複雜度

簡單而言,「人少一點」加上「減少特效」,與更好的設備一樣的道理。

舞風的選擇與調整

除了設備的限制,「舞風」受到的影響更大!以 hololive 來說,像是 Aki 這種以震動電臀作為表現形式的肚皮舞風格,一定是被超絕弱化,在不得已的情況下只能加大動作的幅度與降低振動頻率;不過就算如此,在特定動作上明顯還是受到動捕的影響而浮現頓點不足的空虛感。下方的 3D Live 影片,雖然 Aki 已經使用更為柔美優雅的舞蹈編排,但是在開場的印度舞擺頭動作依舊發生平滑化的情形。

希望有天能完美還原 Aki 的性感舞蹈!

Baelz 則是對照組,採用力道極強的表現形式,即使影響不可避免,可是動作呈現相對更加吸睛。

Baelz 於 EN 2nd Concert 的精彩舞蹈

交給大腦幻想過程

轟はじめ 在《ReGLOSS 3Dライブ》多次腳步切換的動作為例,多腳步切換顯現她紮實的基本功,不過我們要理解,腳接觸到地面之後,由於受到阻力,必然發生頓點。影片裡轟はじめ有些動作似乎是踏完腳後直接向前滑,並沒有明顯的頓點 ,這便是快速的舞步受動捕機制影響而遭平滑化的結果。基於該現象,觀眾可以透過理解舞蹈的實際運動原理,在腦中自動補全這些被省略的細微動作。

轟的舞功在這次 3D 發表會廣受好評

FAQ

所以我們目前看到的舞步其實不是本人 100% 發揮?

理論上,因為增加偵測與套用 3D 模型的過程,我們永遠無法達到 100%,但是能夠在技術的推展下無限地接近。

VTuber 本人與模型差異較大怎麼辦?

如果模型的骨架跟人的骨架在定位之後需要補正的差異過大,就會需要額外計算補正,而且常常有許多需要妥協的情形發生,猜測這也是 hololive 在疫情結束前一直沒辦法給 EN 成員正式 3D 出道的原因。

延伸閱讀:《回顧 Watson Amelia 四年來的創意與影響力

有沒有可能平滑完再重新鋭化?

重新銳化的問題是因為在平滑化之後訊號已經失真了,所以不知道原本的動作是「平滑」,還是「停頓」?這裡牽涉到更先進的技術,像是用機器學習來進行銳化判斷等等,甚至可以把原本跳得不好的地方修正得更好。

平滑處理越多的動補其實就雷同於 MMD 嗎?

其實 MMD 因為動作是可以編輯的,雖然很多 MMD 軟體本身也會有平滑化處理,可是能於同一個位置連續放置關鍵點的方法來規避,以達到頓點的效果,所以 MMD 與 3D 動捕還是有根本性的差異

OpenLive3D 是什麼?

設備為 Mac 的 VTuber,經常遇到許多軟體運行的問題,連結的步驟複雜而且很難調用 GPU,故筆者自行開發一款名為 OpenLive3D 的軟體,只需要電腦有 Webcam,即可把動捕連到模型!本軟體支援 VRM 格式的模型,如 VRoid 用戶皆可自行上傳。

加入 vchavcha 粉絲團 ⬇️

Share with Friends!
  • URLをコピーしました!
  • URLをコピーしました!

Author

Wei Chenのアバター Wei Chen Guest Author

VTuber 動作捕捉軟體 OpenLive3D 製作者,曾在 Amazon 和 Meta 工作,在數據科學、機器學習及雲端架構等領域擁有多年經驗。

Comment

コメントする

目次