以前講到動態捕捉(Motion Capture),會讓人想到在大房間裡,穿上貼了很多小圓球的緊身衣,用多部攝影機和大型電腦來進行,但今時今日,在人工智能加持和日本VTuber熱潮的推動下,全身動態捕捉只需一部iPhone就可以成事。日本早前推出免費動態捕捉程式「Michicon - VisionPose Single3D -」。
「Michicon」運用由Next-System開發的動態捕捉技術VisionPose Single3D開發。VisionPose技術只要透過廉價的WebCam就可以實行同時捕捉多個人的骨格深度資料,透過人工智能來進行推論分析,可以運用在顧客動態、醫學分析、保安監控和娛樂製作等範疇。
該程式正是運用這種技術,將鏡頭捕捉到的骨架資料,實時套用到軟件裡的虛擬角色Michiko身上,由於動態捕捉是在手機裡進行,需要一定的運算能力,因此開發商推薦使用iPhone XS、XS Max或XR這三款採用A12 Bionic處理晶片的手機。為針對影像製作,軟件還有綠幕功能,方便將角色套在其他場景上。
軟件捕捉骨格的速度很快,而且不使用雲端伺服器,即使在飛行模式也用到。基本上,只要鏡頭照到身體大部分,無論多大動作,都能準確捕捉。不過,一些具有深度的動態,例如向前踢腳、前伸手掌擋著身體一部分等,準確度就會開始下跌,但效果仍很好。
不過,由於程式仍在開發早期階段,用戶現在只可透過iPhone的屏幕錄影功能將角色動態錄影,並放到剪接軟件加工。開發商指,今後會加入更換及製作角色、更換背景、儲存動作數據和上半身動態捕捉等功能。
現時日本正興起一遍VTuber熱,相關技術如VRM規格、角色製作、直播和收看軟件等都急速發展,VTuber將來又會利用手機全身動態捕捉技術來製作甚麼新搞作呢?