3D Tracker

Megjelent: Autodesk Flame/Inferno 2007 Extension 1

Digitális trükkök nagy része valós és számítógéppel generált képek vegyítésén alapszik: számítógéppel kiegészített díszletek és tájak, digitális állatok, szörnyek és emberek egy valós erdőben, felrobbanó "digitális" autók valódi utakon stb. Ezen trükkök elkészítésének alapja, hogy a virtuális modellek rendereléséhez (fényképezéséhez) használt kamera modell pontosan illeszkedjen a valódi kamera mozgásához. Ha ez az illeszkedés pontos, az illúzió tökéletes lesz. Mivel az esetek döntő többségében nem tudjuk hogyan mozgott a felvételeknél használt kamera, speciális "látó" algoritmusokat kell alkalmazni a felvételek elemzéséhez, melyek "kitalálják" a kamera mozgását. Ez az úgynevezett 3D Tracking, vagy match moving, magyar szaknyelven kamera illesztés.

Az általam fejlesztett 3D Tracker első nyilvános bemutatója Las Vegasban az NAB 2007 kiállításon.

Bár a legmodernebb 3D Tracker-ek - így többek között az Autodesk Flame-be fejlesztett is - kis túlzással csupán egy gombnyomást igényelnek, a háttérben több - igen összetett - eljárás dolgozik: karakterisztikus pontok (feature-ök) azonosítása minden képen, ezen pontok mozgásának követése, a rosszul követett pontok robusztus azonosítás és törlése, a pontok mozgása alapján a kamera paramétereinek rekonstrukciója, a követett pontok térbeli elhelyezkedésének meghatározása stb. Mivel az összes felsorolt feladat már önmagában is igen bonyolult, komoly matematikai apparátust igényel, a fejlesztés igen hosszú ideig tartott. (Legalábbis a korábbi, 3D grafikai munkáimhoz képest.) Míg a kutatást az egyetem utolsó évében kezdtem meg, a kész termék az Autodesk Flame és Inferno rendszereiben, a 2007-es verzió első kiegészítésében (Extension 1.) jelent meg.

Imagery courtesy of Absolute Post

Sikerült igen sok innovatív, egyedi megoldást alkalmazni az algoritmusok sebességének és hibatűrésének javítására, de sajnos technikai részleteket nem árulhatok el... A kamera illesztés a gépi látás egyik legnehezebb és mai napig aktívan kutatott területe, a munka során sok nehéz és izgalmas kihívással kellett megbírkozni. A több éves és jelenleg is tartó fejlesztés nagyon izgalmas volt, és nagyon sokat tanultam, tanulok belőle.