Video-based Outdoor Human Reconstruction

Penulis: Zhu, H., Liu, Y., Fan, J., Dai, Q., Cao, X.
Jurnal: IEEE Transactions on Circuits and Systems for Video Technology

Kebutuhan model 3D dari manusia semakin tinggi pada beberapa bidang seperti industri TV, game, virtual
reality, hingga 3D printing. Beberapa teknik human body scanning untuk mendapatkan model 3D dari manusia
yang konvesional memiliki banyak kekurangan apabila diterapkan pada kondisi lingkungan outdoor dan ketika
target obyek tidak dapat mempertahankan kondisi statis sepenuhnya selama scanning. Dari permasalahan
tersebut, penelitian ini mengusulkan suatu metode dapat melakukan human body scanning yang robust
terhadap kondisi lingkungan outdoor dan obyek yang dinamis tanpa memerlukan perangkat khusus atau
keterampilan menangkap obyek.

Terdapat beberapa penelitan terkait dengan penelitian ini yaitu yang pertama Multi-View Stereo (MVS),
merupakan algoritma yang memiliki presisi rekonstruksi yang tinggi, tetapi kebanyakan tidak cocok untuk
iluminasi yang kompleks dan lingkungan outdoor. Kedua, rekonstruksi menggunakan hand-held camera,
sistem akuisisi 3D berbasis video, dan Dense Tracking and Mapping (DTAM) dilakukan secara real-time,
tetapi kebanyakan hasil berupa discrete point clouds. Multi-view video digunakan sebagai guide untuk pre-
scanned model cocok digunakan untuk pelacakan dan rendering gerakan, tetapi akurasi recovered shape–nya
tidak terdefinisi. Photometric stereo digunakan untuk memperoleh kembali geometri yang detail, tetapi metode
ini berkaitan erat dengan model reflektansi yang hanya bisa didapatkan pada studio. Serta terakhir, penggunaan
low-cost range sensor seperti Kinect dan Xtion dengan kekurangan resolusi yang low-space dibanding image
sensor, dan cenderung gagal pada lingkungan outdoor karena gangguan matahari.

Sistem yang diajukan pada penelitian ini hanya menggunakan satu kamera video konvensional tanpa
bantuan sensor khusus atau pencahayaan yang diatur. Point cloud reinforcement diusulkan untuk mendeteksi
dan menyesuaikan conflict point data untuk bagian tubuh manusia yang ramping dan goyah. Peneliti
memanfaatkan hasil kalibrasi structure from motion (SFM) secara langsung dan meningkatkan dense 3D
reconstruction berbasis video dengan mengintegrasikan batasan kehalusan permukaan. Pada hasil kalibrasi,
beberapa keyframe diekstraksi dari urutan gambar kemudian disegmen dengan pendekatan segmentasi multi-
view. Hasil segmentasi digunakan pada fase estimasi kedalaman, peneliti menetapkan wilayah penghitungan
kedalaman sesuai dengan segmentasinya. Setelah segmentasi, dilakukan estimasi kedalaman objek padat.
Proses selanjutnya yaitu define refinement, dimana peta kedalaman sebelumnya diberi batasan untuk
kehalusan, bentuk sebelumnya, dan konektivitasnya. Point cloud reinforcement dikombinasikan dengan
adaptasi siluet untuk mencapai rekonstruksi mesh yang tepat pada bagian-bagian dengan tingkat kesulitan
tinggi. Selain itu, terdapat metode frame close-shot untuk memperbaiki pre-reconstructed mesh model, yang
mengarah ke model water tight yang diwarnai.