Anda di halaman 1dari 10

Menangkap dan Menganalisis Gerakan menggunakan Sensor Kedalaman

dan Labanotation
B orge Kordts Bashar Altakrouri andreas Schrader
University of L ubeck Ambient Computing Group Ambient Computing Group
L ubeck, Jerman Institut Telematika Institut Telematika
boerge.kordts@gmx.de Universitas L ubeck Universitas L ubeck
L ubeck, Jerman L ubeck, Jerman
schrader@itm.uni-luebeck.de
altakrouri@itm.uni-luebeck.de

ABSTRAK dalam memanfaatkan gerakan, dalam konteks HCI, pada cial dan penelitian tingkat
interaksi tubuh penuh menjadi semakin penting untuk Interaksi Manusia commer- telah mendorong adopsi macam gerakan di perangkat komoditas,
Komputer (HCI) dan sangat penting di daerah berkembang seperti aplikasi penggunaan intensif dari gerakan dalam aplikasi interaktif dan panggilan yang
mobile, games dan ent Ambi- Assisted Hidup (AAL) solusi. Sementara ini muncul untuk fl ubbed tindakan antar [7].
memperkaya ruang desain aplikasi interaktif di lingkungan vasive di
mana-mana dan per-, secara dramatis meningkatkan kompleksitas
Penelitian di bidang User Interface Alam (NUIs) telah jelas menunjukkan
pemrograman dan menyesuaikan sistem tersebut untuk pengguna akhir dan
penggunaan gerakan gerakan, mulai dari gerakan tangan sederhana untuk
pengembang interaksi non-profesional. Karya ini ad- gaun meningkatnya
gerakan berpotensi lebih kompleks dan lebih kaya melibatkan beberapa bagian
kebutuhan cara sederhana untuk mendefinisikan, menyesuaikan dan
tubuh. Baru-baru ini, afford- sensor kedalaman mampu seperti Microsoft Kinect 1 dan
menangani interaksi pengguna dengan cara dikelola stration demon- dan
Asus Xtion PRO LANGSUNG 2 sensor gerak telah disajikan tanah bermain- sangat
deklarasi. pendekatan baru kami mendorong penggunaan Labanotation
baik dan membuka peluang untuk menciptakan teknik interaksi yang baru, di mana
(sebagai salah satu gerakan paling populer de- skripsi notasi visual) dan
gerakan tubuh manusia digunakan untuk mengendalikan permainan dan aplikasi.
off-rak motion capture nologies tech- untuk interaksi pengodean ulang,
generasi dan analisis.

Menyusul keberhasilan ini, pengembangan sensor kedalaman sedang


dilakukan sangat dalam perangkat mobile serta [6]. Ini telah membuka
potensi yang sangat besar untuk kelompok pengguna yang besar dan
beragam (termasuk pengguna menantang secara fisik) untuk expe-
bentuk-bentuk baru expe interaksi yang berbeda dari teknik put in
penulis Kata Kunci tradisional. Oleh karena itu, NUIs telah menemukan cara mereka ke
Gerakan Analisis, Labanotation, Gesture online Pengakuan, sensor berbagai AAL skenario termasuk aplikasi mobile, games, televisi interaktif,
Kedalaman, 3D Gerak, Natural User Interface peralatan dapur pintar, dll interaksi tubuh penuh meningkatkan peluang
untuk memperkaya ruang desain dan kustomisasi aplikasi interaktif dalam
lingkungan di mana-mana dan meresap; Namun demikian, kompleksitas
ACM Klasi fi kasi Kata kunci pemrograman dan menyesuaikan sistem tersebut menimbulkan tantangan
H.5.2. Antarmuka Informasi dan Presentasi (misalnya HCI): User Interfaces - nyata untuk pengembang interaksi profesional.
perangkat input dan strategi; H.5.m. Antarmuka In- formasi dan Presentasi
(misalnya HCI): Miscella- neous; Pola I.5.0 Pengakuan: Umum

PENGANTAR pemrograman pengguna akhir aplikasi interaktif dan tems sistematis tentu mengikuti tren
aplikasi interaktif ambien dan sistem sangat tergantung pada konteks informasi
yang kuat untuk memungkinkan pengguna untuk merancang, mengembangkan, con angka,
untuk akuisisi interaksi dan waktu melahirkan. gerakan tubuh manusia saat ini
dan menyesuaikan lingkungan interaksi mereka sesuai dengan kebutuhan dan persyaratan
menyerupai esensial bagian Essen- informasi ini. Dengan demikian,
mereka sendiri. Oleh karena itu, pendekatan yang lebih mudah dan lebih mudah dikelola
meningkatkan kemajuan
untuk mendefinisikan dan menggunakan gerakan gerakan yang diinginkan. Pekerjaan kami
bertujuan mengurangi upaya realisasi con fi g- urable gesture control dalam sistem AAL.
Izin untuk membuat salinan digital atau keras semua atau bagian dari pekerjaan ini untuk penggunaan pribadi atau ruang kelas
Selain itu, menja-
diberikan tanpa biaya asalkan salinan tidak dibuat atau didistribusikan untuk pro fi t atau keuntungan komersial dan bahwa
salinan menanggung pemberitahuan ini dan kutipan penuh pada halaman pertama fi . Hak cipta untuk komponen pekerjaan ini
dimiliki oleh orang lain daripada penulis (s) harus dihormati. Abstrak dengan kredit diperbolehkan. Untuk menyalin sebaliknya,
atau menerbitkan, untuk posting di server atau untuk mendistribusikan ke daftar, mengharuskan sebelum spesifik izin dan /
1 http://www.microsoft.com/en-us/kinectforwindows/, akses terbaru pada 2015/04/10.
atau biaya. Permintaan izin dari Permissions@acm.org.

EICS'15, 23-26 Juni 2015, Duisburg, Jerman. 2 http://www.asus.com/Multimedia/Xtion PRO LANGSUNG / akses terbaru pada 2015/10/04.
Hak cipta dipegang oleh pemilik / penulis (s). hak publikasi lisensi untuk ACM. ACM
978-1-4503-3646-8 / 15/06 ... $ 15,00 DOI: http://dx.doi.org/10.1145/2774225.2774842
gaun meningkatnya kebutuhan cara sederhana untuk mendefinisikan, menyesuaikan dan menangani Labanotation dan Gerakan Deskripsi Bahasa
interaksi pengguna. Meskipun relevansi deskripsi gerakan dan pemikiran-dokumen, baik tetap
masalah unresting bagi banyak medan seperti koreografi tari, rehabilitasi gerakan,
Dalam rangka untuk mendefinisikan dan menggunakan gerak, pengembang sering re- stricted untuk
pengakuan tion mo- dan analisis, dan gerakan manusia simulation tion [3].
keadaan teknik pengenalan pola seni yang biasanya memerlukan pelatihan fi er klasi dengan satu set
Sebuah pendekatan yang sangat sederhana namun informal untuk
avail- sampel pelatihan mampu [4]. Satu-shot klasifikasi ers fi mengurangi-upaya benteng diperlukan
menggambarkan membangun struktur ges- adalah sketsa pose kunci; Namun,
untuk pengaturan sistem seperti pada [12]. Dilatih clas- si ers fi tersedia secara luas; Namun, mereka
pendekatan ini dan pendekatan informal lainnya menderita kekurangan yang
sering membatasi pengembang untuk satu set yang dibutuhkan fitur dan gerakan terbatas.
berbeda di- cluding ambiguitas, kurangnya akurasi, hilang mation informal
Pendekatan kami mendorong penggunaan off-rak motion capture nologies tech- untuk pemodelan
temporal, dll [1]. Formal deskripsi gerakan dan analisis pendekatan dan sistem
interaksi, integrasi dan pengiriman menggunakan Labanotation sebagai salah satu tions nota- visual
menawarkan cara yang lebih terstruktur untuk menangani gerakan. Kahol et al.
yang paling populer untuk mendokumentasikan gerakan fisik. Sementara tasi no ini umumnya
[11] panggilan untuk bahasa formal yang memfasilitasi skor pengajaran dan gaya
digunakan untuk menangkap dan menganalisa KASIH move- dalam koreografi, terapi fisik, rehabilitasi
belajar gerakan, izin universal dipahami dan menyediakan bahasa sal univer-
dan drama, kita memanfaatkan notasi dalam konteks interaksi sebagai bagian dari sebuah mesin
untuk berkomunikasi gerak. Salah satu sistem notasi terbaca-manusia dan visual
yang disebut Gerakan Ambient Analisis Mesin. Sementara mendefinisikan gerakan oleh demonstrasi
yang paling sering digunakan untuk menggambarkan dan menganalisis gerakan
menawarkan cara mudah dan nyaman untuk de fi gerakan ne dalam banyak kasus, deklarasi lebih
disebut Labanotation [10]. Kami telah mengadopsi Labanotation dalam
tepat dan akurat. Ia menawarkan cara yang lebih baik untuk mengedit, menyesuaikan, debug, dan
pendekatan kami karena digunakan di medan sangat bergantung pada deskripsi
mengoptimalkan bagian dari gerakan secara individual. Kami mengandalkan pendekatan hybrid untuk
gerakan seperti koreografi dan tari; lebih jauh lagi, itu berhasil digunakan dalam
memanfaatkan manfaat dari kedua pendekatan. Oleh karena itu, mesin memungkinkan untuk dengan
HCI untuk deskripsi interaksi dan analisis seperti pada [1, 2, 3, 15].
mudah kode, menganalisis dan mengintegrasikan gerakan dimodelkan sebagai urutan gerakan

Labanotation dalam aplikasi interaktif. dan mengoptimalkan bagian dari gerakan secara individual.

Kami mengandalkan pendekatan hybrid untuk memanfaatkan manfaat dari kedua pendekatan. Oleh

karena itu, mesin memungkinkan untuk dengan mudah kode, menganalisis dan mengintegrasikan

gerakan dimodelkan sebagai urutan gerakan Labanotation dalam aplikasi interaktif. dan

mengoptimalkan bagian dari gerakan secara individual. Kami mengandalkan pendekatan hybrid untuk Sementara buku Labanotation khusus, seperti [10], menawarkan thor- penjelasan ough
memanfaatkan manfaat dari kedua pendekatan. Oleh karena itu, mesin memungkinkan untuk dengan tentang bahasa, di sini, kita secara singkat y in troduce konstruksi utamanya. Labanotation
mudah kode, menganalisis dan mengintegrasikan gerakan dimodelkan sebagai urutan gerakan Labanotation dalam aplikasi
adalah tion interaktif.
nota- visual yang terdiri dari sejumlah besar simbol abstrak, yang digunakan untuk
menyajikan dan mendokumentasikan berbagai kualitas gerakan seperti arah, tingkat (tinggi,
Dalam tulisan ini, kami terutama menggambarkan arsitektur, implemen- tasi
menengah dan rendah), ransum du-, dinamika dan kualitas (sering ditunjukkan dengan
dan evaluasi awal dari Ambient Gerakan Analisis Mesin. Kami menyoroti dan
usaha), in-bagian tubuh melibatkan kalian, dll Untuk kejelasan, Gambar 1 menggambarkan
membahas kontribusi kami dalam dua bagian, yaitu:
dua gerakan (digunakan dalam evaluasi kami) dimodelkan dalam Labanotation sebagai
urutan interaksi sederhana. Gerakan ditulis pada staf vertikal “tubuh”, yang dibagi ke dalam
• Gerakan Analyzer: Modul ini terutama re- sponsible untuk mendeteksi kolom vertikal dan garis tengah yang memisahkan skor menjadi sisi kiri dan kanan untuk
urutan gerakan dan skor gerakan ing creat-. Gerakan diperoleh dari menyajikan bagian-bagian tubuh sebelah kiri atau kanan terlibat dalam gerakan. Labanotation
kamera sungai dengan menggunakan teknik visi komputer dan kode ke dibaca dari bawah ke atas dalam arah vertikal. Gerakan untuk bagian tubuh yang berbeda
model representasi gerakan Labanotation. Oleh karena itu, mesin disusun ke dalam kolom yang berbeda. Secara default batin empat kolom (di setiap sisi)
bertujuan menyediakan deskripsi rinci tentang gerakan yang dilakukan sudah ditugaskan untuk mendukung (yaitu, distribusi berat badan di tanah), kaki, seluruh
untuk dokumentasi lebih lanjut, ysis anal- dan pengolahan. tubuh dan lengan (disajikan dalam Gambar 1a oleh kolom (1) ke (4) masing-masing). Semua
kolom lainnya dapat ditetapkan secara individual untuk bagian tubuh lainnya (misalnya,
tangan, kaki, jari-jari, jari kaki, angka dan jari kaki). Selanjutnya, kolom kosong hanya tidak
relevan untuk gerakan model. Awal gerakan dilambangkan dengan dua garis izontal hor-
• Gerakan Provider: Modul ini bertanggung jawab untuk berlangganan dan pengiriman
paralel yang menghubungkan dua garis luar vertikal (ditandai (5) pada Gambar 1a). Untuk
interaksi (yaitu, gesture) peristiwa berdasarkan skor gerakan. Oleh karena itu, teknik
mendefinisikan awal pose, simbol sponding corre- harus ditempatkan di bawah garis start.
ing event- memadai digunakan untuk memberikan pengembang perangkat lunak
Jika tidak ada awal tertentu berpose diperlukan, bagian staf harus dibiarkan kosong. Analog,
portunity op untuk mendefinisikan peristiwa gerakan pada manusia dan format yang
dua garis horizontal paralel di bagian atas staf dapat digunakan untuk menunjukkan akhir dari
dapat dibaca mesin-untuk memicu tindakan. The fleksibilitas dari notasi yang
gerakan itu. Timing disajikan dengan langkah-langkah dan ketukan (ditandai dengan (7) dan
digunakan memungkinkan untuk langganan ke makro (umum) atau mikro gerakan
(8) pada Gambar 1a). Beats ditulis sebagai garis horizontal pendek melintasi garis tengah
(sangat rinci) yang dibutuhkan oleh skenario interaksi yang.
skor. Satu beat di skor mungkin menunjukkan satu atau lebih ketukan dalam karya musik.
Untuk Ambient Gerakan Analisis Mesin, beats didefinisikan dalam milidetik. Ameasure di con
sisi lain Satu beat di skor mungkin menunjukkan satu atau lebih ketukan dalam karya musik.
Untuk pengetahuan terbaik kami, kertas kami adalah yang pertama untuk
Untuk Ambient Gerakan Analisis Mesin, beats didefinisikan dalam milidetik. Ameasure di con
menargetkan penyedia gerakan berdasarkan Labanotation, yang unggul dalam
sisi lain Satu beat di skor mungkin menunjukkan satu atau lebih ketukan dalam karya musik.
memberikan isyarat dibaca berguna untuk debugging (observ- ing dengan benar /
Untuk Ambient Gerakan Analisis Mesin, beats didefinisikan dalam milidetik. Ameasure di con
bagian tidak benar dilakukan dari gerakan itu), authoring pemrograman bebas dari
sisi lain
gerakan dan dikelola user interface acara-pelanggan.

PEKERJAAN YANG BERHUBUNGAN

Bagian ini mencakup dipilih pekerjaan sebelumnya di bidang bahasa


deskripsi gerakan, serta gerakan ac- quisition dan menangkap.
sists beberapa ketukan dan ditulis sebagai garis horizontal panjang, yang disebut bar arah maju dalam Labanotation digabungkan ke satu arah depan dan dua arah
atau ukuran tanda, melintasi garis tengah. Ketika digunakan dalam menggambarkan mundur digabungkan ke satu arah belakang. Hasil kuantisasi adalah
interaksi untuk NUIs, ukuran dapat digunakan untuk memisahkan gerakan ke bagian representasi tentatif, yang berarti bahwa bagian dari itu mungkin berlebihan.
yang berbeda yang mungkin, misalnya, menunjukkan tahap penting yang berbeda Bagian-bagian ambigu dua urutan bols sym- yang memiliki arti yang sama;
atau bagian dari interaksi [3]. Oleh karena itu, menulis ulang aturan yang diterapkan untuk menghapus
redudansi ini. Menggunakan ini sebagai dasar se-, baik terbentuk LND
dihasilkan oleh quantising durasi simbol. Gambar 2 menunjukkan rantai
Sisa Gambar 1a berbunyi sebagai berikut: (6) mulai sition po- dari lengan
pengolahan dari pendekatan ini. Yu et al. [18] mengusulkan menggunakan
kanan harus ditempatkan di tengah (orthog- onal ke seluruh tubuh) dan
user-generated banotation La- untuk database pencarian motion capture dan
mempunyai posisi ke depan diagonal (arm terletak di antara maju dan
pengambilan.
kanan). (7) Measures The yakin menyajikan total waktu yang dibutuhkan
terdiri dari 5 ketukan. (8) Beats di contoh sikap kami didefinisikan sebagai
unit 200 milidetik. (9) Lengan harus bergerak maju. Akhirnya, (10) lengan
seharusnya kembali ke posisi awal. Gambar 1b menggambarkan gerakan pencabutan quantization Generasi
melempar dan dibaca sebagai berikut: Kolom (1) dan (2) menyajikan lengan segmen arah gerak dari tentatif
gerak LND
atas dan bawah kiri masing-masing. (3) Posisi awal lengan atas harus
ortogonal ke sisi kiri tubuh dan (2) lengan bawah harus menunjuk ke atas,
bersama-sama baik membentuk bentuk “L”.
Integrasi quantization
dari LND durasi

Gambar 2: Kelima pengolahan langkah dari algoritma yang diusulkan oleh Hachimura

Untuk authoring dan pemodelan gerak tubuh, kami telah dimanfaatkan dan Nakamura.

pekerjaan kami sebelumnya pada Interaksi Editor [ 2] yang menawarkan


vironment en- untuk generasi dan pengelolaan skor banotation La- visual
Baru-baru ini, Zacharatos et al. [19] telah menggunakan upaya ponent com- di
serta konversi antara visual dan representasi pelengkap Extensible Markup
Laban Analisis Gerakan untuk pengakuan emosi menggunakan kamera mendalam.
Language (XML).
[5] telah disajikan pendekatan untuk gen- erating Labanotation dari data motion
capture. Disimpan Data Bio Vision hirarkis (BVH) fi les yang digunakan untuk
menghasilkan skor Labanotation. Sistem ini digunakan untuk menangkap gerakan
tari dan menghasilkan skor tari yang sesuai untuk lima bagian tubuh, yaitu lengan,
kaki dan kepala. Dalam rangka untuk menghasilkan skor fromBVH fi les, data yang
disimpan dalam GLES Euler an- itu fi rstly dikonversi ke dunia data koordinat. Mirip
dengan [9], gerakan untuk setiap bagian tubuh kemudian dianalisis secara
tersendiri, dengan mengidentifikasi salah satu dari 27 subruang di mana bagian
tubuh mulai. Analisis ini dilakukan per frame tetapi hasilnya akhirnya diberikan per
beat. Dengan menggabungkan semua bagian, semua gerakan sederhana fi ve
bagian tubuh yang dihasilkan. Real-time klasifikasi gerakan tari digambarkan oleh
Raptis et al. [17]. klasifikasi mereka fi kasi terdiri dari ekstraksi fitur menggunakan
representasi sudut kerangka, sebuah mengalir korelasi berbasis dikelompokkan er
dan metrik jarak berdasarkan dinamis waktu-warping. Mereka menggunakan
metode pengenalan pola umum, termasuk pelatihan data dan fi er klasifikasi untuk
mengidentifikasi 28 gerakan tarian yang berbeda. Gerakan yang per- dibentuk oleh
para profesional dan beberapa penari dari berbagai keterampilan untuk memiliki
oracle dan pelatihan data. resentation mewakili keadaan yang angular digunakan
untuk klasifikasi systemwas didasarkan pada asumsi bahwa tubuh itu sendiri adalah
Gambar 1: (a) gerakan gelombang dan (b) melempar isyarat mod- elled sebagai kaku dan setiap anggota tubuh, yaitu lengan dan kaki, memiliki dua sendi. Dalam
dua urutan interaksi sederhana. representasi ini, sendi pertama derajat (yang di sebelah batang tubuh) yang kuat,
karena mereka hanya bergantung pada batang tubuh itu sendiri. sendi tingkat dua
tidak bust RO- karena asal bola sistem koordinat bukan bagian dari tubuh yang
Gerakan Akuisisi dan Menangkap kaku. Euler sudut membawa risiko kunci bal gim-, yang dapat dihindari dengan
Dalam ilmu komputer, pendekatan berbeda dilaporkan untuk menangkap quaternions; Namun, masalah ini dianggap tidak mungkin dan tidak ditangani
gerakan. Hachimura dan Nakamura [9] mengusulkan suatu algoritma yang dengan pekerjaan mereka.
menghasilkan data Labanotation (LND) dari mo- Data tion capture (mocap).
Mereka pendekatan motion capture de- menyusun urutan gerak ke segmen
gerak oleh ences berbeda- dalam kecepatan masing-masing sendi ini.
Berikutnya, arah dan tingkat gerakan masing-masing sendi quantised dalam
setiap frame, dengan membagi ruang dari 33 menjadi 27 arah. kedua
Pendekatan tersebut baru-baru ini diikuti dan mantan cenderung oleh Miranda et al.
[16]. Tujuan mereka adalah terutama untuk menghindari masalah yang misalnya
Data:
mengakibatkan invarian tasi represen- lengkap sudut. Pendekatan ini diikuti OpenNi / urutan,
bersama-sudut represen- tasi murni untuk memberikan invarian untuk sensor NITE penyangga, dll
orientasi. The sentation repre- digunakan dalam pekerjaan mereka bertujuan untuk mesin Logic
Memasukkan
memberikan pengakuan isyarat online dari pose kunci, yang diakui oleh multi
dukungan kelas mesin vektor (SVM). Dalam rangka untuk menentukan gerakan yang 1 1
urutan
dilakukan secara efisien, hutan keputusan yang berisi semua gerakan dan pose
3
kunci mereka digunakan. Dengan orang-orang provements im-, angular kerangka 2 Streaming
Skeleton data Pengakuan
representasi berdasarkan [17] yang telah terbukti kuat ditingkatkan lebih lanjut. urutan

Hutan
Output XML Labanotation keputusan
bagian utama dari tujuan pekerjaan kami di capture gerakan dan ac- quisition; meskipun demikian,
5
gine Gerakan Ambient Analisis En dapat dibatasi dari pengakuan isyarat tradisional sejak pengakuan XML Labanotation
tidak didasarkan pada kotak hitam dikelompokkan er. pengakuan diperintah oleh representasi
4
gerakan, di mana skor gerakan yang dihasilkan dan dibandingkan. Pendekatan kami berfokus pada Pencocokan Pola Acara
deteksi dan pencatatan gerakan fisik dengan menggunakan Labanotation, dalam rangka untuk
Observer (Pendengar,
menyederhanakan penggunaan dan pemanfaatan gerakan fisik aplikasi interaktif. Banyak teknik

pengakuan isyarat umum, misalnya, [17], mengandalkan menggunakan fi er klasi untuk label urutan Socket)

gerak dan memberikan con dences fi. Namun, mereka tidak memberikan detil tion INFORMATION di
Gambar 3: Gerakan Ambient Analisis Mesin desain konseptual.
urutan dilakukan dalam hal nilai gerak dan mereka tidak mendukung fi skor gerak ned de-friendly.

Sebaliknya, kami percaya bahwa urutan gerakan menawarkan Gerakan Ambient Analisis Mesin

fleksibilitas yang lebih fl kami, di mana gerakan hanya dijelaskan oleh skor gerak. Mereka skor yang

digunakan untuk pengakuan secara independen dari data pelatihan (bahkan bukan data pelatihan

satu-shot). The fleksibilitas membuatnya KEMUNGKINAN ble untuk memberikan off-rak teknologi adalah subsequences di sungai, terdeteksi. 4 Setelah sikap diakui, sebuah
motion capture; Selain itu, de-pengguna fi skor gerak ned dapat digunakan untuk memicu peristiwa acara dipicu untuk diproses oleh aplikasi berlangganan. Selain itu, 5 skor
disesuaikan dan mendokumentasikan gerakan tubuh manusia dilakukan. Selain itu, Ambient Gerakan Labanotation, yang didasarkan pada aliran kerangka input, dapat diekspor
Analisis Engine tidak hanya memberikan skor gerak seperti pada [9] dan [5] tetapi juga menyediakan dalam format XML, yang memungkinkan layanan lain untuk con- sume
pengakuan isyarat gerakan kustom dimodelkan dalam Labanotation juga. Mereka skor yang urutan gerak dalam format Labanotation. Gambaran sistem, menggunakan
digunakan untuk pengakuan secara independen dari data pelatihan (bahkan bukan data pelatihan event teknik memicu, diilustrasikan pada Gambar 4. Mekanisme didasarkan
satu-shot). The fleksibilitas membuatnya KEMUNGKINAN ble untuk memberikan off-rak teknologi pada teners lis- dan soket jaringan. Untuk menjamin usabilitas dan
motion capture; Selain itu, de-pengguna fi skor gerak ned dapat digunakan untuk memicu peristiwa diperpanjang, pola metode template yang digunakan. Metode Template
disesuaikan dan mendokumentasikan gerakan tubuh manusia dilakukan. Selain itu, Ambient Gerakan adalah pola Gang of Four ( GOF) [8], yang memungkinkan untuk mengganti
Analisis Engine tidak hanya memberikan skor gerak seperti pada [9] dan [5] tetapi juga menyediakan bagian dari algoritma, misalnya representasi kerangka atau representasi
pengakuan isyarat gerakan kustom dimodelkan dalam Labanotation juga. Mereka skor yang urutan, untuk menyesuaikan representasi serta algoritma deteksi.
digunakan untuk pengakuan secara independen dari data pelatihan (bahkan bukan data pelatihan Antarmuka realisasi digunakan untuk mengimplementasikan tindakan yang
satu-shot). The fleksibilitas membuatnya KEMUNGKINAN ble untuk memberikan off-rak teknologi diinginkan. kelas turunan yang berbeda dapat digunakan untuk kembali
motion capture; Selain itu, de-pengguna fi skor gerak ned dapat digunakan untuk memicu peristiwa disesuaikan tindakan alise yang gerakan
dan mendokumentasikan berbeda. implementasi
tubuh Template
manusia dilakukan. Selain itu, skor otation
Ambient Laban-
Gerakan Analisis Engine tidak hanya mem

dan data kerangka 3D disediakan oleh gine en-. Selain itu, implementasi lain
SISTEM ARSITEKTUR atau penggantian spesifik bagian fi c algoritma yang mungkin. Pendekatan
Desain konseptual dari Ambient Gerakan Analisis Mesin ditunjukkan pada Gambar 3. Template memungkinkan pengembang untuk menggunakan Ambient
Pengguna dapat mendaftar skor tion Labanota- dalam format XML dan dapat Gerakan Analisis Mesin di bidang lain atau untuk tujuan yang beragam.
mengirim aliran kerangka untuk mesin. Kami telah menggunakan skema XML untuk
skor tion Labanota-, yang diperkenalkan pada [2, 3]. XML sentation repre- dapat
digunakan untuk mengaktifkan analisis gerakan rinci untuk pengguna. Skor dapat
secara visual dilihat menggunakan Interaksi tion Editor [ 2]. Skema yang disediakan di
[2, 3] tidak mencakup seluruh himpunan simbol Labanotation; Namun, itu Suf sien fi
untuk memenuhi persyaratan dari pekerjaan ini, selain analisis yang memadai atas
gerakan dalam kebanyakan kasus penggunaan. Data Skeleton digunakan sebagai
ENGINE LOGIC
masukan, untuk menghindari spesifik format c pengemudi dan untuk mendukung
Algoritma pengakuan isyarat dikembangkan untuk mesin dibagi menjadi dua bagian
berbagai sumber data; Meskipun demikian, fitur ini biaya preprocessing tambahan
utama. Pertama, bagian ekstraksi fitur digunakan untuk menghasilkan skor
untuk mengkonversi data motion capture ke dalam kerangka yang kompatibel.
Labanotation. Karena cara skor Laban- otation digunakan untuk mewakili gerak,
pengakuan didasarkan pada frame kunci untuk setiap bagian tubuh. Bagian kedua
dari algoritma ini adalah pengakuan dari urutan gerak kita-ing hutan keputusan dan
skor yang dihasilkan. Kedua bagian, gether ke-, merupakan dasar untuk pekerjaan
Mesin ini bertujuan untuk mengenali 1 skor Labanotation terdaftar dari 2 skor ini untuk memberikan peristiwa gerakan berdasarkan data motion capture yang
diekstraksi dari aliran kerangka yang dihasilkan. 3 Terjadinya urutan disediakan oleh sensor kedalaman.
terdaftar, yang
Sensor Gerakan Analisis Mesin panjang maksimum urutan. Ketika mengekspor skor banotation La-, panjang
urutan harus didefinisikan. Karena ini tidak dapat ditentukan oleh mesin,
Memasukkan
ukuran buffer dapat diatur secara eksternal dengan memanggil disediakan
metode gerakan kontroler.
Penampil mesin Logic

Keluaran
Setelah generasi skor Labanotation, pengakuan urutan terdaftar dalam
urutan yang dilakukan dapat mobil-Ried keluar. Setiap kali berurutan diakui,
- urutan Diakui peristiwa trig- bergilir. Oleh karena itu, pola pengamat diterapkan dan
- urutan Generated pendengar (yaitu, aplikasi client) dapat didaftarkan dengan mesin. Selain itu,
- Pose terkuantisasi - urutan Diakui
soket disediakan yang komunikasi serta komunikasi antar proses (IPC)
jaringan penutup.
Pendengar Server

Aplikasi Application
Server Skeleton Representasi
Dasar batang tubuh yang digunakan untuk deteksi pose (yaitu, kuantisasi arah
Komunikasi
dan tingkat) dan pose kunci (yaitu, kuantisasi durasi) yang diadaptasi dari
Client-Server
representasi kerangka [16], yang berevolusi dari [17]. Dasar torso digunakan
untuk entation ori- tubuh dalam ruang untuk mendefinisikan dan quantise 27
Klien
arah kunci berbeda yang digunakan oleh Labanotation. Dengan demikian, dasar
Aplikasi
berfungsi sebagai referensi untuk arah kunci dan posisi sendi ative rel-, yang
klien
digunakan untuk mendapatkan arah dan tingkat untuk setiap frame.

Gambar 4: Gerakan Ambient Analisis Mesin eventing dan model komunikasi.


Antarmuka untuk pendengar dan isations real- untuk klien dan server yang
disediakan oleh mesin dan dapat digunakan oleh aplikasi kustom. Sebuah
Kepala
aplikasi dapat menggunakan pendengar untuk mengakses data secara langsung
atau aplikasi klien dapat didaftarkan ke aplikasi server untuk menerima peristiwa Leher
LS
jaringan. RS

KEMBALI
RHand
LE
Batang tubuh
Generasi skor Labanotation bekerja sama dengan gorithm al dijelaskan oleh
[9]. Pada mulanya, representasi kebiasaan menangkap gerakan data yang
dihasilkan dari kerangka umum. Ini berisi informasi spesifik, dasar batang LHand
LHip RHip
tubuh dan posisi relatif, yang diperlukan untuk menghasilkan skor
Labanotation. Kemudian, pose yang quantised menggunakan data kerangka
yang disediakan. Berikutnya, arah kunci dicari untuk fi nd awal dan akhir
LK RK
setiap gerakan bagian tubuh. Akhirnya, skor Labanotation dihasilkan,
berdasarkan informasi yang diperoleh pada langkah sebelumnya. Gambar 5
menggambarkan rantai cessing pro untuk generasi skor.
LF RF

Gambar 6: 15 sendi kerangka yang disediakan oleh nITE dleware pertengahan. L adalah
untuk kiri, R untuk kanan, S untuk bahu, E untuk siku, K untuk lutut, dan F untuk kaki.

Generasi
quantization
representasi
pose
skeletal Pada mulanya, dasar batang tubuh dibangun dari sendi tubuh yang disediakan, yaitu,
batang tubuh yang diberikan oleh OpenNI / nite kerangka. Di sini, kita mengikuti asumsi
[17] bahwa batang tubuh adalah tubuh kaku karena dalam banyak gerakan itu hampir
Generasi
Search for arah cacat. Dalam rangka untuk mantan proselyting dasar dari sendi yang diberikan, Analisis
(pendahuluan)
kunci Komponen Dasar (PCA) diterapkan pada n ⇥ 3 torso matrix (untuk n
Labanotation

torso sendi, dalam kasus kerangka NITE n = 6) dan dua arah utama orthogonal
Gambar 5: Rantai pengolahan untuk generasi skor tasi Labano- dari data diperoleh. Sebuah PCA digunakan untuk mengekstrak komponen utama dari
kerangka. serangkaian pengamatan dengan menyortir vektor eigen dari matriks yang
dibentuk oleh pengamatan ini. Hal ini menyebabkan menghitung arah utama satu
Karena semua informasi yang diberikan untuk setiap frame dan quan- tised set poin. Meskipun, PCA tidak sepenuhnya akurat ketika tidak semua sendi tubuh
menimbulkan informasi yang disimpan dalam buffer, ukuran buffer harus berbaring di pesawat 3D yang sama, Raptis et al. [17] berpendapat bahwa “dasar
didefinisikan. Jika urutan yang harus diakui sudah disediakan, ukuran buffer adalah sangat kuat dan dapat diandalkan
didefinisikan lebih besar dari
landasan bagi sistem koordinat berdasarkan tion orienta- dari tubuh manusia”. Quantisation dari Arah dan Tingkat
Dalam hal dasar batang tubuh, PCA diterapkan untuk menerima dua arah utama The kuantisasi dari arah dan tingkat dilakukan oleh calcu- Lating jarak nilai
batang tubuh, yang biasanya top-down dan kiri-kanan. Oleh karena itu, arah nyata untuk nilai yang ditetapkan. Jarak yang diberikan oleh deviasi sudut
pertama menunjukkan arah vertikal (vertical kepada pengguna), dan yang dalam derajat. Ini adalah ple sim- untuk vektor sebagai 27 nilai yang ditetapkan
pertama eigenvector digunakan sebagai fi rst com- ponent u dari dasar. Arah adalah vektor disediakan oleh dasar batang tubuh, karena arah dan tingkat
kedua adalah ortogonal untuk yang pertama satu dan menunjukkan arah Labanotation ini adalah relatif terhadap tubuh, dan ini selalu menunjuk ke arah
horisontal (horizontal kepada pengguna). Oleh karena itu, vektor eigen kedua yang sama saat diwakili oleh dasar tubuh. sudut, antara setiap tulang dan
digunakan untuk komponen kedua dari dasar batang tubuh r. Untuk memiliki fi vektor nilai yang ditetapkan, maka menunjukkan jarak antara yang nyata ( v) dan
xed ke arah yang tion, top-down untuk vertikal dan kanan-kiri untuk horisontal, u dan set ( s) nilai:

r selaras dalam arah ini. Hal ini dilakukan dengan mengacu pada jarak sendi
bahu kiri untuk sendi bahu kanan ditambahkan ke r, jarak berkurang jika poin = sudut( v, s). (2)
vektor ke arah yang salah, dan leher bersama untuk batang tubuh bersama
Perhatikan bahwa rentang dari 0 untuk 180 . mengingat ke arah yang berlawanan
ditambahkan ke
u, jarak meningkat jika vektor titik ke arah yang benar. Yang ketiga, dan fi tion adalah terjauh dari nilai yang ditetapkan. Setelah perhitungan jarak, arah

nal, komponen dasar ( t) adalah produk silang dari pertama dua komponen: dengan jarak setidaknya digunakan sebagai kuantisasi arah dan tingkat.
Sementara ini bekerja untuk semua arah lain dan tingkat, itu mungkin salah
untuk arah menempatkan tengah. Ini adalah kasus ketika arah lain memiliki
jarak yang lebih kecil, tapi menempatkan dle pertengahan dilakukan. Karena
t = u ⇥ r. (1) itu, tempat menengah disukai ketika jarak kurang dari 22,5 .

Karena itu, t selalu menunjuk dari tubuh ke depan pelaku.

Selain itu, hysteresis mungkin diterapkan yang mencegah arah dan tingkat
Setelah normalisasi tiga komponen, orthonor- dasar mal torso dilambangkan sebelumnya quantised dari perubahan jika sudut tidak lebih besar dari ambang
dengan { u, r, t} ( lihat Gambar 7). batas histeresis yang diberikan.

Quantisation dari Duration


Dalam rangka untuk quantise gerakan, yaitu, fi nding awal dan akhir setiap
Leher gerakan, pose-pose quantised diproses. Pertama-tama, pose kunci untuk
LS setiap bagian tubuh diperkirakan. pose kunci mendefinisikan perubahan
RS arah dan tingkat dan menggambarkan fi minimum lokal pertama dari jarak ke
arah dan tingkat. Untuk meningkatkan akurasi, interval di mana minimum
global jarak dapat dicari, diterapkan. Mulai dari gerak ditentukan untuk setiap
r
berpose kunci yang ditemukan, untuk setiap bagian tubuh. Oleh karena itu,
pertama maksimum unsur lokal jarak ke arah dan tingkat pose kunci adalah
mencari. Jarak ke arah hadir juga ditangani dengan menggunakan interval
Batang tubuh
yang sama seperti untuk pose kunci. Jika awal gerak melebihi pose kunci
sebelumnya, yang sama diasumsikan awal gerak.
ut

LHip RHip

Generasi Urutan
Generasi urutan Labanotation didasarkan pada kelas dan interface yang
disediakan untuk tujuan ini. Ini berorientasi pada Labanotation skema XML,
Gambar 7: The ortonormal torso basis { u, r, t} dihasilkan melalui batang tubuh dan pro- vide cara sederhana untuk menghasilkan urutan yang diinginkan.
bergabung, yang enam untuk kerangka nite. L adalah untuk kiri, R untuk kanan Pertama, lookup untuk pose kunci, awal gerakan, tisation quan- dari waktu
dan S untuk bahu. mulai dan durasi diperlukan. Berikutnya, pembagian ke dalam ukuran dan
beat dilakukan. Hal ini menghasilkan urutan Labanotation, yang diekspor
Arah berat badan memainkan peran penting untuk Labano- tasi. Ketika sebagai skor XML Labanotation.
pengguna berada dalam posisi berdiri, itu adalah sama dengan arah
atas-bawah dari batang tubuh, dilambangkan dengan u, dan kedepan sana arah
ini digunakan sebagai default. Ketika arah lain diperlukan untuk berat badan,
variabel untuk berat kerangka dapat digunakan. berat digunakan sebagai Pengakuan Urutan
pengganti vektor top-down dan dasar adalah dimodifikasi agar tetap Langkah terakhir dari algoritma, digunakan oleh Ambient Move- ment
ortonormal ketika berat adalah spesifik ed. Analisis Mesin, adalah pengakuan dari urutan. Ini berarti bahwa urutan dari
kerangka yang dihasilkan
streaming dibandingkan dengan urutan sebelumnya terdaftar. Oleh karena itu, urutan terdaftar subsequences harus ditambahkan ke hutan. Ketika kecocokan ditemukan
dilakukan oleh pengguna dapat dideteksi. Mirip dengan pengakuan yang dilakukan oleh sistem seluruh urutan disalin dan subsequence yang kembali ditempatkan. Urutan
dijelaskan oleh [16], hutan keputusan digunakan. Dalam sistem mereka, hutan keputusan yang baru kemudian harus diperiksa untuk pertandingan menulis ulang aturan juga.
dihasilkan dari urutan terdaftar menggunakan pose kunci. Namun, pose kunci tidak hadir dalam akhirnya ini mengakibatkan semua urutan yang semantik sama dengan aturan
banotation La-. Ambient Gerakan Analisis Engine menggunakan gerakan kunci per bagian tubuh penulisan ulang yang disediakan. Ketika datang ke pengakuan urutan yang
untuk hutan keputusan, yang memiliki panjang tertentu dan posisi di staf. Sebagai gerakan Laban-
terdaftar di seluruh streaming urutan, urutan seluruh akan pro gerakan cessed
otation yang didefinisikan per bagian tubuh, hutan keputusan terdiri dari subforests untuk
oleh gerakan. pengolahan ini dimulai pada akhir urutan, ini berarti dimulai
masing-masing bagian ini. Setiap subforest berisi pohon-pohon yang membawa informasi tentang
dengan gerakan terakhir terbentuk per-. Pencocokan pohon keputusan untuk
urutan istered reg- untuk bagian tubuh menyajikan. Urutan pohon adalah dalam urutan terbalik, yang
setiap bagian tubuh kemudian dicari.
membuatnya mudah untuk mencocokkan ini dengan urutan streaming yang berikutnya. Dengan

demikian, gerakan akar pohon adalah gerakan terakhir dari bagian tubuh. Angka yang cukup 8
Jika kecocokan ditemukan, semua pertandingan
menggambarkan urutan kolom, sama seperti gerakan dari bagian fi c tubuh tertentu, yang
dari subsequences disimpan dan akhirnya dibandingkan terhadap pertandingan bagian
ditambahkan ke hutan keputusan untuk kolom. Seorang pembuat keputusan digunakan untuk
tubuh lainnya (lihat Gambar 9). Semua urutan, yang memiliki kecocokan pada setiap
memutuskan apakah dua simbol gerakan cocok. Proses ini memakan waktu dalam akun posisi dan
bagian tubuh, adalah gerakan yang dilakukan oleh pengguna dan dengan demikian
panjang urutan dan merespon approx- item yang sama imately. Penyimpangan sampai batas tertentu,
acara akan diberikan in- membentuk pada pengakuan.
yang dapat disesuaikan, diterima. Batas default adalah 0,5 ketukan. Pembuat keputusan digunakan

untuk penyisipan serta tion recogni-. Karena ini, simbol yang sama, namun panjang yang berbeda,

mungkin elemen akar pohon yang berbeda. Angka yang cukup 8 menggambarkan urutan kolom,

sama seperti gerakan dari bagian fi c tubuh tertentu, yang ditambahkan ke hutan keputusan untuk

kolom. Seorang pembuat keputusan digunakan untuk memutuskan apakah dua simbol gerakan urutan dilakukan CBA
cocok. Proses ini memakan waktu dalam akun posisi dan panjang urutan dan merespon approx- item

yang sama imately. Penyimpangan sampai batas tertentu, yang dapat disesuaikan, diterima. Batas
C
default adalah 0,5 ketukan. Pembuat keputusan digunakan untuk penyisipan serta tion recogni-.
BA BA D
Karena ini, simbol yang sama, namun panjang yang berbeda, mungkin elemen akar pohon yang SEBUAH
berbeda. Angka yang cukup 8 menggambarkan urutan kolom, sama seperti gerakan dari bagian fi c
BD S1
Sdua S3
4 simbol gerakan cocok. Proses ini memakan waktu dalam akun posisi dan panjang urutan dan
tubuh tertentu, yang ditambahkan ke hutan keputusan untuk kolom. Seorang pembuat keputusan digunakan untuk memutuskan apakah

S2 S1

CBA BURUK
pertandingan

S1 S2

Gambar 9: Pengakuan urutan dilakukan oleh pengguna. Seluruh urutan


SEBUAH
dilakukan ditampilkan di sisi kanan dan urutan diakui pada kenyataannya
S4 S3 subsequence nya. Hutan keputusannya de-, ditampilkan di sisi kiri,
CS
BA1 BA D digunakan untuk memeriksa urutan yang cocok.
S2 CA BA S 4
S3

Dalam rangka fi urutan nd yang benar-benar cocok dengan urutan terdaftar,


baik simbol gerakan dalam kolom dan posisi absolut dari pergerakan staf,
Gambar 8: Hutan keputusan kecil untuk gerakan kolom. Perhatikan bahwa
harus diperiksa. Ini berarti bahwa urutan tidak dapat diperiksa per kolom
urutan yang berbeda, ditampilkan di sisi kanan, ditulis dari bawah ke atas
saja, sehingga pengakuan ketika semua kolom sesuai. Sebaliknya,
seperti skor Labanotation. Pohon-pohon, yang ditampilkan di sisi kiri,
hubungan antara kolom KASIH move- harus diperhatikan, yang juga
mengandung urutan ini dalam urutan terbalik.
termasuk mulai pose. Mulai pose dapat diperiksa dengan mengambil start
pose ke pohon juga. Ketika memeriksa mencapai daun pohon, jarak ke
elemen berikutnya dari urutan dilakukan diperiksa, (jarak ke pose terakhir
Ketika urutan baru akan ditambahkan ke hutan, beberapa langkah harus
tidak diperiksa pada tahap ini. Dengan demikian, cek mendongak apakah
diikuti. Langkah pertama adalah terjemahan ke dalam format kesalahan de-.
ada gerakan selain didefinisikan dalam kolom. dalam hal ini, kolom dari
Ini berarti bahwa sama waktu definisi informasi dan kolom de fi digunakan
urutan streaming harus kosong selama bagian tubuh lainnya masih
untuk semua urutan dalam rangka untuk memiliki pengakuan yang benar di
melakukan gerakan. Atas ketepatan posisi elemen dapat diperiksa dengan
akhir. Ini berarti bahwa kolom harus cocok, dan posisi dan tions dura-
mempertimbangkan jarak antara simbol dan pendahulunya, dan dengan
gerakan harus disesuaikan.
memeriksa hanya gerakan terakhir dari urutan (yang merupakan elemen
akar pohon), karena memiliki posisi yang benar dalam staf. Oleh karena itu,
Langkah kedua adalah menerapkan menulis ulang aturan karena guity ambi- elemen terakhir dari setiap urutan kolom harus diperiksa untuk memiliki jarak
dari Labanotation. Urutan itu sendiri harus ditambahkan ke hutan, di samping yang benar dengan gerakan terakhir dari seluruh skor.
setiap urutan yang semantik yang sama. Oleh karena itu, semua urutan,
yang mungkin mengganti quence se-, ditentukan. Proses ini didasarkan pada
con fi gured aturan menulis ulang, yang berisi urutan elemen dan
penggantian yang mungkin. Berikutnya, lookup kemunculan
HASIL DAN EVALUASI 3. Gelombang melambaikan horisontal dengan lengan kanan membentang di

Kami telah melakukan studi pendahuluan untuk mengevaluasi bility feasi- dari depan.

pendekatan baru kami didasarkan pada implemen- tasi saat ini. Kami telah
menyewa dua belas relawan dalam waktu rekrutmen singkat. Para peserta 4. Gulir Up (SU) Bergerak lengan kanan atas. gerakan itu
dimulai dengan lengan sepenuhnya berbaring dalam posisi rendah dan berakhir dengan lengan
berusia antara 23 dan 59 tahun dari berbagai latar belakang pendidikan dan
dalam posisi tinggi depan. Tangan permukaan bagian dalam harus disimpan menghadap ke atas
profesional (yaitu, mahasiswa, sekretaris, administrasi proyek, dan staf
selama gerakan itu.
penelitian) dan berbagai tingkat pengalaman dengan gesture control (dari tidak
ada yang berpengalaman).
5. Gulir Bawah (SD) Menggerakkan lengan kanan bawah. ges- The
mendatang dimulai dengan lengan sepenuhnya berbaring dalam posisi yang tinggi dan berakhir

Para peserta diperkenalkan dengan satu set 10 gerakan dan mereka diminta untuk dengan lengan di posisi rendah depan. Tangan permukaan bagian dalam harus disimpan

melakukan setiap gerakan 10 kali dalam setup istic real- (ruangan dengan menghadap ke bawah selama gerakan itu.

pencahayaan normal dan benda-benda di sekitar). Pertama, pengguna diperkenalkan


dengan tujuan umum eksperimen. Berikutnya, langkah-demi-langkah penjelasan dan 6. Pinch Untuk Zoom Pindah kedua lengan sepenuhnya membentang

demonstrasi tentang cara melakukan setiap gerakan yang dilakukan oleh structor in. dari setiap awal lain ke arah depan bawah.
Selanjutnya, para peserta di mana diberikan waktu untuk berlatih gerak tubuh dan
7. Throw Melakukan lemparan dengan lengan kanan. Tangan
menjadi akrab dengan konfigurasi percobaan. Akhirnya, para peserta diminta untuk
dimulai dengan di negara-negara pegangan dan berakhir sepenuhnya membentang dengan
melakukan membangun struktur ges-.
permukaan bagian dalam menghadap ke bawah.

8. Never Mind (NVM) Dimulai dengan lengan atas kiri ke


aparat kami untuk evaluasi terdiri dari: Asus Xtion sensor PRO LANGSUNG sisi kiri dan lengan bawah ke depan. Berikutnya, bergerak lengan bawah ke atas.

untuk menangkap gerakan, tampilan untuk menginstruksikan peserta, Permukaan bagian dalam dari tangan harus disimpan menghadap tubuh.

sebuah kamera video untuk merekam percobaan, dan PC untuk


mengendalikan prosedur eksperimen dan hasil rekaman.
9. Hammer Berlawanan dari NVM, tetapi membentuk fi st dengan
tangan kiri.
Secara total, kami telah mengumpulkan 1.160 rekaman gesture (sekitar 120
rekaman per isyarat, beberapa gerakan dijatuhkan untuk satu peserta karena 10. Clap Bertepuk tangan keduanya sekaligus. Hasil evaluasi kami menunjukkan

masalah bahu). bahwa mesin bekerja dengan tingkat pengenalan yang wajar 78% dengan sikap yang
ketat definisi dan 87% dengan sedikit penyimpangan. Tabel 1a illus- trates tingkat
isyarat set kami berisi 10 gerakan khas yang eas- ily dipahami dan dilakukan
pengakuan dicapai dengan satu skor Labano- tasi yang ketat untuk menggambarkan
oleh para peserta (diilustrasikan pada Gambar 10):
gerakan itu (dengan nilai-nilai toleransi yang berbeda untuk penyimpangan dalam
posisi dan durasi). Tabel 1b illus- trates tingkat pengakuan menggunakan dua nilai
tasi Labano- erat mirip dengan menjelaskan setiap gerakan untuk toleransi di jalur
ment move-. aktivasi positif palsu terdaftar dengan tingkat yang sangat rendah ( 3,4% dan
2,2% untuk satu dan dua definisi de fi secara berurut). Mereka aktivasi palsu karena
gerakan sebagian besar disebabkan oleh para pemain bergerak setelah akhir
gerakan. Tabel 1 menggambarkan tingkat toleransi yang berbeda dan tingkat
pengakuan sponding corre-. tingkat toleransi menunjukkan berapa banyak
penyimpangan diterima untuk durasi dan posisi bols sym- dalam urutan. Gerakan
dalam set kami didefinisikan untuk 1 detik panjang (yaitu, 5 ketukan). Hasil kami
menunjukkan bahwa untuk tingkat toleransi yang rendah, tingkat pengenalan rendah.
Hal ini disebabkan perbedaan waktu yang sebenarnya antara sikap yang dilakukan
oleh para peserta ke de fi gerakan ned. Umumnya, sikap execu- penyimpangan tion
dari skor Labanotation de fi ned harus diperbolehkan, karena sangat sulit bagi
peserta untuk mencocokkan waktu ne fi de tepatnya. Tentu saja, kesenjangan waktu
antara fi de ned dan gerakan yang dilakukan tentu dapat meningkatkan dengan
pengulangan dan meningkatkan keakraban dengan gerakan itu. Seperti yang terlihat
pada Tabel 1a, tingkat pengenalan rendah dari gerakan gelombang adalah karena
Gambar 10: The isyarat set digunakan untuk evaluasi am- bient Gerakan ukuran yang berbeda dari peserta kami. sensor kedalaman yang digunakan mudah
Analisis Mesin. bingung antara tingkat lengan (tor ing lurus atau sedikit ke bawah). Tingkat
pengakuan lebih ditingkatkan dengan memungkinkan beberapa penyimpangan dari
1. Swipe Menggerakkan lengan kanan horizontal sepenuhnya berbaring posisi lengan seperti pada Tabel 1b.
dari depan ke sisi kanan.

2. Putar Lakukan gerakan 180 derajat searah jarum jam dengan


lengan kanan. gerakan itu dimulai dengan lengan sepenuhnya berbaring dalam
posisi tinggi depan dan berakhir dengan lengan di posisi rendah depan.
Tabel 1: Tingkat pengakuan mesin. Satu beat diatur untuk 200ms dan toleransi menunjukkan berapa banyak penyimpangan diterima untuk durasi dan posisi
simbol dalam urutan.

(A) Tidak ada deviasi diperbolehkan (satu skor Labanotation ketat) (B) Deviasi diperbolehkan (dua skor erat serupa)

Skor Toleransi di Beats Skor Toleransi di Beats


0,5 1 1,5 2 3 4 5 0,5 1 1,5 2 3 4 5
Tepuk 0,2 0,43 0,58 0,68 0,7 0,7 0,7 Tepuk 0,23 0,47 0,62 0,72 0,74 0,74 0,74
NVM 0,23 0,59 0,74 0,77 0,8 0,82 0,82 NVM 0,25 0,63 0,78 0,82 0,85 0,86 0,86
Hammer 0,19 0,53 0,76 0,8 0,8 0,8 0,8 Palu 0,19 0,53 0,76 0,81 0,82 0,82 0,82 Pinch
Mencubit 0,1 0,38 0,64 0,76 0,93 0,97 0,97 0,12 0,55 0,79 0,89 0,96 0,97 0,97
Memutar 0,05 0,17 0,28 0,39 0,5 0,59 0,6 Memutar 0,07 0,23 0,35 0,49 0,62 0,72 0,73
SD 0,34 0,55 0,73 0,83 0,93 0,95 0,97 SD 0,34 0,55 0,73 0,83 0,93 0,95 0,97
SU 0,06 0,25 0,67 0,83 0,95 0,95 0,96 SU 0,11 0,41 0,83 0,95 0,96 0,96 0,96
Geser 0,36 0,61 0,76 0,85 0,92 0,93 0,93 Geser 0,53 0,81 0,96 0,98 1 1 1
Melemparkan 0,01 0,17 0,34 0,46 0,55 0,59 0,59 Melemparkan 0,01 0,21 0,57 0,62 0,74 0,75 0,75
Gelombang 0 0,05 0,1 0,18 0,3 0,42 0,44 Gelombang 0 0,05 0,11 0,25 0,57 0,79 0,86
Total 0,15 0,37 0,56 0,65 0,74 0,77 0,78 Total 0,18 0,44 0,65 0,73 0,82 0,86 0,87

Dibandingkan dengan penelitian sebelumnya dalam domain ini, seperti Hachimura et haviour. Mesin menyediakan akses mudah ke OpenNI
al. [9] dan Chen et al. [5], pekerjaan kami adalah yang pertama untuk melaporkan data Sopir tetapi dapat diperpanjang untuk operasi dengan pengemudi lain
evaluasi dan yang pertama untuk menggunakan hidup stream data sensor untuk dengan mengacu pada kerangka sebagai masukan. The en- gine generik
merekam dan menganalisa Labanotation KASIH move- skor. Ketika membandingkan dapat con fi gured untuk bekerja dengan kerangka yang berbeda (hier-
pendekatan kami untuk sistem pengenalan isyarat lain, gine Gerakan Ambient Analisis Archy didefinisikan) dan Labanotation fleksibel. Sebuah jangkauan yang
En jelas menunjukkan hasil yang menjanjikan. Miranda et al. [16] mencapai tingkat lebih luas dari Labanotation tertentu fi kasi dapat diimplementasikan oleh ply
pengakuan keseluruhan 83,5% dan sampai sim- memperpanjang pengendali dipercayakan dengan tugas gen- erating
Labanotation. Selain pengakuan isyarat polos dan eventing, mesin
97,3% untuk salah satu dari tiga spesifik set gerakan diuji dalam evaluasi mereka menyediakan untuk merekam deskripsi rinci dari gerakan yang dilakukan.
menggunakan hutan belajar berpose kernel dan keputusan. Sebuah perbandingan langsung Rekaman-rekaman ini memberikan skor gerakan manusia-dibaca
dengan penelitian sebelumnya tidak dapat dibenarkan sebagai pendekatan kami tidak sama dard-standar berdasarkan tion Labanota-, yang dapat menjadi bagian
dan gerak tubuh yang diuji tidak identik. penting dari gerakan berbasis dokumentasi tindakan antar. Dua pilihan
pengiriman konteks diterapkan, yaitu pola pengamat dan client-server
komunikasi, untuk eventing untuk diproses lebih lanjut.
The efisiensi dari sistem dievaluasi dengan memeriksa waktu yang diperlukan
untuk memproses buffer berpose untuk ukuran buffer yang berbeda. Evaluasi
dilakukan pada CPU i7 M 640 @
Mesin 2.80GHz dengan 6GB RAM menjalankan Ubuntu 14.04 LTS. Hasil
menunjukkan bahwa kebutuhan waktu (computa- biaya tional paling banyak 33 ms)
KESIMPULAN
adalah terpenuhi pada mesin rata-rata untuk ukuran buffer hingga 3600 frame
Dalam lingkup pekerjaan ini, Ambient Gerakan Anal- ysis Engine untuk
(yang sesuai dengan dua menit buffer).
merekam dan menganalisis hidup off-rak data stream motion capture dalam
skor gerakan Labanotation dirancang, dilaksanakan dan dievaluasi. Untuk yang
Kami percaya bahwa mesin dapat ditingkatkan untuk mencapai hasil yang ter Lebih terbaik dari pengetahuan kita, pendekatan kami adalah yang pertama untuk
baik diambil dan memberikan gerakan yang lebih diuraikan INFORMATION. memberikan jenis pengakuan dan generasi peristiwa konteks. Mesin ad- gaun
Pendekatan hybrid menggunakan kedua, kinerja tinggi ges- sistem pengenalan meningkatnya kebutuhan cara sederhana untuk membuat, menyesuaikan dan
mendatang (untuk pengakuan) dan algoritma untuk Labanotation generasi skor menangani interaksi pengguna, khususnya melalui tion peragaan dan deklarasi.
gerak akan memberikan akurasi pengakuan tinggi serta deskripsi gerak rinci. Mesin secara dramatis mengurangi kompleksitas pemrograman, dan
Pendekatan lain adalah untuk mengubah pendekatan pengakuan kita dari hutan kustomisasi tems sistematis tersebut untuk pemrograman pengguna akhir dan
keputusan untuk terlatih dikelompokkan er menggunakan elemen skor non-profesional pengembang tindakan antar. Selain penjelasan rinci tentang
Labanotation untuk vektor fitur dan membandingkan perfor- Mance dengan mesin dan pendekatan pengakuan kami, kami telah menyediakan evaluasi
pendekatan saat ini. Selain itu, tingkat pengenalan dapat ditingkatkan dengan pendahuluan, mesin dengan tingkat pengenalan yang wajar 78%, dengan ketat
model Labanotation lebih luas yang mencakup informasi yang lebih relevan sikap definisi, dan sampai 87%
(plementation im- kami saat ini tidak mencakup semua gerakan struktural seperti
bergantian).
dengan deviasi sedikit untuk mengenali gerakan dimodelkan dalam Labanotation
dari aliran data hidup dari off-rak bud- mendapatkan sensor kedalaman.

saat ini Gerakan Ambient Analisis Mesin implemen- tasi kami adalah sebuah perpustakaan
extensible yang dapat digunakan untuk kontrol gerakan dan menyediakan kesempatan untuk
memperpanjang atau memodifikasi be- nya
PEKERJAAN MASA DEPAN desain interaksi. Di Prosiding Konferensi Australasian ke-20 di
Ambient Gerakan Analisis Engine dapat ditingkatkan dan diperluas untuk Komputer-Manusia Interaksi: Merancang untuk Habitus dan Habitat, OZCHI
mencakup lebih Labanotation, seperti mende- langkah ing, berbalik dan '08, ACM (New York, NY, USA, 2008), 89-96.
berat badan. Selain itu, aspek lain yang berpotensi diterapkan adalah umpan
balik untuk data kerangka berdasarkan skor Labanotation yang dihasilkan. 8. Gamma, E., Helm, R., Johnson, R., dan Vlissides, J.
Selain perbaikan data kerangka, sebuah visualiser untuk gerakan dari de fi Pola desain: Elemen Reusable Software berorientasi objek. Addison-Wesley
urut ned hilang akan berguna. evaluasi lebih lanjut dapat dilakukan dengan Longman Publishing Co, Inc, Boston, MA, USA, 1995.
beberapa sensor kedalaman dan kelompok uji yang lebih besar. Meskipun
penggunaan sukses dan macam Labanotation untuk model gerakan di
antara pengguna non-teknis, misalnya penari, seniman dan ographers 9. Hachimura, K., dan Nakamura, M. Metode menghasilkan deskripsi
chore- [14], kami percaya bahwa evaluasi aspek pemrograman pengguna kode gerak tubuh manusia dari data gerak-ditangkap. Di Robot dan
akhir menggunakan Labanotation untuk pemodelan membangun struktur Komunikasi Interaktif Manusia, 2001. Proceedings. Lokakarya
ges-, adalah tema yang sangat relevan. Karenanya, Internasional ke-10 IEEE di ( 2001), 122-127.

10. Hutchinson Tamu, A. Labanotation: sistem


menganalisis dan gerakan rekaman. Routledge, New York, 2005.

PENGAKUAN 11. Kahol, K., Tripathi, P., dan Panchanathan, gerak urutan S.
Karya ini sebagian disponsori oleh Kementerian The Federal Jerman Mendokumentasikan dengan sistem penjelasan pribadi. IEEE
Pendidikan dan Penelitian (BMBF) yang didanai Ensemble proyek (Kode - MultiMedia 13, 1 (Januari 2006), 37-45.
16SV6369).

12. Kone cn' y, J., dan Hagara, M. Satu-shot-learning isyarat


REFERENSI
Pengakuan menggunakan fitur babi-hof. J. Mach. Belajar. Res.
1. Altakrouri, B. Ambient dibantu hidup dengan dinamis
15, 1 (Januari 2014), 2513-2532.
ansambel interaksi. PhD tesis, Universit di zu
L ubeck, Institut f ur Telematik, Juni 2014. 13. Laban, R., dan Lawrence, F. Upaya. MacDonald dan
Evans, London, 1947.
2. Altakrouri, B., GR oschner, J., dan Schrader, A.
Mendokumentasikan interaksi alami. Di CHI '13 Abstrak diperpanjang 14. Lepczyk, B. Labanotation ditinjau kembali. Journal of Physical
pada Faktor Manusia di Computing Systems, CHI EA '13, ACM (New Pendidikan, Rekreasi & Dance 82, 6 (2011), 5-6.
York, NY, USA, 2013), 1173-1178.
15. Loke, L., Larssen, AT, dan Robertson, T. Labanotation untuk desain
3. Altakrouri, B., dan Schrader, A. Menggambarkan gerakan untuk interaksi berbasis gerakan. Di
gerakan gerakan. Di 1 International Workshop Teknik Gestures untuk Prosiding Konferensi Australasian Kedua tentang Interactive
Multimodal Interfaces (EGMI Entertainment, IE '05, Kreativitas & Kognisi Studios Tekan (Sydney,
2014) di enam ACM SIGCHI Simposium Mesin Computing Interaktif Australia, Australia,
Sistem (EICS'14) 2005), 113-120.
(Roma, Italia, Juni 2014).
16. Miranda, L., Vieira, T., Martinez, D., Lewiner, T., Vieira,
4. Bishop, CM Pola Pengakuan dan Mesin AW, dan Campos, MFM online pengakuan isyarat dari hutan belajar
Belajar (Ilmu Informasi dan Statistik). dan keputusan berpose kernel. Pola Pengakuan Letters 39 ( April
Springer-Verlag New York, Inc, Secaucus, NJ, USA, 2014), 65-73.
2006.
17. Raptis, M., Kirovski, D., dan Hoppe, H. Real-time klasifikasi gerakan tari
5. Chen, H., Miao, Z., Zhu, F., Zhang, G., dan Li, S. Membangkitkan
dari animasi kerangka. Di Prosiding 2011 ACM SIGGRAPH /
labanotation dari data motion capture. Di
EUROGRAPHICS Simposium Komputer Animasi, SCA 2011, ACM
Prosiding Konferensi Internasional 2013 Kebudayaan dan Komputasi, CULTURECOMPUTING
(New York, NY, USA,
'13, IEEE Computer Society (Washington, DC, USA, 2013), 222-223.

2011), 147-156.

18. Yu, T., Shen, X., Li, T., dan Geng, W. Gerak pengambilan berdasarkan
6. Fanello, S., Keskin, C., Izadi, S., Kohli, P., Kim, D., Sweeney, D.,
bahasa notasi gerakan. Animasi komputer dan Virtual Worlds 16, 3-4
Criminisi, A., Shotton, J., Kang, SB, dan Paek, T . Belajar untuk menjadi
(2005), 273-282.
kamera kedalaman untuk jarak dekat capture manusia dan interaksi. Di Transaksi
jurnal ACM pada Graphics (TOG), ACM - Association for Computing 19. Zacharatos, H., Gatzoulis, C., Chrysanthou, Y., dan Aristidou, A.
Machinery (Juli 2014). pengakuan Emosi untuk exergames menggunakan analisis gerakan
laban. Di Prosiding Gerak pada Games, MIG '13, ACM (New York, NY,
USA, 2013), 39: 61-39: 66.
7. Fogtmann, MH, Fritsch, J., dan Kortbek, KJ Kinestetik interaksi:
mengungkapkan potensi tubuh di