Judul jurnal : A Fog Robotic System for Dynamic Visual Servoing

Tahun : 2019

Penulis : Nan Tian, Ajay Kummar Tanwani, Jinfa Chen, Mas Ma, Robert Zhang,

Bill Huang, Ken Goldberg and Somayeh Sojoudi

Penerbit : IEEE

RINGKASAN

SISTEM ROBOT KABUT UNTUK SERVOING VISUAL DINAMIS

Abstrak

Cloud Robotika adalah sebuah paradigma di mana beberapa robot yang terhubung ke Layanan
Cloud melalui internet untuk mengakses kekuatan komputasi "Unlimited", pada biaya
komunikasi jaringan. Namun, karena keterbatasan seperti latency jaringan dan variabilitas, sulit
untuk mengontrol dinamis, Layanan manusia compliant robot langsung dari awan. Dalam
pekerjaan ini, kami menggabungkan Robotika awan dengan perangkat tepi yang lincah untuk
membangun sistem robot kabut dengan memanfaatkan protokol asinkron dengan sinyal "detak
jantung". Kami menggunakan sistem untuk memungkinkan teleoperation kuat dari dinamis
menyeimbangkan diri robot dari awan. Kami menggunakan sistem untuk mengambil kotak dari
lokasi statis, tugas yang biasa dilakukan di gudang logistik. Untuk membuat teleoperation awan
lebih intuitif dan efisien, kami memprogram modul citra berbasis cloudbased visual (IBVS)
untuk secara otomatis membantu teleoperator awan selama pickup objek. Feedback visual,
termasuk pengakuan dan pelacakan apriltag, dilakukan di awan untuk meniru sistem pengenalan
objek robot FOG untuk IBVS. Kami menunjukkan kelayakan sistem otomatisasi real-time yang
dinamis menggunakan desain hibrida berkabut ini, yang membuka kemungkinan penyebaran
kontrol robot dinamis dengan sistem pengenalan Deep-Learning di FOG Robotics. Akhirnya,
kami menunjukkan bahwa FOG Robotika memungkinkan Self-balancing Layanan robot untuk
mengambil sebuah kotak secara otomatis dari orang di bawah lingkungan yang tidak terstruktur.
PENGENALAN

Layanan Robot beroperasi semi atau sepenuhnya secara otonom untuk melakukan layanan yang
berguna bagi kesejahteraan manusia dan peralatan [1]. International Federation of Robotics (IFR)
memprediksi bahwa robot Layanan 32.000.000 akan digunakan antara 2018-2022 [2]. Beberapa
aplikasi robot layanan populer termasuk perawatan lansia, membersihkan rumah, memasak,
robot patroli, resepsionis robot, hiburan, dan pendidikan. Beberapa contoh terkenal dari layanan
robot adalah Roomba oleh iRobot, Pepper oleh SoftBank Robotics, "The Robotic Chef" oleh
moley Robotics, dan Spotmini dan Atlas oleh Boston Dynamics. Berbeda dengan robot industri,
robot servis perlu berinteraksi dan bekerja sama dengan orang dengan aman di bawah
lingkungan yang tidak terstruktur secara dinamis. Kami percaya ada dua persyaratan utama
untuk operasi robot Layanan: (1) akurat, persepsi visual umum sebagai masukan, dan (2) kontrol
robot yang cerdas, dinamis, dan sesuai untuk manusia.

Dengan terobosan baru-baru ini dalam jaringan syaraf yang dalam dan pembelajaran robotik,
persepsi visual robot [3] [4] [5] [6] dan kontrol cerdas [7] [8] [9] [10] [11], sistem robot Layanan
cerdas berbasis pembelajaran dapat mulai beroperasi di bawah yang tidak terstruktur, dinamis,
kepatuhan manusia, lingkungan umum. Namun, teknologi berbasis pembelajaran ini datang
dengan biaya komputasi yang tinggi, namun, pengendali robot normal memiliki daya komputasi
yang terbatas. Sulit untuk mengerahkan semua dari mereka secara langsung pada pengendali
robot asli dengan constrain tersebut. Salah satu solusinya adalah memindahkan sistem
pembelajaran intensif komputasi ini ke dalam awan sambil menjaga kontrol dinamis sensitif
waktu pada robot (Gbr. 1). Contohnya adalah pekerjaan kita sebelumnya pada pencerminan
semaphore berbasis isyarat menggunakan robot humanoid [12], di mana kita memindahkan
gerakan berbasis Deep-Learning ke dalam awan saat mengeksekusi segmen gerak secara lokal
pada robot. Saat ini awan sistem Robotika, bagaimanapun, memiliki biaya komunikasi jaringan
yang tinggi, dalam bentuk privasi, keamanan, bandwidth, latency, dan variabilitas. Secara
khusus, latency jaringan dan variability, dibatasi oleh kecepatan-of-ringan dan tidak konsisten
jaringan routings, mencegah pengontrol robot berbasis cloud dari kontrol robot dinamis secara
langsung. Terutama dalam aplikasi interaksi robot manusia di mana umpan balik visual
diperlukan untuk mencapai tugas interaktif, manusia-compliant robot. Untuk mengatasi masalah
ini, kami menggabungkan kedua layanan awan yang kuat dan perangkat tepi lincah untuk
membangun sistem kontrol yang cerdas CloudEdge hibrida di bawah kerangka FOG Robotic.
Kami ingin menunjukkan bahwa, dengan desain hibrida ini, tidak hanya FOG Robotika dapat
memperluas robot umum "kecerdasan" dengan berbasis awan modul AI, tetapi juga dapat secara
efektif mengontrol robot dinamis di Edge, bahkan ketika koneksi jaringan tidak sempurna. Oleh
karena itu, kami memilih untuk melakukan tugas robot yang umumnya dilakukan di gudang
logistik, yaitu pickup kotak, menggunakan lengan ganda dinamis, dual leg, robot Self-balancing
bernama Igor, yang dibuat oleh HEBI Robotika. Kami membangun modul pickup Box otomatis
untuk menunjukkan: (1) teleoperasi dibantu berbasis cloud; (2) pengenalan visual di awan; (3)
dinamis keseimbangan diri kontroler navigasi di Edge; (4) sebuah loop tertutup Cloud-Edge
hibrida controller untuk kotak otomatis pickup menggunakan Visual masukan (gambar 1). Modul
Hybrid ini diimplementasikan dalam platform intelijen robotik manusia, atau HARI [12], yang
disediakan oleh Cloudminds Inc. Lebih lanjut, kami memilih untuk menerapkan controller
umpan balik visual hibrida ini dengan servoing gambar berbasis visual (IBVS) untuk
menghilangkan memakan waktu tetapi sering diperlukan robotcamera pendaftaran rutin. Dengan
FOG Robotic IBVS, kami membuat sistem pickup Box lebih praktis, sehingga Igor dapat
melakukan efisien, handal, kotak otomatis pickup dari pembawa manusia di bawah lingkungan
yang tidak terstruktur.
PEKERJAAN TERKAIT

Cloud Robotika mengacu pada robot atau sistem otomatisasi yang bergantung pada salah satu
data atau kode dari jaringan untuk mendukung operasinya. Istilah ini diperkenalkan oleh James
Kuffner pada tahun 2010. Itu berevolusi dari jaringan Robotika. Sistem Cloud Robotic yang
terkenal termasuk: Rapyuta RoboEarth, perencanaan gerak untuk layanan di Cloud dan Edge,
Berkeley Robotics dan otomatisasi sebagai layanan (kuningan), dan Dex-net sebagai Service
(DNaaS), hanya untuk beberapa nama. Namun, biaya jaringan dalam bentuk privasi, latensi
keamanan, bandwidth, dan keandalan menghadirkan tantangan dalam Cloud Robotika. Fog
Robotics adalah bentuk Cloud Robotika di mana sumber daya komputasi awan dibawa lebih
dekat ke robot untuk menyeimbangkan penyimpanan, komputasi dan sumber daya jaringan
antara Cloud dan Edge. Hal ini terinspirasi oleh FOG Computing, awalnya diperkenalkan oleh
Cisco Systems di 2012, dan baru-baru ini diperkenalkan oleh Gudi et al. sebuah FOG sistem
robotik dikembangkan dan dievaluasi secara paralel di Berkeley oleh Tanwani et al untuk belajar
rumput permukaan dari lingkungan terdekat. Ada juga karya lain tentang FOG Robotika yang
berfokus pada investigasi strategi off-load yang optimal. FOG Robotika menyediakan kerangka
awan umum untuk menggabungkan sistem cerdas namun gratis khusus untuk bekerja sama,
sehingga pengguna dapat membangun Layanan Cloud HRI scalable. Cloud dapat menjadi tuan
rumah sistem pembelajaran robot canggih, seperti menggenggam dan Decluttering, Visual
servoing, dipandu kebijakan pencarian, Visual Foresight, dan domain randomisasi. Ini juga dapat
menjadi host sistem visi berbasis pembelajaran yang mendalam untuk deteksi objek dan
pengenalan gerakan manusia dalam semirealtime (5-10Hz) untuk memberikan input visual ke
perangkat Edge. Sistem hibrida Cloud-Edge, yang memadukan kecerdasan dan kecepatan, dapat
mencakup spektrum tugas penuh untuk robot servis (Gbr. 2). Salah satu contoh adalah pekerjaan
baru-baru ini kami pada sistem imitasi sempahore berbasis awan menggunakan robot humanoid,
tapi kami percaya bahwa tugas yang lebih dinamis seperti mengendalikan robot Self-balancing
dapat menunjukkan kekuatan sistem hibrida ini lebih jauh.

Latensi dan variabilitas yang disumbangkan oleh ketidaksempurnaan jaringan dan komputasi
awan adalah peringatan utama untuk mengontrol robot dinamis dengan Cloud dan FOG
Robotika. Ketidaksempurnaan ini mendistorsi pengendalian sistem yang dinamis, khususnya
dengan pengontrol umpan balik putaran-real-time. Meskipun Cloud Robotika sering kali
mencakup beberapa kapasitas untuk pemrosesan lokal/Edge untuk latensi rendah, tanggapan
real-time, cara mendesain hibrida Cloud-Edge yang andal, pengontrol umpan balik dinamis
masih merupakan masalah terbuka yang menarik. Masalah ini mirip dengan pekerjaan
sebelumnya pada sistem kontrol jaringan (NCSs) yang mengasumsikan baik pengontrol terpusat
atau terdistribusi, tetapi berbeda, karena Cloud dan The Edge meng-host pengontrol loop tertutup
bersama di FOG Robotika.

Intelligent visual feedback Systems telah digunakan untuk teleoperasi yang dibantu AI untuk
meningkatkan efisiensi teleoperator dalam lingkungan yang keras. Namun, sistem umpan balik
visual yang dinamis di bawah lingkungan yang tidak terstruktur menantang karena pendekatan
visual robot industri tradisional dikembangkan untuk presisi di bawah lingkungan manufaktur
yang sangat terkontrol. Pendaftaran memakan waktu dan kalibrasi sebelumnya sering diminta
melakukan tugas robot, tidak praktis untuk banyak tugas Layanan robot dengan HRIs. Kami
memilih untuk mengimplementasikan controller visual berbasis gambar (IBVS) yang
menggunakan kebijakan kontrol umpan balik dinamis untuk meminimalkan jarak relatif antara
robot dan target dalam ruang gambar 2D. Ada pekerjaan sebelumnya pada perkiraan Jacobian
untuk servoing visual yang kuat [39] dan sistem servoing visual berbasis NCSs. Kami
membedakan pekerjaan kami dengan mengusulkan kerangka kerja Hybrid CloudEdge di mana
pengontrol servoing dinamis yang sensitif waktu disebarkan secara lokal di Edge.

ROBOT KESEIMBANGAN DIRI IGOR

Igor adalah 14 derajat kebebasan (DoF), dual-lengan, dualleg, dinamis menyeimbangkan diri
robot, yang dibuat oleh HEBI Robotika (ditunjukkan dalam Gbr. 3). Setiap DoF dibangun
dengan mandiri, seri X-Series elastis modul servo. Servo ini dapat dikontrol dengan perintah
posisi, kecepatan, dan torsi secara bersamaan, dan dapat memberikan pengukuran yang akurat
dari ketiga kuantitas ini ke komputer pusat dengan kecepatan tinggi (> 1khz) dengan latensi
minimum. Modul ini juga berfungsi sebagai Sakelar Ethernet, dan mengandalkan informasi dan
perintah sensor ke dan dari komputer Intel nuc yang asli di pesawat pada robot. Keseimbangan
diri dicapai dengan pemodelan sistem sebagai pendulum terbalik (Lihat Gbr. 3 bawah). Untuk
memperkirakan pusat massa robot (CoM), CoM dari dua lengan dan dua kaki pertama kali
diukur secara real-time dengan menggunakan kinematika maju melalui API HEBI. Posisi dari
total CoM ini kemudian diperkirakan sebagai nilai-nilai CoMs dari empat ekstremitas ditambah
CoM dari kotak kontrol berbobot oleh distribusi massa:

Igor juga menggunakan pengukuran accelerometer untuk memperkirakan arah gravitasi (G)
setiap saat. WithCoMofIgor, Pusat roda (ow), dan arah gravitasi, kita dapat menghitung panjang
dan arah pendulum terbalik:

Sudut ramping (ψ), yang merupakan sudut antara gravitasi dan pendulum terbalik kemudian
dapat diperkirakan secara real-time:

Untuk menjaga keseimbangan robot, kita berasumsi bahwa sudut ramping (ψ) kecil sehingga
sistem dapat linearized:

torsi (T) dalam arah jatuh diterapkan pada roda dengan radius (R) dan kecepatan sudut (ω) untuk
menetralkan efek gravitasi pada pusat robot massa:
di mana v adalah kecepatan dari robot CoM. Selanjutnya, turunan dari sudut ramping (̇ ψ) dapat
dikendalikan oleh pengontrol proporsional dengan koefisien (KV), dan terkait dengan kecepatan
robot sebagai berikut:

Pengukuran real-time dari kedua robot CoM dan arah gravitasi adalah penting, karena kontroler
Igor perlu mengimbangi gerakan dinamis dari empat ekstremitas untuk kontrol keseimbangan
diri yang kuat. Kita juga dapat memutar robot dengan menerapkan kecepatan yang berbeda ke
dua roda. Unit pengukuran inertia (IMU) pembacaan kemudian dapat digunakan untuk
mengontrol sudut balik robot secara real-time.

PENGONTROL ROBOT KABUT YANG CERDAS

 Pengontrol tepi

Ada dua pengontrol tepi dalam sistem kami. Yang pertama adalah pengendali robot Igor asli
pada komputer Intel nuc. Ini mengumpulkan semua informasi sensor dari 14 servo modular dan
kontrol sthemin real-time. Ini host kecepatan tinggi pakan kembali loop kontrol (200Hz atau di
atas) untuk mempertahankan postur robot dan menyeimbangkan diri. Kami menyebutnya sebagai
pengendali tingkat rendah di Fig. 1.

Pengendali tepi lainnya adalah unit komando robot (RCU). Ini adalah ponsel Android cerdas
dengan koneksi LTE pribadi dan kamera 2D (Gbr. 1). RCU berfungsi sebagai pintu gerbang
antara platform robot awan tingkat tinggi dan pengontrol Self-balancing tingkat rendah.
Menggunakan koneksi LTE pribadi untuk streaming video langsung ke Cloud. Ini menerima dan
meneruskan kontrol cerdas tingkat tinggi dari awan ke pengontrol tingkat rendah dengan
penundaan minimum. RCU bekerja di dalam dan luar ruangan dengan penerimaan LTE yang
baik.

 Cloud Controller

Pengontrol robot cerdas tingkat tinggi ditempatkan di awan untuk bekerja dengan pengontrol tepi
RCU (Lihat Gbr. 1). Ini beroperasi pada kecepatan yang lebih rendah (3-5Hz), namun itu
perintah robot berdasarkan Jasa kecerdasan buatan (AI) dan kecerdasan manusia (HI), yang
sangat penting bagi robot untuk beroperasi di bawah lingkungan yang tidak terstruktur.
Tergantung pada situasinya, dapat mengekstrak perintah berdasarkan server pengenalan objek
atau perintah penerusan yang dikirim dari teleoperator awan. Perintah tingkat tinggi ini dikirim
ke RCU. Mereka kemudian diteruskan, ditransformasikan, dan dieksekusi dalam bentuk perintah
dinamis pada pengendali tingkat rendah.

 Kontrol Hibrid dengan "Detak Jantung"

Saat mengendalikan Igor, perintah yang dikirim dari pengendali cloud tingkat tinggi bertindak
sebagai gangguan terhadap sistem stabil yang tidak berubah-ubah waktu dan dikelola oleh
pengontrol keseimbangan-diri tingkat rendah di tepinya. Ini adalah bentuk kontrol hibrid di mana
sinyal diskrit dikirim dari cloud untuk mengontrol sistem dinamis di tepinya. Untuk
meminimalkan keterlambatan jaringan, kami memilih untuk menggunakan UDP, protokol
jaringan asinkron, untuk mengimplementasikan komunikasi CloudEdge. Namun, dengan UDP,
paket dapat hilang selama pengiriman. Mereka juga dapat tiba penunjukan out-of-order. Kedua
masalah dapat menyebabkan kontrol hibrida dinamis yang tidak stabil dan tidak dapat diprediksi
di Edge, yang dapat menyebabkan pengalaman pengguna yang buruk dan masalah keselamatan
manusia selama teleoperasi. Kami menggunakan desain "detak jantung" untuk menyelesaikan
masalah ini (ditunjukkan pada Gambar. 4). "Detak jantung" adalah sinyal sakelar yang
dinyalakan ketika sinyal kontrol pertama tiba di Edge. Ini akan tetap aktif untuk periode waktu
(t) dan hanya akan mati jika tidak ada paket yang diterima untuk perintah yang dipilih selama
waktu ini. Kita dapat melihat "detak jantung" sebagai melakukan "konvolusi" dengan jendela
bergerak pada sinyal yang diterima dari RCU. Akhirnya, kami menambahkan fungsi ramping di
awal dan akhir sinyal "detak jantung" untuk memastikan transisi awal dan berhenti yang mulus
dan stabil.

MELAYANI VISUAL DINAMIK

Untuk membantu teleoperasi dengan otomatisasi, kami menggunakan Fog Robotics IBVS untuk
mengontrol Igor untuk pickup kotak otomatis. Kami memilih IBVS karena menghilangkan
registrasi robot kamera yang menghabiskan waktu, yang sulit dilakukan pada sistem robot
dinamis dalam lingkungan yang tidak terstruktur dan banyak manusia. Tujuan dari IBVS adalah
untuk menavigasi robot ke lokasi pengambilan kotak yang optimal di mana apriltag terletak tepat
di dalam kotak target hijau (Gbr. 4, kanan). Untuk melakukan itu, kita perlu meminimalkan
kesalahan relatif antara posisi target yang diukur dan posisi target yang diinginkan e (t):

di mana m (t) adalah satu set pengukuran gambar dan a adalah serangkaian parameter, seperti
intrinsik kamera, yang mewakili pengetahuan tambahan tentang sistem. s adalah nilai yang
diukur dari fitur gambar / lokasi objek, seperti koordinat piksel dalam bingkai gambar, dan s ∗
adalah nilai yang diinginkan dari fitur gambar / lokasi objek. Perubahan kesalahan fitur ˙ e dan
kecepatan kamera vc terkait dengan matriks interaktif L:

Untuk IBVS, yang dilakukan dalam ruang gambar 2D, titik 3D X = (X, Y, Z) diproyeksikan ke
gambar 2-D dengan koordinat x = (x, y):

yang menciptakan matriks interaktif untuk servoing berbasis gambar 2D:

Dengan matriks interaktif, kecepatan kamera dapat diperkirakan dengan:

di mana L + adalah pseudo-invers Moore-Penrose dari L:

Hukum kontrol terakhir ditetapkan sebagai upaya kecepatan robot vs berlawanan dengan
kecepatan kamera vc karena target bergerak berlawanan arah dengan kamera dalam bingkai
gambar: vs = −vc

Perhatikan bahwa matriks interaktif hanya bergantung pada x dan y, yaitu koordinat piksel 2D
dari target, dan Z yang merupakan kedalaman target. Dalam sistem kami, Z diukur sebagai
ukuran apriltag. Oleh karena itu, pengukuran IBVS tidak tergantung pada posisi 3D yang tepat
dari pengukuran target. Ini adalah fitur yang menarik untuk desain sistem kami karena registrasi
kamera 3D yang tepat tidak diperlukan bagi IBVS untuk menyelesaikan pickup kotak.

 Implementasi IBVS untuk Pengambilan Kotak Otomatis

Pengontrol IBVS otomatis melakukan pengambilan kotak dalam tiga fase. Pada fase satu,
pengontrol memindahkan robot ke posisi di mana aprialtag memiliki ukuran yang sama dengan
kotak hijau (Gambar 4, kanan). Robot juga perlu memposisikan apriltag pada garis ungu tengah
bingkai video setelah fase satu, tetapi tidak tepat di tengah karena perbedaan ketinggian. Pada
fase dua, robot menyesuaikan ketinggiannya sendiri dengan mengubah sudut sendi dari dua sendi
"lutut" sehingga apriltag akan terletak di tengah bingkai video di mana kotak hijau berada.
Setelah robot mencapai posisi pengambilan optimal ketika apriltag berada di tengah video, fase
tiga dimulai. Kontroler robot berkomitmen untuk melakukan pikap-kotak dengan gerakan
menggenggam kode ganda yang ditentukan sebelumnya, hard-arm.

 Fog Robotic IBVS

Meskipun kami menggunakan apriltag sederhana untuk pengenalan objek, kami bertujuan untuk
mengantisipasi desain sistem visual Fog Robotic berbasis pembelajaran dalam untuk pickup
robot. Oleh karena itu, untuk meniru efek latensi dalam sistem seperti itu, kami menggunakan
pengakuan apriltag di cloud dan menggunakan protokol "detak jantung" untuk mengalirkan
informasi geometris apriltag - ukuran dan lokasi - ke pengontrol tingkat rendah melalui RCU.
Bersama-sama, kami membangun controller IBVS Fog Robotic loop tertutup yang tangguh
untuk pickup kotak.
EKSPERIMEN DAN HASIL

Dengan desain "detak jantung", kita dapat melakukan teleoperate robot penyeimbang secara
andal melalui Cloud. Untuk melakukan teleoperate pada robot untuk pickup kotak, kita membuat
kode keras sebuah gerakan pickup kotak dengan kedua lengan robot. Kami pertama kali
mencoba mengambil kotak dengan joystick melalui teleoperation cloud langsung. Namun,
bahkan dengan modul teleoperasi yang andal dan gerakan pikap yang sudah diprogram, kami
merasa sangat sulit untuk menyelesaikan tugas menggunakan teleoperasi awan. Kami menduga
bahwa persepsi visual 3D yang alami dan imersif sangat penting bagi manusia untuk mengambil
benda secara efisien, tetapi teleoperator manusia kehilangan persepsi ini menggunakan
antarmuka teleoperasi awan kami saat ini. Dengan kata lain, antarmuka teleoperation cloud kami
tidak intuitif untuk pengambilan objek yang efisien.

Untuk mengukur pengamatan, kami melakukan dua percobaan teleoperasi yang berbeda dengan
masing-masing 10 percobaan: (1) mengontrol Igor secara lokal sehingga operator berada dekat
dan dapat melihat robot dan kotak; (2) kontrol Igor dari jauh untuk mengambil kotak melalui
antarmuka teleoperasi (Gbr. 4, kanan). Dalam kedua kasus, kotak diposisikan di tengah meja.
Robot berjarak 2 meter dari objek dan menghadap bagian depan kotak (lihat setup di video
https://youtu.be/b0mr5GHHjBg). Kami mengamati bahwa teleoperator lokal dapat melakukan
pickup kotak jauh lebih cepat dengan tingkat keberhasilan yang lebih tinggi daripada cloud
teleoperator (lihat tabel I) Untuk membantu teleoperator cloud untuk meningkatkan intuisi dan
efisiensi, kami menerapkan modul IBVS otomatis. Kami akan menandai percobaan yang sama
menggunakan modul otomatis dengan manusia di loop. Dalam percobaan ini, kami mengizinkan
Untuk mengukur pengamatan, kami melakukan dua percobaan teleoperasi yang berbeda dengan
masing-masing 10 percobaan: (1) mengontrol Igor secara lokal sehingga operator berada dekat
dan dapat melihat robot dan kotak; (2) kontrol Igor dari jauh untuk mengambil kotak melalui
antarmuka teleoperasi (Gbr. 4, kanan). Dalam kedua kasus, kotak diposisikan di tengah meja.
Robot berjarak 2 meter dari objek dan menghadap bagian depan kotak (lihat setup di video
https://youtu.be/b0mr5GHHjBg). Kami mengamati bahwa teleoperator lokal dapat melakukan
pickup kotak jauh lebih cepat dengan tingkat keberhasilan yang lebih tinggi daripada cloud
teleoperator (lihat tabel I) Untuk membantu teleoperator cloud untuk meningkatkan intuisi dan
efisiensi, kami menerapkan modul IBVS otomatis. Kami menandai percobaan yang sama
menggunakan modul otomatis dengan manusia di loop. Dalam percobaan ini, kami mengizinkan
cloud teleoperator untuk pertama teleoperate robot secepat mungkin ke lokasi di mana apriltag
dikenali (hingga 20 derajat dari permukaan normal apriltag) dan berjarak sekitar 2 meter.
Teleoperator kemudian menyalakan modul Fog Robotic IBVS, memungkinkan robot untuk
mengambil kotak secara otomatis. Kami mengamati bahwa kecepatan pendekatan ini setara
dengan teleoperasi lokal manusia, tetapi keandalannya bahkan lebih tinggi pada 100% (lihat
tabel I).

Kami selanjutnya melakukan 40 uji reliabilitas. Pada setiap percobaan, Igor mulai dari satu dari
empat lokasi awal – Titik I-IV (Gbr. 5, A) hingga mengambil kotak yang diletakkan pada posisi
acak di atas meja yang berdiri. Kami melakukan 10 percobaan untuk setiap lokasi awal robot,
dan posisi kotak ditentukan oleh dua variabel acak yang terdistribusi seragam - koordinat X
horizontal dalam kisaran -1 dan 1 meter dan koordinat Y vertikal antara 0,8 dan 1,4 meter (Gbr.
5, B ). Kami menunjukkan keandalan tinggi dari sistem, kotak-pickup IBVS melalui uji coba ini
pada tabel II Akhirnya, kami menggunakan modul IBVS membantu teleoperator cloud untuk
mengambil kotak secara efisien dari pembawa kotak. Selama tugas ini, pembawa manusia yang
bergerak memegang sebuah kotak dengan apriltag. Teleoperator cloud mengoperasikan Igor ke
lokasi di mana apriltag dapat dikenali. Segera setelah robot mengenalinya, teleoperator akan
mengubah robot ke mode IBVS sehingga robot dapat memulai pickup kotak otomatis. Kami
mengamati bahwa selama robot dapat melacak apriltag, ia akan secara dinamis mengikuti
manusia sekitar; dan jika pembawa manusia berhenti dan memegang kotak pada posisi statis
yang dapat dicapai, robot pada akhirnya akan mengambil kotak dari pembawa.

PEMBAHASAN DAN PEKERJAAN MASA DEPAN

Dalam pekerjaan ini, kami menggabungkan platform Cloud yang cerdas dan perangkat Edge
yang cepat untuk membangun sistem IBVS Fog Robotic hybrid Cloud-Edge hybrid yang dapat
melakukan pickup kotak otomatis yang dinamis, ramah lingkungan, dan otomatis. Protokol
"detak jantung" dengan komunikasi asinkron diimplementasikan dalam kerangka kerja ini untuk
mengurangi latensi dan variabilitas jaringan. Namun, protokol "detak jantung" saat ini tidak
sempurna. "Detak jantung" sebenarnya meningkatkan penundaan di akhir tindakan, yang akan
menyebabkan reaksi tertunda lebih lanjut setelah sinyal perintah terakhir. Ini adalah masalah
keamanan yang signifikan, karena bahkan jika jendela waktu "detak jantung" pendek, yaitu 250
ms dalam kasus kami, robot akan terus bergerak sampai setelah jendela 250 ms. Untuk
mengimbanginya, kami menerapkan fungsi ramp yang lebih tajam di akhir aksi, tetapi 250 ms
adalah batas keras untuk jenis penundaan ini dengan sistem "detak jantung" saat ini (panah
merah pada Gambar 4). Di masa depan, kita dapat mengurangi penundaan tersebut dengan
memodelkan variabilitas interval waktu antara kedatangan paket duetopackageloss. Selanjutnya,
prediksi kontrol paket saat paket terakhir akan tiba, sehingga dapat menyelesaikan tindakan
sebelum kedatangan perintah terakhir. Seperti robot layanan lainnya, Igor perlu berinteraksi dan
bekerja sama dengan manusia. Kami menunjukkan kelebihan dari servoing visual: (1) tidak
memerlukan kalibrasi sebelum setiap tugas robot; (2) dapat menangani interaksi robot manusia
yang dinamis, seperti mengikuti manusia untuk mengambil sebuah kotak dari orang itu. Satu
kasus kegagalan adalah ketika pembawa manusia menipu robot. Itu terjadi jika pembawa
manusia memindahkan kotak setelah robot melakukan ke tahap akhir dari pengambilan kotak,
yang merupakan kode keras. Sebagai gantinya, kami dapat mengotomatiskan gerak pickup
berdasarkan pada servoing visual juga, dan kami akan membiarkannya sebagai pekerjaan di
masa depan. Untuk Fog Robotic IBVS, kami meniru sistem persepsi visual pembelajaran
berbasis cloud dengan menggunakan pengenalan apriltag di cloud. Sebagai bagian dari pekerjaan
di masa depan, kami berencana untuk menggunakan pipa-pipa pengenalan pembelajaran dalam
seperti mask RCNN bersama-sama dengan sistem pegang cerdas seperti dex-net, sehingga dapat
memandu kedua robot dinamis seperti sebagai Igor dan robot statis seperti YuMi dan HSR untuk
melakukan pengambilan dan manipulasi objek yang sesuai dengan kebutuhan manusia dan
umum.

HASIL RIVIEW

Pengenalan

Beberapa aplikasi robot layanan populer termasuk perawatan lansia, membersihkan rumah,
memasak, robot patroli, resepsionis robot, hiburan, dan pendidikan. Beberapa contoh terkenal
dari layanan robot adalah Roomba oleh iRobot, Pepper oleh SoftBank Robotics, "The Robotic
Chef" oleh moley Robotics, dan Spotmini dan Atlas oleh Boston Dynamics. Berbeda dengan
robot industri, robot servis perlu berinteraksi dan bekerja sama dengan orang dengan aman di
bawah lingkungan yang tidak terstruktur secara dinamis. Kami percaya ada dua persyaratan
utama untuk operasi robot Layanan: pertama akurat, persepsi visual umum sebagai masukan,
kedua kontrol robot yang cerdas, dinamis, dan sesuai untuk manusia. Dengan terobosan baru-
baru ini dalam jaringan syaraf yang dalam dan pembelajaran robotik, persepsi visual robot dan
kontrol cerdas, sistem robot Layanan cerdas berbasis pembelajaran dapat mulai beroperasi di
bawah yang tidak terstruktur, dinamis, kepatuhan manusia, lingkungan umum.

Oleh karena itu, kami memilih untuk melakukan tugas robot yang umumnya dilakukan di gudang
logistik, yaitu pickup kotak, menggunakan lengan ganda dinamis, dual leg, robot Self-balancing
bernama Igor, yang dibuat oleh HEBI Robotika. Kami membangun modul pickup Box otomatis
untuk menunjukkan: (1) teleoperasi dibantu berbasis cloud; (2) pengenalan visual di awan; (3)
dinamis keseimbangan diri kontroler navigasi di Edge; (4) sebuah loop tertutup Cloud-Edge
hibrida controller untuk kotak otomatis pickup menggunakan Visual masukan (gambar 1). Modul
Hybrid ini diimplementasikan dalam platform intelijen robotik manusia, atau HARI [12], yang
disediakan oleh Cloudminds Inc. Lebih lanjut, kami memilih untuk menerapkan controller
umpan balik visual hibrida ini dengan servoing gambar berbasis visual (IBVS) untuk
menghilangkan memakan waktu tetapi sering diperlukan robotcamera pendaftaran rutin. Dengan
FOG Robotic IBVS, kami membuat sistem pickup Box lebih praktis, sehingga Igor dapat
melakukan efisien, handal, kotak otomatis pickup dari pembawa manusia di bawah lingkungan
yang tidak terstruktur.

Pekerjaan terkait

Dalam sub ini, penulis menjelaskan pekerjaan apa saja yang terkait dengan pembuatan could
robotika. Fog Robotics adalah bentuk Cloud Robotika di mana sumber daya komputasi awan
dibawa lebih dekat ke robot untuk menyeimbangkan penyimpanan, komputasi dan sumber daya
jaringan antara Cloud dan Edge. . FOG Robotika menyediakan kerangka umum could untuk
menggabungkan sistem cerdas namun gratis khusus untuk bekerja sama, sehingga pengguna
dapat membangun Layanan Cloud HRI scalable. Salah satu contoh adalah pekerjaan baru-baru
ini kami pada sistem imitasi sempahore berbasis awan menggunakan robot humanoid, tapi kami
percaya bahwa tugas yang lebih dinamis seperti mengendalikan robot Self-balancing dapat
menunjukkan kekuatan sistem hibrida ini lebih jauh.

Robot Keseimbangan Diri Igor

Pada sub ini, penulis memaparkan tentang igor. Dimana igor adalah dual-lengan, dualleg,
dinamis robot keseimbangan diri, yang dibuat oleh Robotika HEBI. Selain itu, penulis juga
menyertakan rumus-rumus yang digunakan untuk memperkirakan pusat robot, juga terdapat
rumus pengukuran accelerometer untuk memperkirakan arah gravitasi.

Pengontrol Robot Kabut Yang Cerdas

Pada sub ini, penulis membagi menjadi beberapa bagian untuk pengontrolan robot tersebut.
Pertama, yaitu pengontrol tepi. Terdapat dua pengontrol tepi yang ada dibuat oleh penulis. Yang
pertama adalah pengendali robot igor asli pada computer. Pengontrol tepi lainnya adalah unit
komando robot (RCU). Ini adalah ponsel android cerdas dengan koneksi LTE pribadi. RCU
berfungsi sebagai pintu gerbang antara platform robot awan tingkat tinggi dan pengontrol Self-
balancing tingkat rendah. RCU bekerja di dalam dan luar ruangan dengan penerimaan LTE yang
baik. Selain pengontrol tepi, juga terdapat cloud conrollers. Ini disebut sebagai pengontrol robot
tingkat tinggi, namun beroperasi pada kecepatan yang lebih rendah. Tetapi perintah robot sesuai
dengan kecerdasan buatan (AI) dan kecerdasan manusia (HI).
Selanjutnya Kontrol Hibrid dengan "Detak Jantung" . penulis menjelaskan bahwa pada Saat
mengendalikan Igor, perintah yang dikirim dari pengendali cloud tingkat tinggi bertindak sebagai
gangguan terhadap sistem stabil yang tidak berubah-ubah waktu dan dikelola oleh pengontrol
keseimbangan-diri tingkat rendah di tepinya. Ini adalah bentuk kontrol hibrid di mana sinyal
diskrit dikirim dari cloud untuk mengontrol sistem dinamis di tepinya. Tujuan dari penggunaan
deteksi jantung agar tidak terdapat masalah keselamatan kerja pada manusia. Penulis juga
menambahkan fungsi ramping di awal dan akhir sinyal "detak jantung" untuk memastikan
transisi awal dan berhenti yang mulus dan stabil.

Melayani Visual Dinamik

Pada bagian ini penulis memaparkan tentang penggunaan rumus dalam meminimalkan kesalahan
pada saat robot beroperasi. Dalam sub ini terdapat Implementasi IBVS untuk Pengambilan Kotak
Otomatis. Di mana pada pase satu, , pengontrol memindahkan robot ke posisi di mana aprialtag
memiliki ukuran yang sama dengan kotak hijau. Pada fase dua, robot menyesuaikan
ketinggiannya sendiri dengan mengubah sudut sendi dari dua sendi "lutut" sehingga apriltag akan
terletak di tengah bingkai video di mana kotak hijau berada. . Setelah robot mencapai posisi
pengambilan optimal ketika apriltag berada di tengah video, fase tiga dimulai. Kontroler robot
berkomitmen untuk melakukan pikap-kotak dengan gerakan menggenggam kode ganda yang
ditentukan sebelumnya.

Eksperimen Dan Hasil

Pada tahap percobaan dan hasil, Dengan desain "detak jantung", kita dapat melakukan
teleoperate robot penyeimbang secara andal melalui Cloud. Untuk melakukan teleoperate pada
robot untuk pickup kotak, kita membuat kode keras sebuah gerakan pickup kotak dengan kedua
lengan robot. Penulis menyertakan tabel percobaan untuk teleoperation dengan automatic box
pickup. Untuk mengukur pengamatan, kami melakukan dua percobaan teleoperasi yang berbeda
dengan masing-masing 10 percobaan: (1) mengontrol Igor secara lokal sehingga operator berada
dekat dan dapat melihat robot dan kotak; (2) kontrol Igor dari jauh untuk mengambil kotak
melalui antarmuka teleoperasi (Gbr. 4, kanan). Kami mengamati bahwa teleoperator lokal dapat
melakukan pickup kotak jauh lebih cepat dengan tingkat keberhasilan yang lebih tinggi daripada
cloud teleoperator (lihat tabel I) Untuk membantu teleoperator cloud untuk meningkatkan intuisi
dan efisiensi, kami menerapkan modul IBVS otomatis. Kami akan menandai percobaan yang
sama menggunakan modul otomatis dengan manusia di loop. Dalam kedua kasus, kotak
diposisikan di tengah meja. Robot berjarak 2 meter dari objek dan menghadap bagian depan
kotak. Kami mengamati bahwa teleoperator lokal dapat melakukan pickup kotak jauh lebih cepat
dengan tingkat keberhasilan yang lebih tinggi daripada cloud teleoperator (lihat tabel I) Untuk
membantu teleoperator cloud untuk meningkatkan intuisi dan efisiensi, kami menerapkan modul
IBVS otomatis. Kami akan menandai percobaan yang sama menggunakan modul otomatis
dengan manusia di loop.Dalam percobaan ini, kami mengizinkan Untuk mengukur pengamatan,
kami melakukan dua percobaan teleoperasi yang berbeda dengan masing-masing 10 percobaan:
(1) mengontrol Igor secara lokal sehingga operator berada dekat dan dapat melihat robot dan
kotak; (2) kontrol Igor dari jauh untuk mengambil kotak melalui antarmuka teleoperasi. Kami
mengamati bahwa teleoperator lokal dapat melakukan pickup kotak jauh lebih cepat dengan
tingkat keberhasilan yang lebih tinggi daripada cloud teleoperator (lihat tabel I) Untuk membantu
teleoperator cloud untuk meningkatkan intuisi dan efisiensi, kami menerapkan modul IBVS
otomatis. Kami menandai percobaan yang sama menggunakan modul otomatis dengan manusia
di loop.

selanjutnya melakukan 40 uji reliabilitas. Pada setiap percobaan, Igor mulai dari satu dari empat
lokasi awal – Titik I-IV hingga mengambil kotak yang diletakkan pada posisi acak di atas meja
yang berdiri. Kami melakukan 10 percobaan untuk setiap lokasi awal robot, dan posisi kotak
ditentukan oleh dua variabel acak yang terdistribusi seragam - koordinat X horizontal dalam
kisaran -1 dan 1 meter dan koordinat Y vertikal antara 0,8 dan 1,4 meter. Kami menunjukkan
keandalan tinggi dari sistem, kotak-pickup IBVS melalui uji coba ini pada tabel II Akhirnya,
kami menggunakan modul IBVS membantu teleoperator cloud untuk mengambil kotak secara
efisien dari pembawa kotak. Selama tugas ini, pembawa manusia yang bergerak memegang
sebuah kotak dengan apriltag.