EDUCARE.CO.ID – Mahasiswa Universitas Brawijaya (UB) menghadirkan cara baru untuk memainkan seni pewayangan. Haikal Muhammad Ar-rabani, mahasiswa Program Studi Sarjana Terapan (D-IV) Teknologi Rekayasa Perangkat Lunak (TRPL), Fakultas Vokasi (FV) UB, mengembangkan website wayang digital yang merespons gerakan tangan pengguna.
Inovasi ini memadukan seni tradisional dengan teknologi pengolahan citra. Pengguna cukup berdiri di depan kamera dan menggerakkan tangan untuk mengendalikan tokoh wayang melalui layar monitor.
Cara tersebut menawarkan pengalaman bermain wayang tanpa menuntut pengguna menguasai keterampilan mendalang. Mereka juga tidak perlu mengenakan perangkat sensor tambahan pada tubuh.
“Memainkan wayang membutuhkan perangkat panggung khusus serta keahlian mendalang yang harus dilatih bertahun-tahun. Melalui inovasi ini, pengunjung pameran cukup berdiri di depan kamera web (webcam), lalu gerakan tangan dan jari mereka akan langsung diterjemahkan menjadi gerakan sepasang tokoh wayang di layar monitor tanpa memerlukan alat sensor tambahan di tubuh,” ujarnya.
Kamera dan MediaPipe Baca Gerakan Tangan Pengguna
Haikal membangun sistem wayang digital dengan teknologi pengolahan citra yang berjalan melalui mini PC. Sistem kemudian menampilkan animasi melalui peramban web agar pengguna dapat berinteraksi secara langsung.
Kamera menangkap gerakan tangan pengguna sebagai masukan utama. Selanjutnya, MediaPipe mengenali titik-titik sendi atau landmark pada tangan secara waktu nyata.
Sistem meneruskan data hasil deteksi melalui WebSocket. Teknologi komunikasi tersebut menghubungkan gerakan tangan dengan animasi dua tokoh wayang yang saling berhadapan.
Setiap tangan mengendalikan satu tokoh. Dengan mekanisme ini, pengguna dapat menggerakkan dua karakter sekaligus melalui gerakan tangan dan jari.
Haikal juga menyediakan dua pilihan tampilan visual, yaitu wayang berwarna dan siluet bayangan. Kedua opsi tersebut memberi variasi pengalaman bagi pengunjung yang ingin mencoba sistemnya.
WebSocket Bantu Atasi Animasi yang Patah-Patah
Selama proses pengembangan, Haikal menemukan kendala pada kelancaran animasi. Sistem sempat menampilkan gerakan wayang yang patah-patah ketika kamera membaca gerakan tangan pengguna.
Ia kemudian mengevaluasi respons sistem melalui pengujian pada beberapa perangkat. Dari proses tersebut, Haikal menyadari bahwa kecepatan pertukaran data turut menentukan kenyamanan pengguna.
Untuk memperbaiki respons animasi, ia mengoptimalkan jalur komunikasi menggunakan WebSocket. Teknologi ini membantu sistem meneruskan data gerakan agar animasi dapat mengikuti interaksi pengguna dengan lebih responsif.
“Awalnya saya fokus biar wayang tampil di layar dan mengikuti gerakan pengguna, namun setelah diuji beberapa perangkat, saya menyadari kelancaran respons gerakan menentukan kenyamanan pengguna,” tambahnya.
Perbaikan tersebut memperlihatkan bahwa pengembangan teknologi interaktif tidak cukup hanya mengandalkan kemampuan deteksi gerakan. Sistem juga perlu menjaga kelancaran komunikasi data agar pengguna memperoleh pengalaman yang nyaman.
Berdasarkan sumber Universitas Brawijaya, Haikal menggabungkan teknologi pengolahan citra, MediaPipe, dan WebSocket untuk mengubah gerakan tangan menjadi kendali animasi wayang digital.
Haikal Perkenalkan Inovasi di DIPA MediaArt Festival 2026
Haikal membawa karyanya ke hadapan publik melalui DIPA MediaArt Festival 2026. Ia memamerkan sistem wayang digital tersebut di Gazebo Raden Wijaya, Universitas Brawijaya.
Dalam pameran itu, pengunjung dapat mencoba langsung cara kerja inovasinya. Mereka cukup berdiri di depan webcam, lalu menggerakkan tangan untuk mengendalikan tokoh wayang pada layar.
Interaksi sederhana ini membuka cara baru bagi masyarakat untuk mengenal seni pewayangan. Pengunjung tidak hanya melihat pertunjukan, tetapi juga terlibat langsung dalam menggerakkan karakter.
Kehadiran teknologi tersebut juga memperlihatkan peluang digitalisasi budaya melalui media interaktif. Pendekatan ini dapat membantu memperkenalkan seni tradisional kepada generasi muda yang akrab dengan teknologi digital.
Dosen UB Dorong Pengembangan Wayang Digital untuk Pendidikan
Dosen pembimbing Haikal, Rachmad Andri Atmoko, S.ST., M.T., melihat perpaduan seni tradisi dan teknologi digital sebagai ruang eksplorasi bagi mahasiswa. Kolaborasi kedua bidang tersebut dapat melahirkan karya yang menghubungkan kreativitas seni dengan kemampuan rekayasa perangkat lunak.
Rachmad juga mendorong Haikal untuk terus menyempurnakan sistem. Pengembangan animasi yang lebih luwes, penambahan karakter, serta variasi tokoh dan lakon dapat memperluas pengalaman pengguna.
Selain untuk pameran teknologi, sistem ini juga berpeluang mendukung kegiatan pembelajaran di sekolah. Guru dapat memanfaatkannya sebagai media interaktif untuk memperkenalkan tokoh dan cerita pewayangan kepada siswa.
“Sistem Wayang Vokasi UB ini dapat terus disempurnakan, baik dari sisi kelenturan animasi atau penambahan variasi tokoh dan lakon, sehingga siap dimanfaatkan sebagai media edukasi interaktif di sekolah maupun pameran teknologi,” pungkasnya.
Teknologi Digital Buka Cara Baru Mengenalkan Wayang
Inovasi Haikal menunjukkan bahwa teknologi dapat membantu seni tradisional menjangkau masyarakat melalui pengalaman yang lebih interaktif. Pengguna kini dapat mengenal dunia pewayangan sekaligus mencoba mengendalikan tokohnya dengan gerakan tangan.
Pengembangan selanjutnya dapat berfokus pada keluwesan animasi, penambahan karakter, dan variasi cerita. Penyempurnaan tersebut juga dapat memperluas pemanfaatan sistem sebagai media edukasi.
Melalui wayang digital, mahasiswa Fakultas Vokasi UB memperlihatkan bagaimana kemampuan teknologi rekayasa perangkat lunak dapat mendukung pengenalan budaya Indonesia. Inovasi ini membuka peluang pertemuan antara warisan seni tradisional dan pengalaman digital masa kini.