EDUCARE.CO.ID – Mahasiswa Politeknik Elektronika Negeri Surabaya (PENS) mengembangkan CODA AI, sistem pengawasan bayi yang menggabungkan kecerdasan buatan (AI), kamera inframerah, pengenalan suara, dan perangkat wearable. Inovasi ini dirancang untuk membantu orang tua tunarungu memantau kondisi bayi tanpa harus bergantung pada alarm audio.
CODA AI memadukan pemantauan visual dan suara dengan notifikasi berupa getaran serta informasi pada layar. Sistem tersebut mendeteksi sejumlah kondisi bayi, lalu menyampaikan hasilnya kepada orang tua melalui perangkat yang dapat mereka gunakan sehari-hari.
Tim mengembangkan CODA AI sebagai satu ekosistem yang terdiri atas tiga bagian, yakni CODA AI Baby Monitor, CODA AI Smartwatch, dan aplikasi seluler. Ketiganya menjalankan fungsi berbeda, mulai dari mendeteksi kondisi bayi hingga menyampaikan peringatan kepada orang tua.
Gabungkan Kamera Inframerah dan Kecerdasan Buatan
CODA AI Baby Monitor menjadi pusat pemantauan dalam sistem ini. Perangkat tersebut menggunakan Raspberry Pi 5 yang didukung akselerator Neural Processing Unit (NPU) Hailo-8L dengan kemampuan komputasi hingga 13 TOPS.
Tim juga menyematkan Raspberry Pi Camera NoIR V3, LED inframerah, mikrofon omnidirectional, serta mekanisme servo pan-tilt. Kombinasi komponen tersebut memungkinkan kamera mengamati kondisi bayi, termasuk ketika ruangan minim cahaya.
Sistem memproses data visual dan audio langsung pada perangkat (on-device processing). Dengan pendekatan ini, CODA AI tidak memerlukan koneksi internet untuk menjalankan pemrosesan utamanya. Mekanisme tersebut juga mendukung upaya menjaga privasi keluarga saat perangkat beroperasi di dalam rumah.
CODA AI Kenali Posisi Bayi dan Suara Tangisan
Keunggulan CODA AI terletak pada penggabungan analisis visual dan audio melalui model deep learning. Kedua pendekatan tersebut membantu sistem mengenali kondisi bayi dari dua jenis informasi yang saling melengkapi.
Pada sisi visual, tim menggunakan YOLO11n-OBB dan teknologi pose estimation. Model ini membantu sistem mengenali posisi tubuh bayi, termasuk telentang dan tengkurap, serta mengidentifikasi area kepala.
Sementara itu, sistem audio memanfaatkan YAMNet berbasis TensorFlow untuk mengklasifikasikan suara. Kategori yang dikenali mencakup tangisan, teriakan, batuk, dan ocehan bayi.
Hasil analisis kedua model menjadi dasar bagi sistem untuk menentukan notifikasi yang perlu dikirimkan kepada orang tua. Meski demikian, hasil deteksi AI tetap berfungsi sebagai alat bantu pemantauan, bukan pengganti pengawasan langsung oleh orang tua atau pengasuh.
Smartwatch Sampaikan Peringatan Lewat Getaran
CODA AI Smartwatch menerjemahkan hasil deteksi menjadi peringatan yang dapat diterima tanpa suara. Tim merancang perangkat wearable ini menggunakan mikrokontroler ESP32-C3, layar IPS berbentuk bulat, dan motor haptik untuk menghasilkan getaran.
Perangkat tersebut menggabungkan pola getaran, teks deskriptif, dan emoji agar orang tua dapat mengenali jenis peringatan dengan cepat. Setiap pola memiliki fungsi berbeda sesuai kondisi yang terdeteksi sistem.
Sebagai contoh, CODA AI memberikan tiga getaran cepat berturut-turut ketika sistem mendeteksi tangisan bayi. Sementara itu, deteksi posisi yang dianggap tidak aman memicu getaran panjang tanpa henti sesuai rancangan sistem.
Pendekatan ini memungkinkan orang tua menerima informasi melalui sensasi sentuhan dan tampilan visual. Mereka tidak perlu mengandalkan alarm suara untuk mengetahui adanya peristiwa yang terdeteksi Baby Monitor.
Aplikasi Seluler Pantau Kondisi Bayi Secara Langsung
Selain smartwatch, CODA AI menyediakan aplikasi seluler yang terhubung melalui jaringan lokal. Aplikasi ini menghadirkan sejumlah fitur untuk mendukung pemantauan dan pengelolaan perangkat.
Pengguna dapat mengakses tayangan video langsung (live streaming), mengatur arah kamera, meninjau riwayat kejadian, melihat statistik, serta mengontrol perangkat. Seluruh fitur tersebut membantu orang tua memantau informasi dari satu antarmuka.
Integrasi aplikasi, Baby Monitor, dan smartwatch membuat CODA AI bekerja sebagai sistem yang saling terhubung. Baby Monitor mengumpulkan dan menganalisis informasi, sedangkan aplikasi serta smartwatch membantu menyampaikan hasilnya kepada pengguna.
Hasil Pengujian Tunjukkan Kinerja Model AI
Dokumentasi pengembangan CODA AI mencatat akurasi model audio sebesar 84–90%. Pada pemrosesan visual, model memperoleh nilai mean Average Precision atau mAP@50 sebesar 0,85.
Pengujian juga mencatat jarak deteksi efektif kamera NoIR hingga empat meter. Kamera tersebut mendukung pemantauan dalam kondisi terang maupun gelap total dengan bantuan inframerah.
Angka-angka tersebut menggambarkan hasil pengujian teknis yang tercantum dalam dokumentasi pengembangan. Kinerja dalam penggunaan sehari-hari tetap dapat dipengaruhi oleh kondisi lingkungan, posisi bayi, kebisingan, pencahayaan, dan karakteristik perangkat.
Karena itu, pengujian lanjutan dalam berbagai situasi dapat membantu mengevaluasi konsistensi deteksi dan keandalan notifikasi. Aspek tersebut penting mengingat sistem dirancang untuk mendukung pemantauan bayi, yang membutuhkan perhatian khusus terhadap keselamatan pengguna.
Tim Mahasiswa PENS Telah Kantongi Hak Cipta
CODA AI dikembangkan oleh lima mahasiswa PENS, yaitu Muhammad Adhitya Ramadhani, Chelsea Nevanda, Moh. Rizaldy Firmansyah, Firmansyah Ariel Choirin Nasihin, dan Muhammad Farhan Muzakki.
Dalam pengembangan inovasi ini, tim mendapat bimbingan dari Prof. Dr.Eng. Indra Adji Sulistijono, S.T., M.Eng. Selain menghasilkan sistem pemantauan terintegrasi, tim juga telah memperoleh Hak Cipta Program Komputer dari Direktorat Jenderal Kekayaan Intelektual (DJKI).
Pengembangan CODA AI memperlihatkan penerapan berbagai bidang teknologi dalam satu produk. Sistem tertanam, pemrosesan audio-visual, kecerdasan buatan, dan perangkat wearable bekerja bersama untuk menjawab kebutuhan pengguna tertentu.
Inovasi ini juga menyoroti pentingnya merancang teknologi dengan mempertimbangkan cara pengguna menerima informasi. Bagi orang tua tunarungu, notifikasi visual dan getaran dapat menjadi jalur alternatif untuk mengetahui kondisi yang terdeteksi oleh sistem.
Berdasarkan sumber laman resmi Politeknik Elektronika Negeri Surabaya, inovasi ini mengintegrasikan pemantauan visual, klasifikasi suara, dan notifikasi haptik untuk membantu orang tua tunarungu memantau bayi. Hasil pengujian yang dilaporkan menunjukkan potensi penerapan AI dalam teknologi pendukung, dengan tetap memerlukan pengawasan langsung dan evaluasi lebih lanjut untuk memastikan keandalan sistem dalam berbagai kondisi.