Pengembangan Teknologi Imersif Sebagai Media Tampilan Produk Interaktif
Ashafidz Fauzan Dianta, S.ST., M.T. , Zakha Maisat Eka Darmawan, S.ST., M.T. , Widi Sarinastiti, S.T., M.T.
Dalam upaya meningkatkan daya tarik promosi bagi UMKM, penggunaan booth pameran merupakan alat yang efektif untuk mempromosikan sebuah produk atau jasa. Dengan ukuran boothyang terbatas dapat membatasi jumlah produk atau informasi yang dapat ditampilkan. Banyaknya peserta pada sebuah pameran membuat pemilik booth harus bersaing keras untuk menarik per-hatian pengunjung. Penggunaan teknologi imersif melalui interactive booth menjadi solusi inovatif yang menjawab tantangan pemasaran di era digital saat ini. Penelitian ini mengembangkan interac-tive booth menggunakan teknologi Interactive Projection untuk menciptakan pengalaman baru bagi pengunjung. Interactive booth ini menciptakan lingkungan yang seolah-olah nyata dan memung-kinkan pengunjung untuk berinteraksi secara langsung dengan produk. Metode Villamil-Molina digunakan dalam pengembangan, dimana metode ini merupakan salah satu metode yang populer dalam pengembangan perangkat lunak multimedia. Tahapan metode ini terdiri dari: development, pre-production, production, post-production, dan delivery. Hasilnya menunjukkan bahwa interactive booth dapat digunakan sebagai media promosi produk UMKM yang menarik bagi pengunjung, dan dapat meningkatkan engagement, serta memberikan pengalaman yang mendalam. Teknologi ini selain dapat digunakan sebagai media promosi, juga mendukung pengenalan teknologi modern bagi masyarakat luas. Dengan demikian, interactive booth berpotensi menjadi alternatif solusi yang efisien bagi UMKM dalam memperkuat brand dan memperluas jangkauan pasar.
Panggung Virtual Dinamis Pada Program Prakiraan Cuaca di Televisi Dengan Teknologi Imersif dan Sinkronisasi Otomatis Data Realtime Dari BMKG
Moh. Zikky, S.ST., M.T. , Zakha Maisat Eka Darmawan, S.ST., M.T.
Surabaya – Program Studi Teknologi Rekayasa Multimedia, Politeknik Elektronika Negeri Surabaya (PENS), terus berinovasi dalam pengembangan teknologi imersif untuk meningkatkan pengalaman pengguna. Seiring dengan kemajuan teknologi komputer, sistem digitalisasi, kecerdasan buatan adaptif, teknologi metaverse, dan teknologi berkelanjutan (sustainable technology) semakin berkembang pesat. Menurut laporan Gartner, 50% Chief Information Officer (CIO) akan menggunakan indikator kinerja yang terkait dengan keberlanjutan organisasi TI. Sasaran keberlanjutan ini dicapai melalui teknologi seperti layanan cloud bersama, otomatisasi, kecerdasan buatan, dan analisis tingkat lanjut. Dalam riset berjudul "The Top 10 Gartner Strategic Technology Trends of 2023", terdapat fokus pada pengembangan teknologi strategis untuk beberapa tahun ke depan, termasuk teknologi imersif. Teknologi imersif ini mencakup Virtual Reality (VR), Augmented Reality (AR), dan Mixed Reality (MR) yang mampu meningkatkan pengalaman pengguna melalui karakter holografik yang ‘hidup’, aset 3D holografik yang realistis, serta integrasi dengan lingkungan nyata. Salah satu implementasi yang telah dilakukan di PENS adalah pengembangan resepsionis virtual dari karakter 3D cerdas yang dapat menjawab berbagai pertanyaan dasar seputar kampus. Penelitian ini juga telah diterapkan di berbagai bidang disiplin ilmu, seperti pengembangan gim, simulasi di bidang kedokteran, pengembangan media pendidikan, dan sektor lainnya. Salah satu implementasi menarik adalah simulasi panggung virtual dalam siaran TV untuk berita olahraga, diagram simulasi bisnis, hingga prakiraan cuaca yang lebih atraktif. Hal ini bertujuan untuk menjaga minat audiens TV agar tetap terhibur dan tidak beralih ke media non-mainstream yang kredibilitasnya belum tentu terjamin. Dengan pendekatan yang inovatif ini, Program Studi Teknologi Rekayasa Multimedia PENS berharap dapat terus memberikan kontribusi positif bagi perkembangan teknologi imersif di Indonesia serta meningkatkan pengalaman edukasi dan hiburan di masyarakat.
Pengenalan Ekspresi Emosi Pada Pesan Wicara Berbahasa Indonesia
Dr. Tri Budi Santoso, S.T., M.T.
Surabaya — Gaya berkomunikasi masyarakat digital saat ini semakin menarik untuk diteliti, khususnya dalam penggunaan media sosial seperti WhatsApp. Salah satu dosen dari Politeknik Elektronika Negeri Surabaya (PENS) melakukan penelitian yang menyoroti bagaimana emosi pengguna dapat dikenali hanya melalui voice note yang mereka kirimkan. Penelitian ini berfokus pada identifikasi emosi dalam ucapan berbahasa Indonesia yang dikirim melalui fitur voice note WhatsApp. Prosesnya dimulai dengan menyusun kumpulan data suara (audio dataset) ke dalam format mono.wav, lalu diekstraksi menggunakan metode Mel Frequency Cepstral Coefficient (MFCC). Selanjutnya, data suara tersebut dianalisis dan diklasifikasikan menggunakan algoritma Deep Learning, tepatnya 1D Convolutional Neural Network dengan arsitektur Swish Net. Hasil pengujian sistem menunjukkan performa yang sangat baik, khususnya pada kernel 6 dengan 100 epoch. Sistem ini mampu mengenali empat jenis emosi utama dengan tingkat presisi tinggi: senang (93%), marah (91%), netral (83%), dan sedih (100%). Penelitian ini diharapkan dapat berkontribusi pada pengembangan teknologi interaksi manusia-komputer yang lebih emosional dan kontekstual, serta membuka peluang pemanfaatan dalam berbagai bidang seperti customer service, pendidikan, hingga deteksi dini kesehatan mental.
Platform ERP Untuk Manajemen Usaha Kecil dan Supply Chain Berbasis IoT-Blockchain Sebagai Upaya Mendukung Umkm, Industri, Dan Zero Waste Pada SDGS
Dr. Muhammad Agus Zainuddin, S.T., M.T.
Surabaya - Dalam upaya meningkatkan efisiensi dan keamanan operasional, sebuah perusahaan outsourcing tengah mengembangkan platform Enterprise Resource Planning (ERP) terbaru yang terintegrasi dengan teknologi Internet of Things (IoT) dan blockchain. Platform ini dirancang untuk mencakup berbagai modul penting seperti manajemen sumber daya manusia, manajemen proyek, keamanan proyek, hingga manajemen rantai pasokan. Keunggulan utama dari platform ini terletak pada kemampuannya mengumpulkan dan memproses data secara real-time melalui berbagai sensor IoT, seperti sensor suhu, kelembaban, energi, serta detektor api dan gas berbahaya. Seluruh data yang dihasilkan akan disimpan secara terenkripsi menggunakan teknologi blockchain, sehingga menjamin keamanan informasi sekaligus meningkatkan keandalan monitoring suplai barang perusahaan. Dengan integrasi mendalam antara ERP, IoT, dan blockchain, pengembangan ini diharapkan mampu menghadirkan solusi yang lebih cerdas, efisien, dan aman dibandingkan dengan sistem ERP tradisional yang selama ini digunakan.
Implementasi Awareness, Real-time Monitoring, dan Pengukuran Carbon Emissions berbasis Virtual Reality terintegrasi AI dan IoT sebagai Perwujudan Climate Action
Dr.-Ing. Hestiasari Rante, ST., M.Sc. , Sritrusta Sukaridhoto, S.T., Ph.D. , Dr. Muhammad Agus Zainuddin, S.T., M.T.
Surabaya — Dalam upaya melestarikan warisan budaya Indonesia, seorang dosen dari Politeknik Elektronika Negeri Surabaya (PENS) mengembangkan teknologi pengenalan pola batik secara real-time melalui integrasi machine learning dan augmented reality (AR). Inovasi ini mengatasi kendala aplikasi AR konvensional yang masih bergantung pada server eksternal, yang sering menyebabkan keterlambatan dan mengurangi kelancaran interaksi. Penelitian ini menggunakan model berbasis TensorFlow Lite (TFLite) yang telah dikuantisasi dan diimplementasikan dalam aplikasi AR mobile, memungkinkan pengguna mengenali motif batik secara langsung tanpa koneksi internet. Dengan arsitektur Single Shot MultiBox Detector (SSD), ukuran model berhasil dikurangi hingga 75% sambil tetap mempertahankan akurasi tinggi sebesar 96%, waktu inferensi hanya 0,06 detik, dan kecepatan hingga 46 frame per detik (FPS). Kinerja ini terbukti lebih unggul dibanding model YOLO yang memiliki akurasi 93% dan 40 FPS. Penelitian ini menunjukkan bahwa penggunaan TFLite mampu meningkatkan efisiensi dan kecepatan AR mobile, serta berpotensi besar untuk mendukung pelestarian batik melalui pendekatan digital yang modern dan praktis.
Enhancing Robotic Learning for Children through Interaction on AR Application
Dr.-Ing. Hestiasari Rante, ST., M.Sc. , Moh. Zikky, S.ST., M.T. , Dr. Muhammad Agus Zainuddin, S.T., M.T. , Zakha Maisat Eka Darmawan, S.ST., M.T. , Dwi Susanto, S.ST., M.T. , Sritrusta Sukaridhoto, S.T., Ph.D.
Pengembangan Digital Twin oleh Program Studi Teknologi Rekayasa Multimedia untuk Meningkatkan Pendidikan Robotika Anak Surabaya – Program Studi Teknologi Rekayasa Multimedia, Politeknik Elektronika Negeri Surabaya (PENS), berhasil mengembangkan model Digital Twin untuk meningkatkan pengalaman belajar robotika bagi anak-anak. Penelitian ini berfokus pada pengembangan model virtual lengan robot yang dirancang menyerupai DOBOT Magician Lite, dengan empat gerakan sendi: basis, bahu, lengan, dan tangan. Dalam proses pengembangan, tim peneliti menciptakan empat penggeser virtual sebagai kontrol gerakan untuk setiap sendi pada lengan robot. Melalui pendekatan gamifikasi, mereka menguji sistem ini dengan menempatkan beberapa item, seperti model makanan, ke lokasi yang telah ditentukan. Hasilnya menunjukkan bahwa gerakan dan penempatan item dapat dilakukan dengan akurat dan efisien. Menurut tim peneliti, tujuan utama dari pengembangan ini adalah untuk meningkatkan hasil belajar siswa dalam bidang robotika. Dengan menggunakan teknologi Augmented Reality (AR), lengan robot virtual dapat ditampilkan seolah-olah berada di lingkungan nyata, sehingga memberikan pengalaman belajar yang lebih interaktif dan menarik. "Dengan integrasi AR, siswa dapat mengontrol lengan robot melalui konsep yang sederhana, sehingga mereka dapat memahami pergerakan robot dengan lebih baik," ujar salah satu anggota tim peneliti. Selanjutnya, tim berencana untuk menghubungkan sistem AR ini dengan layanan cloud. Langkah ini memungkinkan kontrol AR tidak hanya mempengaruhi objek virtual, tetapi juga mampu memicu pergerakan pada lengan robot nyata DOBOT Magician Lite. Dengan demikian, siswa dapat belajar secara langsung melalui simulasi virtual sekaligus mengontrol robot fisik. Pengembangan ini diharapkan dapat meningkatkan minat anak-anak dalam mempelajari robotika serta memberikan pengalaman belajar yang lebih inovatif dan menyenangkan.
Nama penelitian
Implementasi Voice Over Mengggunakan Storytelling Dalam Pengembangan Aplikasi Virtual Tour PENS
Ashafidz Fauzan Dianta, S.ST., M.T. , Zakha Maisat Eka Darmawan, S.ST., M.T. , Widi Sarinastiti, S.T., M.T.
Surabaya — Dalam upaya memperkenalkan lingkungan kampus secara lebih menarik dan informatif, seorang dosen dari Politeknik Elektronika Negeri Surabaya (PENS) mengembangkan aplikasi Virtual Tour PENS dengan mengimplementasikan teknik voice over berbasis storytelling. Pendekatan ini digunakan untuk memberikan pengalaman tur virtual yang lebih hidup dan interaktif bagi pengguna, terutama calon mahasiswa dan masyarakat umum. Melalui narasi yang disampaikan dengan alur cerita yang mengalir, informasi mengenai fasilitas, program studi, serta suasana kampus disampaikan secara lebih personal dan mudah dipahami. Penggunaan storytelling dalam voice over terbukti mampu meningkatkan daya tarik serta keterlibatan pengguna selama menjelajahi lingkungan kampus secara virtual. Inovasi ini diharapkan dapat menjadi media promosi digital yang efektif dan memperkuat citra PENS sebagai institusi pendidikan berbasis teknologi.
Blockchain Implementation for Smart Buildings
Dr. Muhammad Agus Zainuddin, S.T., M.T. , Sritrusta Sukaridhoto, S.T., Ph.D.
Surabaya — Politeknik Elektronika Negeri Surabaya mengembangkan sistem inovatif yang mengintegrasikan teknologi 3D, Mixed Reality (MR), dan blockchain untuk meningkatkan interaksi dan keamanan dalam pengelolaan bangunan pintar (smart building). Dengan memanfaatkan antarmuka imersif berbasis 3D, pengguna dapat mengontrol perangkat seperti pencahayaan atau pemantauan konsumsi energi menggunakan gerakan tangan atau kontroler di lingkungan virtual. Teknologi MR menambahkan elemen virtual secara langsung ke dunia nyata, sehingga pengguna dapat melihat data sensor secara real-time, status perangkat, hingga umpan balik visual secara intuitif. Selain itu, integrasi blockchain memberikan lapisan keamanan tambahan dengan mencatat data perangkat, perintah kontrol, dan interaksi pengguna secara terenkripsi dan transparan. Teknologi ini juga memungkinkan komunikasi peer-to-peer yang aman dan implementasi smart contract untuk otomatisasi interaksi antardevice. Hasil uji coba pengguna menunjukkan tingkat kepuasan tinggi dengan skor rata-rata 4,48, di mana pengguna merasa terbantu dengan performa sistem dan pengalaman baru yang alami serta interaktif melalui antarmuka MR dalam mengendalikan bangunan pintar.
Automation For Digital Twins Sebagai Alat Pendukung Industrialisasi Karya Asli Anak Bangsa
Sritrusta Sukaridhoto, S.T., Ph.D. , Dr. Muhammad Agus Zainuddin, S.T., M.T.
Surabaya — Seiring dengan berkembangnya teknologi Cyber-Physical Systems (CPS), seorang dosen dari Politeknik Elektronika Negeri Surabaya (PENS) mengembangkan platform digital twin yang mengintegrasikan CPS, teknologi 3D, dan Internet of Things (IoT) untuk pengelolaan bangunan pintar. Sistem ini dirancang agar pengguna dapat berinteraksi secara imersif dengan perangkat di dalam gedung melalui antarmuka virtual. Untuk memastikan keamanan data pengguna, teknologi blockchain diterapkan menggunakan algoritma kriptografi melalui Hyperledger Besu, guna mencegah manipulasi, penyadapan, dan pencurian data. Pengujian performa digital twin dilakukan pada bangunan dengan 1 hingga 11 lantai, menunjukkan peningkatan waktu rata-rata dari 5,663 detik untuk 1 lantai hingga 7,294 detik untuk 11 lantai. Sementara itu, pengujian blockchain mencatat waktu rata-rata transaksi antara 1,066 hingga 2,006 detik, tergantung pada bandwidth yang digunakan. Meskipun terdapat variasi pada kecepatan transaksi per detik (TPS), yakni antara 1,066 hingga 0,499 TPS, tingkat keberhasilan seluruh transaksi mencapai 100%. Hasil ini menunjukkan bahwa sistem digital twin yang dikembangkan memiliki kinerja stabil dan aman, serta berpotensi besar untuk diterapkan dalam manajemen bangunan pintar di masa depan.
Rancang Bangun Platform Otomasi 3D Rendering Berbasis Cloud Sevices untuk Produksi Animasi
Moh. Zikky, S.ST., M.T.
Surabaya — Proses rendering dalam industri animasi dikenal sebagai tahap produksi yang membutuhkan biaya tinggi dibandingkan proses lainnya. Menyikapi hal tersebut, seorang dosen dari Politeknik Elektronika Negeri Surabaya (PENS) mengembangkan sistem manajemen rendering farm berbasis web guna membantu studio animasi menghemat biaya dan meningkatkan efisiensi kerja. Sistem ini memungkinkan pengguna untuk mengakses lingkungan render farm melalui antarmuka web yang mengelola komunikasi antara front-end, API, dan back-end. Pengembangan sistem menggunakan metode Software Development Life Cycle (SDLC) model Waterfall, sedangkan pengujiannya dilakukan dengan metode black box untuk memastikan seluruh fungsionalitas berjalan dengan baik. Hasil pengujian menunjukkan bahwa API dan antarmuka pengguna telah berfungsi 100% sesuai kebutuhan. Diharapkan dengan hadirnya sistem ini, proses rendering animasi 3D menjadi lebih mudah, cepat, dan terjangkau, terutama bagi studio-studio animasi di Indonesia yang ingin meningkatkan produktivitas tanpa harus bergantung pada layanan rendering pihak ketiga.
Implementasi Interaksi Gamifikasi Pada Aplikasi Membatik Mixed Reality
Dr.-Ing. Hestiasari Rante, ST., M.Sc. , Sritrusta Sukaridhoto, S.T., Ph.D.
Surabaya — Upaya pelestarian batik sebagai warisan budaya Indonesia terus dilakukan dengan berbagai pendekatan inovatif. Salah satu terobosan dilakukan oleh seorang dosen dari Politeknik Elektronika Negeri Surabaya (PENS) yang mengembangkan aplikasi Membatik, sebuah simulasi pembuatan batik berbasis Mixed Reality (MR). Aplikasi ini dirancang khusus untuk meningkatkan minat generasi muda, terutama pelajar dan mahasiswa, dalam mempelajari dan melestarikan batik melalui pengalaman belajar yang imersif dan interaktif. Dengan menggunakan kacamata MR, pengguna dapat mensimulasikan proses membatik menggunakan gerakan tangan, serta mengikuti kuis di setiap tahap dengan sistem poin sebagai bentuk penerapan gamifikasi. Hasil uji coba awal menunjukkan bahwa aplikasi ini mampu meningkatkan keterlibatan dan motivasi belajar pengguna. Fitur kuis yang interaktif dan menantang turut memperkaya pengalaman belajar, menjadikan proses edukasi terasa seperti bermain. Inovasi ini menunjukkan potensi besar dalam menggabungkan teknologi dan budaya untuk mendukung pelestarian warisan bangsa secara kreatif dan efektif.
![](http://trm.pens.ac.id/wp-content/uploads/2023/01/logo-pens-circle.png"){kind=logo}
