Langsung ke isi

Education, NodeJS, Pemrograman

Membangun Aplikasi Remote TV via Internet untuk TV Publik

Cerita membangun TV Remote Sekolah, panel web untuk mengendalikan semua Android TV di area publik sekolah dari satu browser: remote, layar langsung, peluncur aplikasi, dan pengumuman digital. Dibangun dengan Node.js tanpa dependensi, ADB, FFmpeg, dan JavaScript murni.

Dasbor TV Remote Sekolah: daftar TV di kiri, layar TV langsung dan daftar aplikasi di tengah, serta panel remote di kanan

TV di lobi, koridor, dan ruang tunggu kantor biasanya dipasang untuk satu tugas: menayangkan informasi. Kenyataannya, mengelola TV-TV ini cukup merepotkan. Remote fisiknya sering hilang atau kehabisan baterai. Untuk mengganti tayangan, petugas harus berjalan ke tiap TV. Pengumuman diperbarui dengan flashdisk, dan tidak ada yang tahu apakah TV di lantai lain masih menyala.

Dari masalah itu lahir TV Remote Ruang Publik , aplikasi web untuk mengendalikan semua Android TV di area publik dari satu browser, baik di laptop maupun ponsel. Tulisan ini membahas fitur, arsitektur, tech stack, dan beberapa masalah teknis yang ternyata menarik untuk dipecahkan, termasuk yang belum terpecahkan.

Gambaran aplikasi

Dasbor TV Remote Sekolah: daftar TV di kiri, layar TV langsung dan daftar aplikasi di tengah, panel remote di kanan

Dasbor utama. Alamat IP sengaja disamarkan. Pada tangkapan ini TV sedang memuat video, jadi panel layar menampilkan ikon pemuatan dari TV.

Tampilan desktop dibagi menjadi empat panel:

  • Daftar TV, berisi semua TV terdaftar dengan status online/offline, filter per grup (misalnya "Lantai 1"), dan kotak centang untuk memilih TV mana yang dikendalikan. Satu perintah bisa dikirim ke satu TV, beberapa TV, atau semuanya sekaligus.

  • Layar, yang menampilkan isi layar TV secara langsung (Live), diperbarui tiap 2 detik, atau berupa foto sekali ambil. Kualitasnya bisa dipilih dari 360p sampai 1080p.

  • Aplikasi, berisi daftar aplikasi yang terdeteksi otomatis dari TV yang dipilih (YouTube, Live TV, Browser, Media Center, dan lain-lain), kotak untuk membuka URL di TV, dan kotak untuk mengetik teks ke TV.

  • Remote, berisi tombol Nyalakan/Matikan/Input, D-pad dengan tombol OK, Kembali/Home/Menu, volume, mute, dan kontrol media. Di desktop, remote juga bisa dioperasikan dengan keyboard: panah, Enter, Esc, H, +/−, dan M.

Di layar di bawah 900 px, keempat panel berubah menjadi tab di bagian bawah layar. Jadi petugas cukup membuka panel dari ponsel sambil berdiri di depan TV.

Fitur utama

1. Remote dengan dua mode: tombol dan mouse

Panel remote dalam mode Mouse dengan touchpad, tombol klik, scroll, kembali, home, menu, dan volume

Mode Tombol meniru remote biasa. Mode Mouse mengubah panel menjadi touchpad. Di ponsel, geser satu jari untuk menggerakkan kursor, ketuk untuk klik, ketuk dua jari untuk klik kanan, dan geser dua jari untuk scroll. Di laptop, klik touchpad untuk mengunci kursor (Pointer Lock API), lalu mouse komputer langsung menggerakkan kursor di TV. Mode ini sangat membantu di aplikasi yang tidak ramah D-pad, misalnya browser.

2. Melihat layar TV dari jauh

Tujuannya, petugas tidak perlu lagi menebak apa yang sedang tampil di TV lantai tiga. Panel Layar mengalirkan tampilan TV ke browser, dengan pilihan kualitas sesuai kondisi jaringan:

Preset

Resolusi rekam

Batas fps

Perkiraan bandwidth

360p

640×360

6

±0,5 Mbps

480p

848×480

10

±1,5 Mbps

720p

1280×720

15

±5 Mbps

1080p

1920×1080

20

±12 Mbps

Bandwidth hanya terpakai saat layar bergerak. Saat layar diam, lalu lintasnya hampir nol.

Fitur ini belum stabil. Dalam pemakaian sehari-hari, tampilan live sering tidak muncul, tersendat, atau putus di tengah jalan. Dugaan penyebab dan rencana perbaikannya saya bahas di bagian tantangan teknis. Untuk sementara, mode Tiap 2 dtk dan Foto, yang memakai screencap biasa, menjadi cadangan saat live bermasalah.

3. Peluncur aplikasi, URL, dan teks

Daftar aplikasi dibaca langsung dari TV, baik aplikasi khusus TV (LEANBACK_LAUNCHER) maupun aplikasi Android biasa, lengkap dengan versinya. Hasilnya disimpan di cache selama 10 menit. Satu klik membuka aplikasi di semua TV yang dipilih. Ada juga kolom untuk membuka URL dan mengetik teks, misalnya untuk mengisi kotak pencarian YouTube.

4. Pengumuman digital bawaan

Fitur ini menggantikan flashdisk. Admin menyusun slide berisi teks, gambar, atau video, mengatur durasi tiap slide, dan bisa menjadwalkan kapan slide mulai dan berhenti tampil. Admin juga mengisi teks berjalan di bagian bawah layar dan memilih salah satu dari lima tema warna. Tombol Tayangkan di TV terpilih membuka halaman pengumuman di browser TV, dan tombol Hentikan mengembalikan TV ke Home.

Bagian Status layar menampilkan laporan langsung dari setiap TV yang sedang menayangkan pengumuman: slide yang sedang tampil, ukuran layar, dan galat pemutaran bila ada. Jadi admin tahu tayangan benar-benar berjalan, bukan sekadar berharap.

5. Fitur pendukung lain

  • Siaran layar PC ke TV (HLS). Fitur ini hanya tersedia bila server berjalan di macOS, karena perekaman layar memakai avfoundation.

  • Tambah TV cukup dengan mengisi nama, IP, dan grup. Saat pertama terhubung, tekan Allow di layar TV.

  • PIN untuk mengunci panel.

Arsitektur

 Browser admin (laptop / ponsel)
        │  HTTP + JSON, header X-PIN
        ▼
 ┌──────────────────────────────┐
 │  Server Node.js (port 3000)  │──── ffmpeg / ffprobe
 │  panel, API, stream          │
 └──────────────┬───────────────┘
                │  ADB over TCP (port 5555)
                ▼
     Android TV 1 … Android TV n
                │
                └── browser TV membuka halaman pengumuman
                    (port 80, hanya baca, tanpa API)

Server berperan sebagai jembatan. Browser admin tidak pernah berbicara langsung dengan TV. Semua perintah masuk ke server, divalidasi, lalu diteruskan ke TV lewat ADB (Android Debug Bridge) melalui jaringan.

API-nya sederhana:

Endpoint

Fungsi

GET/POST/DELETE /api/devices

Daftar, tambah, dan hapus TV

GET /api/status

Status online/offline/belum diotorisasi

POST /api/action

Tombol, buka aplikasi, URL, teks, dan pengumuman ke banyak TV sekaligus

POST /api/mouse

Gerak kursor, klik, dan scroll

GET /api/apps

Daftar aplikasi terinstal

GET /api/screen, /api/tvstream

Foto layar dan live stream MJPEG

GET/PUT /api/signage, POST /api/signage/upload

Data pengumuman dan unggah media

POST /api/stream/start, /stop

Siaran layar PC ke TV

Tech stack

Prinsipnya adalah sesedikit mungkin bagian yang bisa rusak. Seluruh aplikasi hanya terdiri dari tiga berkas, sekitar 1.900 baris, tanpa satu pun paket npm.

Frontend

Komponen

Pilihan

Bahasa

HTML5, CSS3, JavaScript murni (vanilla), tanpa framework dan tanpa build step

Struktur

Satu berkas index.html untuk panel admin dan signage.html untuk layar TV

Tata letak

CSS Grid dengan tiga ukuran: desktop ≥1100 px (4 panel), tablet 900–1099 px, ponsel <900 px (tab bawah)

Tema

CSS custom properties, mode gelap/terang otomatis lewat prefers-color-scheme

Ikon

Sprite SVG inline

Komunikasi

Fetch API dengan header X-PIN

Live view

Aliran MJPEG (multipart/x-mixed-replace) yang ditampilkan langsung oleh elemen <img>

Interaksi

Pointer Lock API untuk mode mouse, Pointer Events untuk gestur sentuh, navigator.vibrate untuk getar kecil di ponsel

Dialog

Elemen <dialog> bawaan browser

Penyimpanan lokal

localStorage untuk PIN dan preferensi (tab dan mode remote terakhir)

Halaman TV

signage.html sengaja ditulis dengan gaya lama (var, XMLHttpRequest) agar tetap jalan di browser bawaan TV yang tertinggal versinya

Backend

Komponen

Pilihan

Runtime

Node.js 22

Server HTTP

Modul bawaan http saja, tanpa Express dan tanpa dependensi npm

Modul inti

child_process (menjalankan adb/ffmpeg), fs, dgram (mencari IP lokal yang menjangkau TV), crypto (token)

Kendali TV

ADB (paket android-tools): connect, shell, exec-out, perintah hid, screencap, screenrecord, am start, dan cmd package

Media

FFmpeg dan ffprobe: H.264 ke MJPEG untuk live view, konversi video pengumuman, HLS untuk siaran layar PC

Penyimpanan

Berkas JSON (devices.json, signage.json) dan folder media/, tanpa database

Keamanan

PIN dari variabel lingkungan, token acak di URL untuk halaman yang dibuka TV

Infrastruktur

Komponen

Pilihan

Kontainer

Docker (node:22-alpine + android-tools + ffmpeg)

Orkestrasi

Docker Compose dengan network_mode: host agar server bisa langsung menjangkau TV di port 5555

Data persisten

Volume ./data untuk data aplikasi dan ./adbkey untuk kunci ADB, agar TV tidak meminta otorisasi ulang setiap kontainer dibuat ulang

Tantangan teknis dan solusinya

Bagian ini yang paling banyak memakan waktu. Hampir semua temuannya berasal dari uji coba langsung di Android TV Polytron 4K (Android 11).

1. Satu tombol butuh 3 detik

Cara paling umum mengirim tombol lewat ADB adalah adb shell input keyevent 23. Masalahnya, setiap panggilan menyalakan runtime Java di TV, sehingga satu tombol butuh sekitar 3 detik. Remote seperti itu tidak bisa dipakai untuk navigasi.

Solusinya adalah remote HID virtual. Android punya perintah hid bawaan yang bisa mendaftarkan perangkat input USB virtual. Server mendaftarkan satu "remote" per TV, membiarkan prosesnya tetap hidup, lalu setiap tombol cukup dikirim sebagai satu baris JSON:

// daftar sekali per TV, proses dibiarkan hidup
const p = spawn('adb', ['-s', `${ip}:5555`, 'shell', 'hid', '-']);
p.stdin.write(JSON.stringify({ id: 1, command: 'register', name: 'TV Remote Web',
  vid: 0x1209, pid: 0x7702, bus: 'usb', descriptor: HID_DESC }) + '\n');

// tiap tombol = report HID Consumer Page (0x41 = OK), lalu "dilepas"
p.stdin.write(JSON.stringify({ id: 1, command: 'report', report: [1, 0x41, 0x00] }) + '\n');
p.stdin.write(JSON.stringify({ id: 1, command: 'report', report: [1, 0, 0] }) + '\n');

Hasilnya, satu tombol hanya butuh sekitar 10 ms. Deskriptor HID-nya berupa perangkat komposit: Consumer Control untuk tombol dan mouse relatif untuk mode touchpad. Dengan begitu Android otomatis menampilkan kursor. Sesi ditutup sendiri setelah 15 menit tidak dipakai. Bila TV tidak mendukung hid, server kembali memakai input keyevent.

2. Live view tanpa aplikasi tambahan di TV

Alurnya seperti ini:

screenrecord (H.264, di TV) → adb exec-out → ffmpeg → MJPEG → HTTP multipart → <img> di browser

Ada beberapa hal yang sudah diatasi:

  • screenrecord hanya mengirim frame saat layar berubah, sementara parser H.264 di FFmpeg menahan frame terakhir sampai frame berikutnya datang. Akibatnya, layar yang diam terlihat "tertinggal". Solusinya, setelah data berhenti sekitar 40 ms, server menyisipkan AUD NAL unit (00 00 00 01 09 F0) untuk "menutup" frame tersebut.

  • screenrecord berhenti otomatis sekitar setiap 3 menit, jadi server memulainya ulang.

  • Saat penonton menutup halaman, proses screenrecord di TV ikut dimatikan. Caranya, server lebih dulu mencetak PID shell lalu menjalankan exec, sehingga PID itu adalah PID screenrecord.

  • Opsi -flags low_delay justru membuat frame gagal didekode di TV ini. Yang berhasil adalah -probesize 32 -analyzeduration 0 -fpsprobesize 0 agar frame pertama muncul cepat.

Masalah yang belum selesai: live sering tidak muncul, tersendat, atau putus

Meski sudah melewati semua penyesuaian itu, live view masih sering bermasalah. Dari membaca ulang alurnya, ada beberapa dugaan penyebab yang sedang diselidiki:

  • Tidak ada penyambungan ulang otomatis. Bila aliran putus, browser hanya menampilkan pesan gagal dan live berhenti. Bila aliran macet tanpa putus, elemen <img> tidak memicu event apa pun, sehingga gambar membeku tanpa pemberitahuan.

  • Jeda saat screenrecord dimulai ulang setiap ±3 menit. Encoder di TV perlu dinyalakan lagi, dan selama itu gambar berhenti bergerak.

  • Satu penonton berarti satu proses rekam di TV. Setiap tab yang membuka live menjalankan screenrecord dan FFmpeg sendiri. Dua admin yang menonton TV yang sama berarti dua encoder berjalan bersamaan di TV, padahal kemampuan encoder perangkat terbatas.

  • Koneksi ke TV dibuka ulang di setiap permintaan live. Server menjalankan adb connect dan memeriksa status TV lebih dulu. Untuk TV yang sedang standby atau sinyal Wi-Fi-nya lemah, langkah ini bisa memakan waktu hingga belasan detik atau gagal.

  • Lapisan video tidak selalu ikut terekam. Saat TV memutar video lewat pemutar bawaan, lapisan videonya bisa tidak ikut terekam oleh screenrecord, sehingga yang tampil hanya hitam.

  • Reverse proxy yang menahan aliran. Bila panel diakses lewat internet melalui reverse proxy, aliran MJPEG bisa tertahan di buffer proxy. Di Nginx, buffering perlu dimatikan (proxy_buffering off) untuk endpoint ini.

  • Wi-Fi TV di area ramai. Bitrate rekam 720p (4 Mbps) cukup berat untuk TV yang tersambung lewat Wi-Fi di koridor yang penuh perangkat.

Rencana perbaikannya: watchdog di browser yang otomatis menyambung ulang bila tidak ada frame baru selama beberapa detik, satu sesi rekam per TV yang dibagikan ke semua penonton, dan penurunan kualitas otomatis saat koneksi lambat.

3. Browser TV membuang port dan path URL

Browser bawaan Polytron membuang port dan path dari URL yang dikirim lewat intent. http://server:3000/s/token berubah menjadi http://server/. Solusinya, server membuka port kedua (80) yang khusus menyajikan halaman pengumuman di path /. Port ini hanya baca, tanpa panel dan tanpa API.

4. Teks yang berubah menjadi tombol pintasan

Saat teks dikirim padahal tidak ada kolom teks yang aktif, huruf-hurufnya dianggap tombol pintasan oleh menu TV. Di Polytron, kejadian ini pernah memunculkan dialog "Mode Toko". Kini server lebih dulu memeriksa dumpsys input_method. Teks hanya dikirim bila ada kolom teks yang benar-benar aktif. Bila tidak ada, admin mendapat pesan untuk memilih kotak pencarian lebih dulu.

5. Video yang gagal diputar di browser TV

Video dari guru datang dalam berbagai format, seperti HEVC, 4K, 10-bit, atau MOV dari iPhone. Setiap video yang diunggah diperiksa dengan ffprobe:

  • Bila sudah H.264 yuv420p ≤1080p dengan bitrate wajar, video hanya di-remux (cepat dan tanpa kehilangan kualitas).

  • Bila belum, video dikodekan ulang ke H.264 High@4.1, maksimal 1080p dan ±6 Mbps, audio AAC, dengan +faststart agar bisa langsung diputar dan di-seek.

Media disajikan dengan dukungan HTTP Range, sehingga video bisa dilompati di browser TV.

6. screencap yang mencetak teks sampah

Di TV ini, screencap -p mencetak teks debug sebelum data PNG, dan kadang prosesnya tidak berhenti setelah selesai menulis. Solusinya, server membaca aliran datanya, mencari tanda awal PNG (89 50 4E 47), lalu langsung berhenti begitu menemukan chunk IEND.

Keamanan, terutama bila diakses lewat internet

ADB memberi kendali penuh atas TV. Karena itu, server ini termasuk aset yang sensitif. Pengaman yang sudah ada:

  • PIN untuk seluruh /api/*, dikirim lewat header X-PIN.

  • Hanya TV terdaftar yang bisa dikendalikan. IP di setiap permintaan dicocokkan dengan daftar TV.

  • Validasi input: IP dan nama package dicek dengan regex, argumen shell di-quote, dan perintah tombol dibatasi pada daftar yang dikenal.

  • Token acak di URL untuk halaman yang dibuka TV (pengumuman dan aliran HLS), karena TV tidak bisa memasukkan PIN.

  • Port pengumuman hanya baca dan menolak semua metode selain GET/HEAD.

Agar panel bisa dibuka dari luar jaringan instansi, berikut rekomendasi saya:

  1. Jangan pernah membuka port ADB (5555) ke internet. Hanya server yang boleh menjangkau TV, idealnya di VLAN khusus perangkat.

  2. Letakkan panel di balik reverse proxy HTTPS (misalnya Nginx Proxy Manager) atau akses lewat VPN. Tanpa HTTPS, PIN terkirim sebagai teks biasa. Jangan lupa mematikan buffering proxy untuk aliran live.

  3. Pakai PIN yang panjang dan tambahkan pembatasan percobaan (rate limiting) di proxy, karena PIN adalah satu-satunya kunci bersama.

  4. Untuk tim yang lebih besar, pertimbangkan login per pengguna dan log audit agar terlihat siapa mengirim apa ke TV mana.

Cara menjalankan

Siapkan TV. Aktifkan Developer options, lalu nyalakan Network debugging (ADB lewat jaringan). Beri TV alamat IP tetap di DHCP.

Jalankan server dengan Docker:

FROM node:22-alpine
RUN apk add --no-cache android-tools ffmpeg
WORKDIR /app
COPY server.js index.html signage.html ./
ENV DB=/data/devices.json PORT=3000
CMD ["node", "server.js"]
services:
  tvremote:
    build: .
    container_name: tvremote
    restart: unless-stopped
    network_mode: host          # akses langsung ke TV (adb :5555) & port 3000
    env_file: .env              # berisi PIN=...
    volumes:
      - ./data:/data            # devices.json, signage.json, media/
      - ./adbkey:/root/.android # kunci adb agar TV tidak minta otorisasi ulang
echo "PIN=ganti-dengan-pin-panjang" > .env
docker compose up -d --build

Server juga bisa dijalankan tanpa Docker, cukup dengan Node.js, adb, dan ffmpeg terpasang: PIN=xxxx node server.js. Setelah itu buka http://<ip-server>:3000, masukkan PIN, klik Tambah TV, lalu tekan Allow di layar TV saat diminta.

Penutup

Proyek ini mengingatkan bahwa masalah operasional sehari-hari sering bisa diselesaikan dengan stack yang sangat sederhana: satu proses Node.js, alat bawaan Android, dan FFmpeg. Tidak perlu framework frontend, database, atau aplikasi tambahan yang dipasang di TV. Tantangan sebenarnya bukan di kode, tetapi di perilaku perangkat nyata, mulai dari browser TV yang membuang port sampai screencap yang mencetak teks sampah. Semua itu hanya bisa ditemukan dengan menguji langsung di TV.

Pekerjaan rumah terbesar saat ini adalah membuat live view lebih stabil. Setelah itu, beberapa pengembangan yang menarik untuk dicoba antara lain jadwal nyala/mati TV otomatis, login per pengguna dengan log audit, dan tampilan ringkas berisi status semua TV dalam satu layar.

masih sejalan

Baca juga

Semua artikel →