Malware Analysis Fundamentals #06: Behavioral & Memory Analysis — Mengamati Perilaku Malware Secara Langsung

Pendahuluan

Static analysis (bagian #05) memberi gambaran tentang kemungkinan kapabilitas malware. Behavioral analysis membuktikan gambaran itu dengan mengamati apa yang benar-benar terjadi saat sampel dijalankan — di lingkungan yang terkendali dan terisolasi penuh.

Tutorial ini membahas lima area observasi utama beserta tools standar industri untuk masing-masing area.

Prasyarat

• Sandbox terisolasi dengan snapshot bersih (lihat bagian #07 untuk detail lab safety)
• Tools: Process Monitor, Process Explorer, Wireshark, INetSim atau FakeNet-NG, Volatility 3
• Jaringan simulasi (bukan akses internet asli)

Jangan pernah menjalankan sampel di jaringan yang terhubung ke internet produksi. Gunakan simulasi jaringan seperti INetSim atau FakeNet-NG agar malware "percaya" dia terhubung ke internet, padahal semua trafik ditangkap dan dianalisis secara lokal.

Area 1: Process Tree dan Injection

Amati proses apa saja yang dibuat sampel, dan apakah ada indikasi process injection (menyisipkan kode ke proses lain yang sedang berjalan).

Process Explorer dari Sysinternals memberi visualisasi process tree secara real-time, termasuk parent-child relationship yang mencurigakan — misalnya winword.exe yang tiba-tiba men-spawn powershell.exe.

Pola mencurigakan yang perlu diperhatikan:
- Office app -> PowerShell/cmd.exe
- Proses dengan nama menyerupai proses sistem (svchost.exe di path yang salah)
- Proses yang memori-nya tiba-tiba membengkak tanpa aktivitas file/network yang jelas

Area 2: Perubahan File dan Registry

Process Monitor (ProcMon) mencatat setiap operasi file system dan registry secara real-time. Filter berdasarkan nama proses sampel untuk melihat:

• File apa yang dibuat, diubah, atau dihapus
• Registry key apa yang dibaca atau ditulis
• Mutex yang dibuat (sering dipakai malware untuk mencegah dirinya berjalan dua kali)

Filter ProcMon yang berguna:
Process Name is sample.exe
Operation begins with "Reg" atau "Write"

Area 3: Persistence dan Aktivitas Privilege

Cari mekanisme yang membuat malware tetap aktif setelah restart:

• Registry Run keys (HKCU\...\Run, HKLM\...\Run)
• Scheduled tasks baru
• Service baru yang didaftarkan
• Perubahan pada startup folder

Perhatikan juga upaya eskalasi privilege — apakah sampel mencoba mendapatkan akses SYSTEM atau admin melalui exploit atau UAC bypass.

Area 4: Trafik DNS, HTTP/S, TLS, dan C2

Wireshark menangkap seluruh trafik jaringan yang dihasilkan sampel. Kombinasikan dengan INetSim atau FakeNet-NG yang mensimulasikan layanan jaringan umum (DNS, HTTP, HTTPS) agar malware tetap "berkomunikasi" dalam lingkungan yang aman dan sepenuhnya termonitor.

Yang perlu dicatat dari trafik jaringan:
- Domain dan IP tujuan (calon IOC)
- User-Agent HTTP yang dipakai
- Pola beacon (interval komunikasi ke C2)
- Sertifikat TLS yang dipakai (jika ada MITM proxy di lab)

Beberapa malware memeriksa apakah resolusi DNS-nya "terlalu sempurna" (tanda sinkholing/simulasi) sebagai bagian dari deteksi sandbox. Konfigurasikan INetSim/FakeNet-NG senatural mungkin.

Area 5: Artefak Memori dan Payload Terenkripsi

Beberapa payload hanya pernah ada di memori dan tidak pernah ditulis ke disk dalam bentuk yang bisa dianalisis langsung. Volatility 3 memungkinkan analisis forensik terhadap memory dump untuk menemukan:

• Proses tersembunyi yang tidak muncul di task manager biasa
• Payload yang telah di-decrypt di memori runtime
• Injected code di proses lain

# Contoh alur dasar Volatility 3
vol -f memory.dmp windows.pslist
vol -f memory.dmp windows.malfind
vol -f memory.dmp windows.netscan

Untuk analisis otomatis skala besar, CAPE Sandbox menggabungkan banyak teknik di atas menjadi satu platform: menjalankan sampel, menangkap trafik jaringan, dump memori, dan bahkan otomatis mencoba unpack payload yang terenkripsi.

Menyusun Timeline

Setelah kelima area di atas diperiksa, susun semuanya menjadi timeline kronologis. Timeline ini akan sangat membantu saat menulis laporan (bagian #04, langkah 6) dan memetakan perilaku ke MITRE ATT&CK (bagian #02).

T+0s   Eksekusi awal sample.exe
T+2s   Proses child powershell.exe dibuat
T+3s   Registry Run key ditambahkan
T+5s   DNS query ke domain mencurigakan
T+6s   Koneksi HTTPS keluar (kemungkinan C2)
T+10s  File dokumen mulai berubah ekstensi (indikasi ransomware)

Penutup

Behavioral dan memory analysis mengubah dugaan dari static analysis menjadi bukti konkret tentang apa yang sebenarnya dilakukan malware. Kombinasi keduanya — static untuk struktur, behavioral untuk bukti nyata — adalah fondasi analisis malware yang solid.

Semua teknik ini hanya aman dilakukan di lab yang benar-benar terisolasi. Di bagian #07 selanjutnya, kita bahas cara membangun lab analisis malware yang aman dari nol.