Puji syukur penulis panjatkan atas segala karunia dan anugerah Tuhan yang Maha Esa karena atas
kehendak-Nya guna menyelesaikan buku digital.
Pada kesempatan kali ini, penulis mengangkat judul “TUTORIAL PEMANFAATAN SISTEM INTRUSION
PREVENTION MENGGUNAKAN OSSEC”. Buku digital ini memiliki lingkup bidang keamanan jaringan
dalam pengimplementasiannya.
Keamanan jaringan sangat diperlukan dalam mengamankan suatu sistem yang memberikan
layanan. Jika tingkat kemanannya rendah bukan tidak mungkin sistem tersebut akan menjadi korban
kejahatan pihak yang tidak bertanggung jawab sehingga melumpuhkan layanan yang diberikan.
Ossec Hids merupakan salah satu tools pertahanan yang mampu mengidentifikasi beberapa jenis
serangan yang umumnya dilancarkan para penyerang. Dalam implementasinya penulis akan
mensimulasikan beberapa jenis penyusupan yang seperti port scanning , brute-force attack , instalasi
rootkit , dan DDoS attack untuk menguji pertahanan sistem yang dibangun menggunakan Ossec.
Buku digital ini masih banyak kekurangan , untuk itu kritik dan saran yang membangun sangat
diharapkan untuk pengembangan sistem kedepannya
Penulis juga ingin mengucapkan terima kasih yang sebesar-besarnya kepada semua pihak yang telah
berperan dalam membantu dan mendukung penulisan buku digital ini.
i
DAFTAR ISI
KATA PENGANTAR.................................................................................................................................. i
DAFTAR ISI ii
DAFTAR GAMBAR................................................................................................................................. iv
DAFTAR TABEL .................................................................................................................................... vii
BAB 1 PENDAHULUAN.......................................................................................................................... 1
BAB 2 PENGENALAN............................................................................................................................. 2
2.1 Keamanan Jaringan .......................................................................................................... 2
2.1.1 Tujuan Keamanan Jaringan ............................................................................................. 2
2.2 IPS ( Intrusion Prevention System ) ................................................................................. 3
2.2.1 Metode IPS untuk Mengenali Serangan.......................................................................... 3
2.2.2 Jenis-jenis IPS ( Intrusion Prevention System ) ................................................................ 4
2.3 Ossec Hids ........................................................................................................................ 5
2.3.1 Kategori Ossec Hids ......................................................................................................... 5
2.3.2 Fitur Ossec Hids ............................................................................................................... 5
2.4 Nmap ............................................................................................................................... 8
2.4.1 Menjalankan nmap ......................................................................................................... 8
2.4.2 State ................................................................................................................................ 8
2.5 Hydra................................................................................................................................ 8
2.6 Kbeast Rootkit.................................................................................................................. 9
2.7 UDP Unicorn .................................................................................................................... 9
2.8 Brute-force....................................................................................................................... 9
2.9 DOS ( Denial of Service) ................................................................................................. 10
2.9.1 DoS (Denial of Service) .................................................................................................. 10
2.9.2 DDoS ( Distributed Denial of Service ) ........................................................................... 11
2.10 Rootkit ........................................................................................................................... 11
BAB 3 ANALISIS DAN PERANCANGAN ................................................................................................ 13
3.1 Gambaran Umum Sistem Tanpa Dipasang IPS .............................................................. 13
3.2 Analisis Sistem yang Diusulkan ...................................................................................... 14
ii
3.2.1 Spesifikasi Perangkat Keras dan Perangkat Jaringan .................................................... 14
3.2.2 Spesifikasi Perangkat Lunak .......................................................................................... 15
3.3 Perancangan Sistem....................................................................................................... 15
3.3.1 Skenario Penyerangan Rootkit ...................................................................................... 15
3.3.2 Skenario Pertahanan dari Serangan Rootkit ................................................................. 16
3.3.3 Skenario Serangan DDoS ( Distributed Denial of Services ) ........................................... 17
3.3.4 Skenario Pertahanan dari Serangan DDoS .................................................................... 18
3.3.5 Skenario Implementasi.................................................................................................. 18
BAB 4 IMPLEMENTASI DAN PENGUJIAN ............................................................................................ 20
4.1 Implementasi ................................................................................................................. 20
4.1.1 Instalasi Bind9 .............................................................................................................. 20
4.1.2 Instalasi Squirrelmail .................................................................................................... 20
4.1.3 Instalasi Apache............................................................................................................. 21
4.1.4 Instalasi Postfix .............................................................................................................. 21
4.1.5 Instalasi Ossec ............................................................................................................... 22
4.1.6 Konfigurasi DNS ............................................................................................................ 24
4.1.7 Konfigurasi Postfix ......................................................................................................... 27
4.1.8 Konfigurasi webmail squirrelmail .................................................................................. 32
4.2 Pengujian ....................................................................................................................... 35
4.2.1 Integrasi Ossec dengan Email........................................................................................ 35
4.2.2 Simulasi penyerangan Rootkit....................................................................................... 36
4.2.3 Simulasi penyerangan DDoS.......................................................................................... 48
4.3 Analisa Hasil Pengujian .................................................................................................. 54
DAFTAR REFERENSI ............................................................................................................................. 55
iii
DAFTAR GAMBAR
iv
Gambar 4.34 File untuk mengintegrasikan Apache dengan Squierrelmail ........................................... 34
Gambar 4.35 Restart Apache ................................................................................................................ 34
Gambar 4.36 Akses Squierrelmail di Browser ....................................................................................... 35
Gambar 4.37 Halaman Squierrelmail setelah Login.............................................................................. 35
Gambar 4.38 Integrasi Ossec dengan Email.......................................................................................... 36
Gambar 4.39 Cek Email ......................................................................................................................... 36
Gambar 4.40 Ossec dan Email sudah terintegrasi ................................................................................ 36
Gambar 4.41 Skenario Penyerangan Rootkit ........................................................................................ 37
Gambar 4.42 Cek Aplikasi Nmap........................................................................................................... 37
Gambar 4.43 Ping IP Server................................................................................................................... 37
Gambar 4.44 Scan Komputer Server ..................................................................................................... 38
Gambar 4.45 Cek Aplikasi Hydra ........................................................................................................... 38
Gambar 4.46 Kamus Username ............................................................................................................ 39
Gambar 4.47 Kamus Password ............................................................................................................. 39
Gambar 4.48 Brute-force Attack ........................................................................................................... 40
Gambar 4.49 Rootkit KBeast ................................................................................................................. 40
Gambar 4.50 Penyerang Berhasil Memasuki Sistem ............................................................................ 40
Gambar 4.51 Penyerang meng-copy-kan rootkit .................................................................................. 41
Gambar 4.52 Rootkit sudah terdapat di target ..................................................................................... 41
Gambar 4.53 Ekstrak Rootkit ................................................................................................................ 41
Gambar 4.54 Folder Instalasi Rootkit .................................................................................................... 42
Gambar 4.55 Proses Instalasi Rootkit ................................................................................................... 42
Gambar 4.56 File Konfigurasi Rootkit ................................................................................................... 43
Gambar 4.57 Remote Akses Menggunakan Backdoor Rootkit ............................................................. 43
Gambar 4.58 Skenario Pertahanan dari Rootkit ................................................................................... 44
Gambar 4.59 Scanning System.............................................................................................................. 45
Gambar 4.60 Notifikasi Scanning System melalui Email....................................................................... 45
Gambar 4.61 IP Penyerang yang melakukan scanning system diblock ............................................... 46
Gambar 4.62 Brute-force Attack ........................................................................................................... 46
Gambar 4.63 Notifikasi Brute-force Attack melalui Email .................................................................... 46
Gambar 4.64 IP Penyerang Brute-force diblock .................................................................................... 47
Gambar 4.65 Penyerang memasang Rootkit di Server ......................................................................... 47
Gambar 4.66 Notifikasi Pemasangan Rootkit melalui Email................................................................. 47
Gambar 4.67 Skenario Penyerangan DDoS ........................................................................................... 48
Gambar 4.68 Attacker 1 ........................................................................................................................ 49
Gambar 4.69 Attacker 2 ........................................................................................................................ 49
Gambar 4.70 Attacker 3 ........................................................................................................................ 49
Gambar 4.71 Attacker 4 ........................................................................................................................ 50
Gambar 4.72 Kondisi Klien Sebelum di serang ..................................................................................... 50
Gambar 4.73 Efek Serangan di Sisi Server............................................................................................. 51
Gambar 4.74 Efek serangan DDoS di sisi Klien...................................................................................... 51
Gambar 4.75 Skenario Pertahanan dari Serangan DDoS ...................................................................... 52
v
Gambar 4.76 Efek Serangan DDoS Setelah dipasang Ossec ................................................................. 52
Gambar 4.77 Notifikasi Ossec melalui Email terhadap Serangan DDoS ............................................... 53
Gambar 4.78 Pemblokiran Alamat IP Penyerang DDoS oleh Ossec ...................................................... 53
vi
DAFTAR TABEL
vii
BAB 1
PENDAHULUAN
Administrator memiliki tanggung jawab yang besar dalam upaya pengamanan jaringan , sistem ,
serta data , dan membuat berbagai upaya untuk melakukan tindakan pengamanan. Umumnya
administrator menggunakan firewall sebagai dinding pertahanan. Hadirnya firewall telah banyak
membantu dalam pengamanan namun belum dapat dijamin sepenuhnya karena firewall tidak
dirancang untuk menyediakan notifikasi detail dari serangan. Karena itu telah berkembang teknologi
IPS (Intrusion Prevention System) sebagai pembantu pengamanan sistem pada suatu jaringan
komputer. IPS (Intrusion Prevention System) berfungsi untuk mendeteksi adanya serangan dari
penyusup kemudian memberikan peringatan berupa notifikasi serta melakukan respon aktif dengan
memblock alamat IP penyerang sehingga mempermudah administrator mengetahui sejak dini
apabila telah terjadi serangan pada sistem komputer di jaringan tersebut.
Pada buku digital ini penulis akan menjelaskan mengenai analisa keamanan sistem komputer
menggunakan aplikasi Ossec Hids ( Open Source Security Host Intrusion Detection System ). Ossec
Hids, adalah paket aplikasi yang digunakan untuk mendeteksi sistem dari aktifitas-aktifitas yang
dianggap mengancam (menyerang) dan kemudian membuat log dan mampu memberikan
peringatan berupa notifikasi via email ke system administrator dan dapat memberikan respon
dengan memblock alamat IP penyerang.
Penelitian ini dalam implementasinya akan memantau keamanan sistem pada komputer server dari
beberapa metode penyerangan yang pernah terjadi di dunia real. Untuk mendapatkan metode
serangan yang dibutuhkan penulis melakukan survey data ke Kampus STISI Telkom. Berdasarkan
hasil survey, serangan DDOS ( Distributed Denial of Service ) dan rootkit yang akan penulis
simulasikan untuk menguji keamanan sistem menggunakan Ossec Hids. Jika terjadi indikasi serangan
Ossec Hids akan memberikan peringatan berupa notifikasi melalui email dan memblock alamat IP
penyerang. Diharapkan dengan adanya peringatan melalui email akan mempermudah kerja
administrator dalam memantau keamanan sistemnya dari pihak yang tidak bertanggung jawab.
1
1 BAB 2
PENGENALAN
2.1 Keamanan Jaringan
Keamanan jaringan secara umum adalah komputer yang terhubung ke jaringan , mempunyai
ancaman keamanan lebih besar daripada komputer yang tidak terhubung kemana-mana (Ariyus,
2007). Keamanan jaringan saat ini menjadi isu yang sangat penting dan terus berkembang.
Perkembangan teknologi komputer, selain menimbulkan banyak manfaat juga memiliki banyak sisi
buruk. Salah satunya adalah serangan terhadap sistem komputer yang terhubung ke Internet.
Sebagai akibat dari serangan itu, banyak sistem komputer atau jaringan yang terganggu bahkan
menjadi rusak. Untuk menanggulangi hal tersebut, diperlukan sistem keamanan yang dapat
menanggulangi dan mencegah kegiatan-kegiatan yang mungkin menyerang sistem jaringan kita.
Dalam perkembangan teknologi dewasa ini, sebuah informasi menjadi sangat penting bagi sebuah
organisasi. Informasi tersebut biasanya dapat diakses oleh para penggunanya. Akan tetapi, ada
masalah baru yang berakibat dari keterbukaan akses tersebut. Masalah-masalah tersebut antara lain
adalah sebagai berikut:
a. Pemeliharaan validitas dan integritas data atau informasi tersebut
b. Jaminan ketersediaan informasi bagi pengguna yang berhak
c. Pencegahan akses sistem dari yang tidak berhak
Pencegahan akses informasi dari yang tidak berhak sebuah aplikasi perangkat lunak atau perangkat
keras yang dapat mendeteksi aktivitas yang mencurigakan dalam sebuah sistem atau jaringan.
Pada dasarnya tujuan keamanan komputer adalah CIA , yang merupakan singkatan dari :
a. Confidentiality
Merupakan usaha untuk menjaga informasi dari orang yang tidak berhak mengakses.
Confidentiality biasanya berhubungan dengan informasi yang diberikan ke pihak lain.
b. Integrity
Keaslian pesan yang dikirim melalui sebuah jaringan dan dapat dipastikan bahwa
informasi yang dikirim tidak dimodifikasi oleh orang yang tidak berhak dalam perjalanan
informasi tersebut.
c. Availability
Aspek availability atau ketersediaan berhubungan dengan ketersediaan informasi ketika
dibutuhkan. Sistem informasi yang diserang atau dijebol dapat menghambat atau
meniadakan akses ke informasi.
2
2.2 IPS ( Intrusion Prevention System )
Intrusion Prevention System (IPS), adalah pendekatan yang sering digunakan untuk membangun
sistem keamanan komputer, IPS mengkombinasikan teknik firewall dan metode Intrusion Detection
System (IDS) dengan sangat baik. Teknologi ini dapat digunakan untuk mencegah serangan yang
akan masuk ke jaringan lokal dengan memeriksa dan mencatat semua paket data serta mengenali
paket dengan sensor, disaat attack telah teridentifikasi, IPS akan menolak akses (block) dan
mencatat (log) semua paket data yang teridentifikasi tersebut. Jadi IPS bertindak sepeti layaknya
firewall yang akan melakukan allow dan block yang dikombinasikan seperti IDS yang dapat
mendeteksi paket secara detail.
Teknologi IDS diperkirakan kadaluarsa dalam waktu dekat karena digantikan IPS yang memiliki
kemampuan lebih lengkap. IDS hanya mampu mendeteksi adanya penyusupan dalam jaringan , lalu
mengaktifkan peringatan kepada pengguna untuk segera mengambil langkah mitigasi sementara IPS
langsung mengatasi penyusupan tersebut (Ariyus, 2007).
IPS menggunakan signatures untuk mendeteksi aktivitas traffic di jaringan dan terminal, dimana
pendeteksian paket yang masuk dan keluar (inbound-outbound) dapat di cegah sedini mungkin
sebelum merusak atau mendapatkan akses ke dalam jaringan lokal. Jadi early detection dan
prevention menjadi penekanan pada IPS ini.
3
d. Refinement
Perbaikan dari analisis pencocokan pola yang diturunkan untuk memperbarui pola serangan.
Banyak IDS mengizinkan pembaharuan pola serangan secara manual sehingga tidak mudah
untuk diserang dengan menggunakan pola serangan terbaru.
NIPS ( Network Based Intrusion Prevention System ) adalah sebuah pengamanan jaringan yang dapat
mendeteksi dan melakukan blocking pada serangan atau intrusion yang mengganggu jaringan. NIPS (
Network Based Intrusion Prevention System ) biasanya dikembangkan selayaknya switch dan router.
NIPS ( Network Based Intrusion Prevention System ) melakukan deteksi ke seluruh paket data
yang akan masuk ke dalam jaringan, dengan cara melakukan pengecekan pola serangan atau pattern
dari paket data tersebut. Ketika NIPS ( Network Based Intrusion Prevention System ) mendeteksi
sebuah serangan. NIPS dibuat untuk menganalisa, mendeteksi, dan melaporkan seluruh arus data
dan disetting dengan konfigurasi kebijakan keamanan NIPS, sehingga segala serangan yang datang
dapat langsung terdeteksi. NIPS ( Network Based Intrusion Prevention System ) akan langsung
melakukan tindakan yang dapat berupa blocking paket – paket data tersebut.
4
2. HIPS ( Host Intruision Prevention System )
HIPS merupakan sebuah sistem pecegahan yang terdiri dari banyak layer, menggunakan metode
pencegahan intrusi yang bersifat real-time untuk menjaga host berada di bawah keadaan dari
efisiensi performansi yang layak. Mekanisme kerjanya yaitu dengan mencegah kode-kode berbahaya
yang memasuki host agar tidak dieksekusi tanpa perlu untuk mengecek threat signature.
5
Setiap file pada sistem operasi menghasilkan digital fingerprint yang unik , juga dikenal sebagai
kriptografi hash atau hash value. Fingerprint ini dihasilkan berdasarkan nama dan isi file. Ossec dapat
memantau file-file penting untuk mendeteksi adanya perubahan pada fingerprint file ini ketika
seseorang atau sesuatu memodifikasi isi file atau mengganti file dengan versi yang sama sekali
berbeda. Dalam mendeteksi adanya perubahan file , Ossec membandingkan hash value sebelum file
tersebut dirubah dengan sesudah file tersebut dirubah.
Log monitoring diaktifkan secara otomatis. Log monitoring secara otomatis akan memantau dan
menganalisa isi dari file log yang dipilih. Hampir sebagian besar file-file log dalam sistem linux
tersimpan di folder /var/log. Secara otomatis Ossec akan memantau file-file log berikut :
a. /var/log/messages
Merupakan log yang berisi informasi-informasi service dan sistem di komputer. Beberapa
keterangan yang ditampilkan diantaranya tanggal , nama komputer tempat menjalankan sistem
atau service, dan informasi-informasi seputar sistem dan service yang dijalankan tersebut.
b. /var/log/authlog
Log yang memberikan informasi mengenai user login dan authentication
c. /var/log/secure
Merupakan log yang akan mencatat hal-hal yang berhubungan dengan keamanan sistem. File
log ini bisa mencatat alamat IP dari komputer yang mencoba menyusup ke dalam server atau
sistem.
d. /var/log/maillog
Mencatat segala hal yang berhubungan dengan email.
Jika ingin menambahkan file-file lain yang akan dimonitor , maka tambahkan entri baru pada file
konfigurasi di ossec.conf.
6
2.3.2.3 Rootkit Detection
Rootkit adalah aplikasi rahasia yang mengubah sistem operasi dimana rootkit diinstal. Tujuan dari
rootkit setelah diinstall adalah untuk menyembunyikan file-file , koneksi jaringan , memori , dan
data-data penting lain dari sistem operasi. Rootkit ini mengubah perilaku sistem operasi untuk
menyembunyikan file dan proses yang sedang berjalan sehingga penyerang bisa leluasa memasuki
sistem tanpa diketahui administrator.
Ossec Hids akan melakukan deteksi rootkit pada setiap sistem baik pada komputer yang dipasang
Ossec Server atau komputer klien yang dipasang Ossec Agent. Mesin deteksi rootkit akan dieksekusi
setiap menit untuk mendeteksi rootkit yang mungkin dipasang pada sistem.
Perintah-perintah active response ditulis dalam skrip. Secara default sudah terdapat beberapa skrip
active response yang disediakan Ossec yang berada di folder /var/ossec/active-response/bin/ . Skrip-
skrip tersebut diantaranya:
a. Host-deny.sh
Menambahkan host ke file /etc/hosts.deny yang digunakan oleh tcpwrappers. Tcpwrapper
merupakan salah satu metode filter (access control list) di sistem operasi Unix untuk
membatasi suatu host yang menggunakan service yang berada di server. Jika ossec
mendeteksi penyusup maka alamat ip penyusup akan ditambahkan ke file ini sehingga tidak
bisa mengakses service yang berada di server.
b. Firewall-drop.sh
Sebuah skrip active response yang diintegrasikan dengan firewall pada linux yaitu iptables.
Jika terjadi penyusupan maka secara otomatis skrip ini akan bekerja dan memblok alamat IP
penyerang.
c. ipfw_mac.sh
7
Mempunyai fungsi yang sama dengan firewall-drop.sh namun skrip ini diperuntukan untuk
Mac OS.
d. ipfw.sh
Mempunyai fungsi yang sama dengan firewall-drop.sh namun skrip ini diperuntukan untuk
FreeBSD.
2.4 Nmap
Nmap (Network Mapper) adalah utilitas scanner yang berlisensi bebas dan open source untuk
penemuan jaringan dan audit keamanan (Calderon, 2012).
2.4.2 State
State pada nmap adalah "open", "filtered", dan "unfiltered". Open berarti mesin target dapat
menerima koneksi pada port tersebut. Filtered berarti ada sebuah firewall, packet-filter, atau device
jaringan yang menghalangi port dan mencegah nmap untuk menentukan port yang terbuka.
Unfiltered berarti port yang diketahui oleh nmap tertutup dan tidak ada firewall atau packet-filter
yang menutupi. Unfiltered port adalah kasus umum yang hanya terlihat ketika sebagian besar port
yang di-scan adalah dalam keadaan filtered.
Dengan teknik dan fitur di atas, nmap dapat dijadikan sebagai utilitas network handal untuk
mengaudit jaringan dan security-nya. Banyak hal dapat dilakukan dengan nmap, tergantung dari
option yang digunakan, termasuk TCP sequentiality, nama pengguna yang menjalankan program
untuk servis pada port tertentu, DNS name, smurf alamat host, dan lain-lain. Selain berjalan di
console, nmap juga mempunyai front-end yaitu nmapfe yang cukup bagus.
2.5 Hydra
Hydra adalah tool untuk melakukan hacking password dengan menggunakan metode brute force,
dengan anda memiliki kamus kata yang banyak yang dimungkinkan passwordnya ada di dalam
kamus tersebut.
8
2.6 Kbeast Rootkit
Kbeast ( Kernel Beast )adalah linux kernel rootkit yang dimodifikasi dari rootkit yang dikenal public.
Modifikasi rootkit ini bekerja pada kernel 2.6.16 , 2.6.18 , 2.6.32 , dan 2.6.35. Berikut adalah fitur-
fitur yang terdapat pada KBeast rootkit :
d. Prosess anti-kill
2.8 Brute-force
Serangan brutal atau Brute-force attack adalah sebuah teknik serangan terhadap sebuah sistem
keamanan komputer yang menggunakan percobaan terhadap semua kunci yang mungkin.
(ikonspirasi, 2012). Pendekatan ini pada awalnya merujuk pada sebuah program komputer yang
mengandalkan kekuatan pemrosesan komputer dibandingkan kecerdasan manusia. Sebagai contoh,
untuk menyelesaikan sebuah persamaan kuadrat seperti x²+7x-44=0, di mana x adalah sebuah
integer, dengan menggunakan teknik serangan brute-force, penggunanya hanya dituntut untuk
membuat program yang mencoba semua nilai integer yang mungkin untuk persamaan tersebut
9
hingga nilai x sebagai jawabannya muncul. Istilah brute force sendiri dipopulerkan oleh Kenneth
Thompson, dengan mottonya: "When in doubt, use brute-force" (jika ragu, gunakan brute-force).
Teknik yang paling banyak digunakan untuk memecahkan password, kunci, kode atau kombinasi.
Cara kerja metode ini sangat sederhana yaitu mencoba semua kombinasi yang mungkin.
Sebuah password dapat dibongkar dengan menggunakan program yang disebut sebagai password
cracker. Program password cracker adalah program yang mencoba membuka sebuah password yang
telah terenkripsi dengan menggunakan sebuah algoritma tertentu dengan cara mencoba semua
kemungkinan. Teknik ini sangatlah sederhana, tapi efektivitasnya luar biasa, dan tidak ada satu pun
sistem yang aman dari serangan ini, meski teknik ini memakan waktu yang sangat lama, khususnya
untuk password yang rumit.
Namun ini tidak berarti bahwa password cracker membutuhkan decrypt. Pada prakteknya, mereka
kebayakan tidak melakukan itu. Umumnya, kita tidak dapat melakukan decrypt password-password
yang sudah terenkripsi dengan algoritma yang kuat. Proses-proses enkripsi modern kebanyakan
hanya memberikan satu jalan, di mana tidak ada proses pengembalian enkripsi. Namun, anda
menggunakan tool-tool simulasi yang mempekerjakan algoritma yang sama yang digunakan untuk
mengenkripsi password orisinal. Tool-tool tersebut membentuk analisis komparatif. Program
password cracker tidak lain adalah mesin-mesin ulet. Ia akan mencoba kata demi kata dalam
kecepatan tinggi. Mereka menganut "Asas Keberuntungan", dengan harapan bahwa pada
kesempatan tertentu mereka akan menemukan kata atau kalimat yang cocok. Teori ini mungkin
tepat mengena pada orang yang terbiasa membuat password asal-asalan. Dan memang pada
kenyataannya, password-password yang baik sulit untuk ditembus oleh program password cracker.
Denial of service merupakan serangan yang dilakukan secara individual menggunakan satu mesin
komputer. Biasanya serangan ini dapat dijalankan ketika mesin penyerang lebih kuat dalam hal
bandwidth , kecepatan processor , dan kapasitas memori dibandingkan dengan targetnya, sehinggga
penyerang mampu membanjiri targetnya dengan paket-paket yang dia kirimkan. Pada dasarnya
denial of service merupakan serangan yang sulit diatasi. Tujuan dari serangan DoS adalah untuk
mengganggu beberapa kegiatan yang legal , seperti browsing halaman web , mendengarkan radio
online , transfer uang dari bank , bahkan sistem komunikasi kapal yang akan berlabuh ke pelabuhan.
Efek DoS ini terjadi dengan cara mengirimkan pesan ke target yang mengganggu operasi , dan
membuatnya hang , crash , reboot , atau melakukan pekerjaan yang sia-sia.
10
Denial of Service mempunyai beberapa tipe serangan. Berikut adalah tipe-tipe serangan DoS :
2. Flooding, merupakan tipe serangan yang menggunakan protocol TCP , UDP , atau ICMP
untuk membanjiri targetnya dengan paket-paket request yang dikirimkan oleh
penyerang. Contohnya : UDP Flooding.
2.10 Rootkit
Rootkit adalah software yang dibuat untuk mampu menyembunyikan proses, file dan data dari
sistem yang sedang berjalan pada sebuah sistem operasi tempat program tersebut berada.
Teknologi rootkit pada awalnya dimanfaatkan untuk melakukan bypass sehingga user bisa langsung
masuk ke root ( administrator dalam komputer sistem UNIX ) yang dapat dimanfaatkan bila
pengguna komputer lupa terhadap password rootnya. Pada perkembangannya rootkit dimanfaatkan
juga oleh malware untuk mampu bersembunyi dari deteksi anti virus.
Biasanya para penyerang akan menginstall rootkit pada komputer korban begitu mereka telah
mendapatkan level akses terhadap root di komputer tersebut. Selanjutnya dengan berbekal
kelemahan sistem yang sudah diketahui maka para penyerang dapat melakukan apa saja terhadap
sistem komputer yang dikuasainya tersebut, misalnya mencuri password yang ada di komputer
korban. Instalasi rootkit ini membuat para penyerang memiliki hak akses terhadap sistem komputer
tersebut dan mampu masuk dengan cara normal melalui mekanisme autentikasi dan autorisasi yang
11
wajar. Rootkit memiliki cara kerja yang hampir sama dengan malware lainnya seperti mampu
bersembunyi dari proses sistem komputer dan bahkan mampu mencuri password meskipun tidak
sebagai administrator yang sah.
1. Application Rootkit
Merupakan rootkit yang dibuat dengan modifikasi dari kodebinary sebuah aplikasi
secara langsung (binary code patching). Biasanya terdapat pada Trojan yang menginfeksi
komputer dengan cara menumpangi file lain.
2. Library Rootkit
Rootkit yang menyamar sebagai file library untuk menyulitkan deteksi terhadapnya dan
mengelabui user dengan menyamar menjadi file yang biasa dan tidak menimbulkan
kecurigaan.
3. Kernel Rootkit
Rootkit yang berjalan pada level kernel atau dikenal dengan istilah ring 0 sebagai modus
yang tak terproteksi sehingga dapat dengan aman dalam melakukan serangan dan
menghindari deteksi anti virus.
4. Bootloader Rootkit
Jenis ini biasanya menempati MBR ( Master Boot Records ) sehingga dapat
mengendalikan proses booting sistem operasi. Biasanya juga dikenal sebagai bootkit
atau “Evil Maid Attack”.
Rookit ini mampu memvirtualisasi sistem operasi asli sehingga menjadi guest operating
system pada sistem operasi yang ada. Rootkit ini mampu mengambi alih semua kendali
pada sistem operasi. Contoh rootkit yang berbasis virtual adalah SubVirt.
6. BIOS Rootkit
disebut juga firmware rootkit. Merupakan jenis yang berbahaya karena berada pada
lingkungan paling dalam yaitu firmware. Rootkit ini langsung aktif saat komputer mulai
melakukan inisialisasi.
12
BAB 3
ANALISIS DAN PERANCANGAN
3.1 Gambaran Umum Sistem Tanpa Dipasang IPS
Server
Attacker Firewall
Klien
Jaringan Komputer seperti LAN memungkinkan menyediakan informasi secara cepat dalam jaringan
lokal. Namun potensi adanya lubang keamanan selalu ada untuk merusak sistem yang telah
dibangun , Network administration (administrator) adalah orang yang paling bertanggung jawab
terhadap keamanan pada suatu sistem jaringan komputer. Pada saat terjadi penyusupan ke sistem
jaringan komputer sering kali administrator tidak berada di tempat (lokasi server sistem jaringan)
sehingga penyusup yang masuk tidak segera dapat diketahui, dihalangi dan diantisipasi (counter).
Hal ini pada akhirnya menyebabkan sistem jaringan dapat ditembus penyusup sehingga dapat
menimbulkan kerugian yang besar pada pengguna sistem jaringan tersebut.
Pada buku digital ini penulis menganalisa kelemahan sistem jika tidak dipasang IPS menggunakan
Ossec,yaitu :
a. Jika terdapat indikasi serangan tidak terdapat peringatan kepada administrator sehingga
penyusup tidak diketahui
b. Penyerang bisa dengan mudah mencari tahu informasi sistem menggunakan metode
portscanning
13
c. Jika diketahui ada lubang keamanan seperti terbukanya port ssh maka penyerang bisa mencoba
untuk menebak nama user dan password menggunakan metode brute-force attack untuk
memasuki sistem.
d. Ketika penyerang berhasil memperoleh hak akses sistem kemudian memasang aplikasi rootkit
tidak akan ada peringatan untuk memberitahu administrator.
Sistem Intrusion Prevention System menggunakan Ossec pada jaringan komputer ini dibuat untuk
kebutuhan sebagai berikut :
a. Mampu mengidentifikasi adanya usaha-usaha penyusupan atau penyerangan pada suatu sistem
komputer.
b. Mampu mengirimkan peringatan ke email jika ada usaha-usaha penyusupan atau penyerangan
pada suatu sistem komputer.
No Hardware Spesifikasi
1. Server a. Intel(R) Core(TM) i3
b. Memory 1024MB RAM
c. Harddisk 160GB
2. Client a. Intel(R) Core(TM) i3
b. Memory 1024MB RAM
c. Harddisk 160GB
3 Attacker a. Intel(R) Core(TM) i3
b. Memory 1024MB RAM
c. Harddisk 160GB
14
3.2.2 Spesifikasi Perangkat Lunak
1. Scanning System
Mencari pintu masuk yang paling mungkin dari sistem sasaran yang sudah ditetapkan. Pada
skenerio scanning penulis akan mensimulasikannya menggunakan aplikasi port scanner yaitu
nmap
15
2. Gaining Access
Berusaha mendapatkan data lebih banyak untuk mulai mengakses sistem sasaran. Hal ini
dilakukan dengan cara mengintip dan merampas password, menebak password dengan
metode brute-force attack. Pada skenario gaining access penulis akan mensimulasikannya
dengan metode brute-force attack menggunakan aplikasi hydra.
3. Install Rootkit
Setelah penyerang berhasil masuk ke sistem sasaran maka dilakukan instalasi rootkit di
sistem sasaran. Pada aplikasi rootkit biasanya telah terdapat program backdoor untuk
memasuki sistem melalui lubang atau port tertentu tanpa diketahui administrator. Jika
instalasi rootkit ini berhasil dijalankan maka penyerang dapat memasuki dan
mengeksploitasi sistem kapan saja tanpa diketahui oleh administrator. Sample rootkit yang
akan penulis gunakan adalah Rootkit Kbeast.
Dalam gambar di atas aplikasi Ossec Hids dipasang di sisi server. Ossec Hids mampu mendeteksi
adanya indikasi penyusupan mulai dari Scanning System. Jika terdapat penyerang yang mencoba
melakukan proses scanning system maka ip penyerang akan di blok dan muncul peringatan melalui
email kepada administrator. Namun jika seandainya penyerang mampu melakukan proses scanning
system tanpa terdeteksi oleh Ossec Hids , maka pada tahap gaining access Ossec Hids akan menjadi
tembok untuk mencegah penyerang memasuki sistem dengan cara memblock ip penyerang dan
mengirimkan peringatan melalui emai kepada administrator bahwa ada user ilegal yang mencoba
16
melakukan penetrasi terhadap sistem. Seandainya penyerang mampu memperoleh akses tanpa
terdeteksi Ossec Hids sehingga bisa memasang aplikasi rootkit di komputer server maka pada tahap
ini Ossec Hids akan memberikan peringatan melalui email kepada adminisrator.
Pada skenario penyerangan di atas terdapat empat PC yang bertindak sebagai Attacker yang akan
menyerang web server dengan cara mengirimkan sejumlah besar paket data UDP. Terdapat satu
klien yang akan digunakan untuk melihat pengaruh dari serangan yang dilakukan attacker terhadap
pengaksesan ke web server. Komputer klien akan melakukan ping ke ip atau domain web server yang
diserang untuk melihat dampak dari serangan yang dilancarkan attacker.
17
3.3.4 Skenario Pertahanan dari Serangan DDoS (Distributed Denial of Services )
Berdasarkan skenario penyerangan DDoS maka penulis akan mencoba untuk melakukan mekanisme
pertahanan dengan memasang aplikasi Ossec Hids di Server. Berikut adalah gambar dari skenario
pertahanan yang akan diterapkan :
Parameter yang penulis amati adalah seberapa besar terjadinya kehilangan paket data yang
dikirimkan sebelum dan sesudah dipasang Ossec Hids serta respon dari Ossec Hids terhadap
penyerang apakah berhasil mendeteksi adanya serangan DDoS dan melakukan pemblokiran
terhadap alamat IP atau tidak.
3.3.5 Skenario Implementasi
Untuk penjelasan secara umum implementasi IPS menggunakan Ossec Hids, penulis akan
menjelaskan penerapannya dalam upaya mengamankan server pada jaringan komputer. Adapun
skenario implementasinya akan penulis paparkan sebagai berikut :
a Menginstall atau memastikan paket aplikasi untuk pengiriman notifikasi melalui email
seperti Squirrelmail sudah tersedia. Kemudian dikonfigurasikan dengan paket aplikasi web
server seperti apache dan bind9 sebagai aplikasi DNS untuk penamaan domainnya supaya
bisa diakses dari sisi server maupun klien.
b Mengkonfigurasi komputer server dengan memasang Ossec Server sebagai IPS untuk
memantau aktifitas yang terjadi pada komputer server. Pada tahap ini akan dilakukan
konfigurasi rules untuk memberikan notifikasi melalui email dan memberikan respon aktif
jika terdapat indikasi penyusupan dari penyerang dengan memblock alamat ip penyerang.
18
c Melakukan simulasi penyerangan untuk melihat respon yang diberikan Ossec Hids terhadap
penyerang. Penulis akan mencoba beberapa simulasi penyerangan seperti scanning system
menggunakan nmap , gaining access dengan metode brute-force attack menggunakan hydra
, install rootkit menggunakan Kbeast , dan DDoS attack menggunakan UDP Unicorn.
d Setelah simulasi penyerangan dilakukan maka penulis akan menganalisa hasil dari serangan
dan respon yang diberikan Ossec Hids terhadap aktifitas penyerangan.
19
BAB 4 4
IMPLEMENTASI DAN PENGUJIAN
4.1 Implementasi
Pada bab ini akan dibahas mengenai instalasi dan pemeriksaan paket yang dibutuhkan untuk
konfigurasi Ossec Hids di komputer server supaya jika terdapat indikasi penyerangan bisa
memberikan respon berupa alert melalui email dan pemblokiran alamat ip penyerang.
Jika keluarannya seperti gambar di atas berarti aplikasi bind9 telah terinstall. Jika belum maka
ketikan perintah “#apt-get install bind9” untuk instalasi aplikasi bind9.
# dpkg -l Squirrelmail
20
Gambar 4.2 Paket Squierrelmail
# dpkg -l apache2
# dpkg -l Postfix
21
4.1.5 Instalasi Ossec
1. Ketikan # tar – xzfv ossec-hids-2.6.tar.gz untuk mengekstrak aplikasi ossec. Setelah
itu masuk ke folder ossec-hids-2.6.
2. Setelah masuk ke folder ossec-hids-2.6 maka install aplikasi dengan mengetikan perintah :
# ./install
Akan tampil gambar seperti di bawah. Step ini merupakan pemilihan bahasa. Tekan enter
untuk pemilihan bahasa secara otomatis yaitu bahasa inggris atau jika ingin
menggunakan bahasa lain ketikan kode yang tercantum seperti di gambar.
22
3. Tekan enter untuk melanjutkan. Kemudian ketikan server untuk jenis instalasi Ossecnya.
4. Ketikan folder tempat menyimpan instalasi Ossec. Tekan enter untuk penyimpanan
otomatis
5. Langkah selanjutnya adalah konfigurasi Ossec. Terdapat beberapa fitur yang bisa
digunakan diantaranya fitur notifikasi email , pemerikasaan integritas file , deteksi rootkit
, dan aktif respon. Ketikan “y” untuk memasang fitur tersebut atau “n” jika tidak ingin
mengaktifkannya.
23
6. Jika sudah memilih fitur-fitur Ossec maka tunggu sampai instalasi selesai.
# nano /etc/bind/named.conf.local
24
Gambar 4.12 Pengaturan Nama Domain yang Akan Digunakan
3. Masuk ke folder /etc/bind/ lalu Copy file db.local ke db.reverse dan db.127 ke
db.forward. Ketikan :
# cp db.local db.reverse
# cp db.127 db.forward
25
5. Edit file db.forward isikan seperti gambar di bawah :
7. Restart bind9
26
8. Cek konfigurasi DNS dengan nslookup , jika tampilannya seperti gambar di bawah berarti
konfigurasi sudah benar.
# dpkg-reconfigure postfix
4. Pilih Ok
27
5. Pilih internet site
28
7. Isikan postmaster recipient
29
9. Pilih no dalam update antrian
30
11. Size mailbox isi dengan angka 0
31
14. Setelah semua konfigurasi selesai maka akan tampil seperti gambar di bawah :
32
Gambar 4.30 Konfigurasi Squierrelmail
33
5. Buka file apache.conf pada direktori /etc/squirrelmail. Kemudian hilangkan tanda “#”
(pagar) pada script berikut.
# /etc/init.d/apache2 restart
34
8. Buka browser dan ketikan alamat url : http://webmail.adikara.com
Maka akan muncul tampilan seperti di bawah. Isikan nama dan password sesuai pada
langkah pertama konfigurasi ini.
4.2 Pengujian
Tujuan pengujian ini adalah untuk mengetahui apakah semua fungsionalitas program sudah berjalan
dengan baik dan seberapa mampu aplikasi Ossec Hids melakukan sistem pertahanan dari serangan-
serangan yang dilancarkan penyerang. Adapun serangan yang akan diuji terhadap pertahanan
menggunakan Ossec Hids adalah portscanning , brute-force attack , rootkit , dan DDoS. Serangan-
serangan tersebut akan penulis simulasikan kemudian dianalisa hasil dari pengujiannya.
35
1. Jalankan Ossec dengan perintah :
3. Buka inbox dan lihat jika tampilannya seperti gambar di bawah berarti Ossec dan email
sudah berjalan dan saling teritegrasi.
36
kemudian mencoba untuk memperoleh akses dengan serangan brute-force selanjutnya jika akses
berhasil diperoleh maka penyerang akan memasang rootkit pada sistem.
1. Scanning System
Untuk melakukan scanning sistem cek dahulu apakah aplikasi nmap sudah terpasang atau
belum. Ketikan # dpkg –l nmap
Selanjutnya ping ip server untuk melihat apakah ip server aktif atau tidak. Ping alamat
server :
# ping 192.168.221.134
Scan menggunakan nmap untuk melihat celah keamanan yang mungkin ditembus oleh
penyerang.
37
Gambar 4.44 Scan Komputer Server
Berdasarkan hasil scanning terlihat port ssh dengan status terbuka. Ini bisa dimanfaatkan
oleh penyerang untuk memperoleh akses ke sistem secara remote akses menggunakan
ssh dengan username dan password akan dicari menggunakan metode brute-force attack.
2. Gaining Access
Pastikan kamus yang berisi username dan password sudah disediakan di pihak penyerang.
Berikut adalah file user.sh yang berisi kumpulan username yang akan dicoba untuk
melakukan brute-force attack.
38
Gambar 4.46 Kamus Username
Ini adalah file pass.sh yang berisi kumpulakn password yang akan dicoba untuk melakukan
brute-force attack.
Jika aplikasi hydra dan kamus username dan password sudah siap maka lakukan brute-
force attack dengan mengetikan perintah : # hydra –L user.sh –P pass.sh 192.168.221.134
ssh
39
Gambar 4.48 Brute-force Attack
Berdasarkan hasil penyerangan diperoleh username dengan nama diksi dan passwordnya
persib yang akan digunakan untuk memperoleh akses terhadap port ssh.
3. Install Rootkit
Untuk memasang rootkit di server lakukan akses terhadap server menggunakan port ssh
dengan username dan password yang diperoleh dari hasil brute-force attack. Gambar di
bawah memperlihatkan penyerang berhasil masuk ke sistem server. Di gambar ini belum
terlihat aplikasi rootkit yang dipasang.
40
Untuk memasang aplikasi rootkit penyerang meng-copy-kan rootkit melalui port ssh.
Ketikan perintah :
Berhubung aplikasi masih dalam bentuk tar.gz maka ekstrak aplikasi rootkit dengan
perintah : # tar –xzvf <nama file>
Gambar di bawah memperlihatkan aplikasi rootkit berhasil diekstrak. Dengan nama folder
penyimpanan kbeast-v1.
41
Masuk ke folder kbeast-v1 untuk melakukan instalasi rootkit.
Program rootkit telah terinstall. Aplikasi ini memiliki program backdoor yang membuat
port tertentu menjadi terbuka sehingga penyerang bisa memasuki sistem kapan saja dia
mau. Konfigurasi port dan password yang digunakan untuk memasuki sistem tersimpan di
file config.h di folder kbeast.
42
Gambar 4.56 File Konfigurasi Rootkit
Jika rootkit berhasil dipasang maka penyerang bisa memasuki sistem tanpa diketahui
administrator. Dengan mengetikan perintah :
Terlihat penyerang bisa memasuki sistem melalui lubang backdoor tanpa terdeteksi
administrator.
43
keperluan yang tidak bertanggung jawab. Berikut adalah skenario pertahanan yang akan penulis
bangun.
Pada skenario tersebut ketika penyerang mencoba untuk melakukan scanning system maka aplikasi
Ossec Hids akan memberikan notifikasi melalui email kepada administrator dan mem-block alamat ip
penyerang. Namun jika penyerang memiliki aplikasi scanning system yang bisa lolos dari
pendeteksian Ossec Hids sehingga penyerang bisa mengetahui adanya celah keamanan yang bisa
dimasuki untuk memperoleh akses maka ketika penyerang mencoba memperoleh akses dengan cara
illegal Ossec Hids akan memberikan notifikasi melalui email dan memblock alamat ip penyerang.
Namun ketika penyerang melakukan gaining access terhadap sistem tanpa terdeteksi Ossec Hids
sehingga penyerang berhasil memasang rootkit di server maka pada tahap ini Ossec Hids akan
memberikan notifikasi kepada administrator bahwa ada aplikasi rootkit yang telah terpasang di
server. Dengan mekanisme pertahanan seperti ini administrator bisa mengetahui sejak awal jika ada
indikasi penyusupan. Berikut adalah gambar dari sistem pendeteksian Ossec Hids berupa notifikasi
melalui email dan fitur active response yang bisa memblock alamat ip penyerang.
44
1. Penyerang melakukan scanning system
Setelah Ossec Hids dipasang penyerang masih bisa melakukan scanning system untuk
memperoleh informasi mengenai celah keamanan. Namun aplikasi Ossec Hids memberikan
notifikasi melalui email kepada administrator dan memblock ip penyerang sehingga penyerang
tidak bisa melakukan koneksi terhadap sistem server.
45
- Block ip penyerang
46
- Block alamat ip
47
Berdasarkan hasil pengujian ketika penyerang berhasil memasang rootkit Ossec Hids hanya mampu
memberikan notifikasi melalui email tanpa bisa menghapus rootkit yang telah dipasang. Sehingga
akan sangat berbahaya jika aplikasi rootkit ini berhasil dipasang pada server oleh pihak penyerang.
48
Berdasarkan skenario penyerangan di atas penulis akan menampilkan beberapa gambar mengenai
alamat ip dan aplikasi yang digunakan attacker serta dampak dari serangannya.
1. Attacker 1
2. Attacker 2
3. Attacker 3
49
4. Attacker 4
5. Klien
50
6. Efek serangan
Terlihat efek serangan di sisi klien yaitu terdapatnya packet loss. Dari sepuluh paket yang
dikirim , paket yang terkirim sebanyak tujuh dan yang hilang sebanyak tiga sehigga
persentase packet lossnya sebesar 30% loss.
51
Gambar 4.75 Skenario Pertahanan dari Serangan DDoS
Berikut adalah hasil pengujian sistem server yang diserang DDoS setelah dipasang aplikasi Ossec
Hids.
1. Monitoring Sistem
52
2. Notifikasi Email
Walaupun traffic di jaringan tinggi tetapi Ossec mampu memberikan notifikasi melalui email
bahwa ada permasalahan yang mengindikasikan serangan yang menyerang server.
3. Aktif Respon
53
4.3 Analisa Hasil Pengujian
Berdasarkan pengujian yang telah dilakukan berikut ini adalah tabel hasil dari penguijan
Menjalankan
Start
1 Aplikasi Ossec Terdapat -
Ossec
Hids
Install Rootkit di
4 Penyerangan Terdapat -
server
Berdasarkan tabel hasil pengujian di atas Ossec Hids mampu memberikan notifikasi terhadap semua
serangan yang disimulasikan. Ketika penyerang mencoba mencari tahu informasi sistem
menggunakan aplikasi port scanner , Ossec mampu memberikan notifikasi dan aktif respon terhadap
ip penyerang. Begitu juga ketika penyerang mencoba memasuki sistem menggunakan metode brute-
force , Ossec mampu memberikan notifikasi melalui email dan aktif respon kepada ip penyerang.
Namun jika penyerang mampu memasuki sistem tanpa terdeteksi Ossec sehingga mampu menanam
rootkit di server , Ossec mampu memberikan notifikasi bahwa terdapat aplikasi illegal yaitu rootkit
yang dipasang pada sistem Anda. Namun untuk fitur aktif respon tidak terdapat ketika serangan
rootkit terjadi karena fitur aktif respon yang diberikan Ossec hanya untuk memblock alamat ip
penyerang sementara serangan rootkit terjadi ketika penyerang berhasil memasuki sistem tanpa
terdeteksi terlebih oleh IPS (Intrusion Preventiosn System). Untuk serangan DDoS, Ossec mampu
mengirimkan notifikasi melalui email dan melakukan pemblokiran terhadap alamat ip penyerang.
Namun Ossec tidak mampu menghentikan paket data yang dikirimkan penyerang sehingga traffic di
jaringan tetap tinggi.
54
DAFTAR REFERENSI
Calderon, P. (2012). Network Exploration and Security Auditing Cookbook. Mumbai, Birmingham,
England.
Cid, D. (2009). Ossec Hids Host-Based Intrusion Detection Guide. United States of America.
Prabawati, A. (2010). Belajar Hacking dari Nol. In Belajar Hacking dari Nol. Yogyakarta: Penerbit Andi.
55
56