Jaringan Komputer Lanjut

Load Balancing
 Bagian 1

Pengantar Load Balancing

2
 Introduction
• Server Load Balancing (SLB) adalah proses dan
teknologi yang bertujuan mendistribusikan trafik
situs ke beberapa server melalui jaringan
computer
• SLB meng-intercept trafik yang ditujukan ke
sebuah website dan me-redirect trafik tersebut ke
server lain
• Biasanya terdapat lebih dari satu server yang
digunakan untuk satu URL

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 3
 Fungsi Load Balancer
1. Meng-intercept trafik yang ditujukan ke sebuah situs
2. Membagi trafik menjadi request individual dan menentukan server yang dituju untuk setiap request
3. Me-monitoring server yang tersedia dan memastikan server-server tersebut merespon trafik yang dating.
Jika tidak, server yang dianggap mati tidak akan digunakan
4. Menyediakan redudansi jika menggunakan lebih dari satu unit untuk menanggulangi fail-over
5. Meneyediakan content-aware distribution, dengan membaca URL, intercept cookies, dan XML Parsing

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 4
 In The Begining
• Ketika mulai booming pada tahun 1995, Satu server saja cukup untuk mengatasi pemrosesan sebuah
website yang popular.
• Bahkan jika server tersebut mati bukan menjadi hal yang besar
• Sejak internet mulai dianggap memiliki potensi dan kekuatan dalam melakukan bisnis, arsitektur server
mulai menjadi kompleks
• Kebutuhan sumber daya untuk menjalankan sebuah aplikasi meningkat secara signifikan dikarenakan
banyak orang yang menggunakan sistem tersebut
• Menambah sumber daya server adalah salah satu jalan untuk memenuhi kebutuhan tersebut.
• Bagaimana jika sudah menggunakan spesifikasi hardware paling tinggi, namun belum bisa memenuhi kebutuhan
sistem ?
• Penambahan atau penggantian hardware akan menyebabkan downtime

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 5
 DNS-Based Load Balancing
• Sebelum ada SLB, sysadmin menggunakan metode DNS BIND8
DNS Round Robin
• DNS Round Robin menggunakan fungsi DNS yang
memperbolehkan sebuah hostname
menggunakan lebih dari satu alamat IP
• Umumnya hanya satu alamat IP saja (ISO DNS DNS Round Robin
Server, BIND8)

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 6
 Komponen SLB
• VIP (Virtual IP)
• Alamat IP yang bias diakses public
• VIP membuat kumpulan server real terlihat menjadi satu server dari sisi client
• Dapat Terdiri dari satu atau lebih server real
• TCP atau UDP port juga biasanya didefinisikan bersama dengan VIP

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 7
 Komponen SLB
• Servers
• Perangkat yang menjalankan service
• Antar service saling berbagi resource
• Server biasanya memiliki alamat IP yang tidak bisa diakses secara public
• Groups
• Kumpulan server yang akan di-load balancing
• Server di dalam group harus identik
• Terminologi lain dari group adalah “farm” atau “server farm”
• User Access Level
• Mengatur control yang dimiliki oleh user
• Setiap vendor load balancer memiliki jenis level yang berbeda-beda
• Umumnya ada 2 jenis level:
• Readonly: User tidak bias melakukan perubahan pada server. Cocok untuk kegiatang monitoring
• Superuser: Mampu melakukan perubahan pada seluruh sistem

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 8
 Redudancy
• Konsep dari redudansi adalah menyediakan
pengganti perangkat jika perangkat utama down
dengan dampak yang kecil atau bahkan tidak ada
terhadap keberlangsungan operasi
• Minimal menggunakan dua perangkat
• Perangkat dapat memeriksa status perangkat
lainnya menggunakan protocol

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 9
 Redudancy Roles
• Active-Standby
• Perangkat pertama aktif digunakan dan dapat menerima trafik
• Perangkat kedua standby dan tidak menerima trafik
• Perangkat kedua akan aktif jika perangkat pertama mengalami failure
• Disebut juga master/slave

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 10
 Redudancy Roles
• Active-Active
• Kedua perangkat dapat menerima trafik
• VIPs dapat didistribusikan ke dua perangkat
• VIP1 untuk Load Balancer A dan VIP2 untuk Load Balancer B
• Di skenarion lain, satu perangkat dapat memiliki lebih dari satu VIP

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 11
 Keuntungan menggunakan SLB
1. Flexibility
• Penambahan dan pengurangan server dapat dilakukan kapan saja
• Efek dari penambahan dan pengurangan server dapat langsung dirasakan
• Mempermudah maintenance server tanpa mengganggu jalannya aplikasi
• High Availability
• SLB dapat memeriksa status ketersediaan server
• Mengeluarkan non-responding server dari rotasi dan memasukkannya kembali jika sudah tidak bermasalah secara
otomatis tanpa intervensi administrator
• Scalability
• Bisa menambah server jika aplikasi berkembang membutuhkan sumber daya yang lebih besar
• Server ukuran kecil-medium harganya lebih murah ketimbang harus membeli server besar

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 12
 Bagian 2

Amazon Web Service

13
 Objective
• Load Balancing
• High Availability

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 14
 Elastic Load Balancing (ELB)
• Elastic Load Balancing secara otomatis
mendistribusikan lalu lintas aplikasi yang masuk ke
beberapa target, seperti instans Amazon EC2,
kontainer, alamat IP, dan fungsi Lambda.
• dapat menangani berbagai beban lalu lintas
aplikasi dalam satu Availability Zone atau di
App
beberapa Availability Zone.
• Elastic Load Balancing menawarkan tiga jenis
App
penyeimbang beban yang semuanya memiliki
ketersediaan tinggi, penskalaan otomatis, dan
keamanan kuat yang diperlukan untuk membuat User Traffic ELB App
aplikasi toleran terhadap kesalahan.

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 15
 Fitur ELB
• Menggunakan protocol HTTP, HTTPS, TCP dan SSL (secure TCP)
• Dapat diimplementasikan untuk jarigan eksternal dan internal
• Eksternal: dapat diakses melalui internet dan mendistribusikan trafik ke jaringan VPC
• Internal: hanya dapat diakses oleh jaringan VPC saja
• Setiap ELB mendapatkan DNS Name
• DNS Name dipakai untuk mengirim request ke ELB tersebut
• Dapat mengetahui dan merespon instance yang dianggap bermasalah
• Menggunakan layanan CloudWatch untuk memonitor target yang berada di belakang ELB
• Jika ELB mendeteksi target yang bermasalah, secara otomatis ELB akan menghentikan trafik ke target tersebut

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 16
 ELB: Options

Application Load Balancer Network Load Balancer Classic Load Balancer

HTTP PREVIOUS GENERATION

TCP
HTTPS for HTTP, HTTPS, and TCP

• Flexible application management • Extreme performance and static IP for • Existing application that was built within
• Advanced load balancing of HTTP and your application the EC2 Classic network
HTTPS traffic • Load balancing of TCP traffic • Operates at both the request level and
• Operates at the request level • Operates at the connection level (Layer connection level

(Layer 7) 4)

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 17
 Keuntungan Application Load Balancer
• Mendukung path-based routing
• Dapat meneruskan request berdasarkan URL
• Mendukung microservice, mampu meneruskan request ke service yang sesuai berdasarkan content dari URL
• Mendukung host-based Routing
• Meneruskan request berdasarkan host field di HTTP Header
• Dapat meneruskan request ke lebih dari satu domain menggunakan satu Load Balancer
• Dapat meneruskan request ke aplikasi yang berbeda dalam satu instance EC2
• Mendukung redirect request dari satu URL ke URL lain
• Dapat menggunakan fungsi Lambda sebagai target
• Mendukung Elastic Container Service sebagai target

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 18
 Application Load Balancer

www.example.com
/orders Orders Orders

/images Images Images

Application Load
Balancer /registration Reg Reg

Availability Zone Availability Zone

A B

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 19
 Keuntungan Network Load Balancer
• Mendukung alamat IP statis untuk load balancer
• Mendukung registrasi target menggunakan alamat IP target
• Dapat meneruskan request ke aplikasi yang berbeda dalam satu instance EC2
• Mendukung Elastic Container Service sebagai target

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 20
 Kenapa Harus ELB ?

High Health Security TLS

availability checks features termination

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 21
 High Availability
• Regions
• Terdapat 21 zona geografis
• Setiap zona minimal terdapat tiga availability zone
• Availability Zone
• Terdapat 66 global zone
• Setiap datacenter memiliki cadangan power, jaringan dan pendingin
• Deploy di lebih dari satu availability zone dapat melindungi aplikasi down dari failure
• Compliance and data residency
• Amazon memberikan kontrol penuh atas AWS region untuk membantu mematuhi persyaratan kedaulatan data

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 22
 Health Checks
• Menggunakan aktif dan pasif health check
• Aktif: ELB mengirimkan request ke target untuk memeriksa status target
• Pasif: ELB mengobservasi bagaiman target merespon koneksi. Dapat mendeteksi target yang bermasalah sebelum
aktif health check

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 23
 Security
• Security group bertindak sebagai firewall yang mengontrol trafik dari dan ke instances.
• Aturan dapat dimodifikasi
• Aturan akan berlaku untuk seluruh instance yang berada di dalam security group tersebut

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 24
 TLS Termination
• Transport Layer Security (TLS) berfungsi sebagai pengamanan kanal komunikasi ketika menggunakan HTTPS
• Umumnya TLS dibebankan ke server untuk proses encrypt dan decrypt
• TLS Termination adalah kemampuan ELB untuk melakukan encrypt dan decrypt TLS, sehingga server tidak
perlu lagi melakukan hal tersebut.

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 25
 Deregistration Delay
• ELB akan berhenti mengirim request ke target yang
di-deregister
• Secara default, ELB akan menunggu (delay) selama Affected backend
300 detik sebelum menyelesaikan proses instances will complete
deregister requests in progress
before deregistration
• Selama menunggu, target bias menyelesaikan
proses yang sedang berlangsung.
• Waktu menunggu dapat diganti
App
• Jika pada saat delay sudah tidak ada proses yang
berjalan, proses deregister akan diselesaikan,
tetapi status akan tetap “draining”. App

• Status akan berubah “unused” jika waktu delay

User traffic ELB
sudah habis App

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 26
 High Availability
• High Availability adalah kondisi saat aplikasi
recover dari failure atau ketika layanan berpindah
ke target yang lain
• Umumnya dilihat berdasarkan downtime dan
uptime dari aplikasi tersebut Percent of Max Equivalent
Uptime Downtime per Downtime per Day
• Pengguna biasanya memiliki requirement untuk Year
minimum uptime
90% 36.5 days 2.4 hrs
99% 3.65 days 14 min
99.9% 8.76 hrs 86 sec
99.99% 52.6 min 8.6 sec
99.999% 5.25 min .86 sec

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 27
 Contoh High Availibility

Best practice
Create a secondary
(standby) database
Replication server and replicate the
Database Database
server server data
App server (primary) (secondary)

Secondary server
Replication picks up the load
Database
server
App server (secondary)
Main database server
goes offline

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 28
Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 29
Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 30
Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 31
 Internet
gateway
Start with two Availability Zones per
AWS Region.

If resources in one Availability Zone

EC2 EC2
are unreachable, your application
shouldn’t fail.
Availability Zone a Availability Zone b

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 32
 Internet
gateway
Inbound public
traffic

Public subnet ELB Public subnet

Private subnet ELB Private subnet

Availability Zone a Availability Zone a

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 33
 Internet
gateway

Public subnet ELB Public subnet Inbound private

traffic

Private subnet ELB Private subnet

Availability Zone a Availability Zone b

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 34
 Internet
gateway

Outbound
private traffic

Public subnet ELB Public subnet

Private subnet ELB Private subnet

Availability Zone a Availability Zone b

Cloud Computing dengan Amazon Web Service | Konsep Dasar dan AWS Global Infrastructure | Universitas Gunadarma 35