TUGAS 5

AE6001 KAPITA SELEKTA DIRGANTARA B

Oleh
Rizqy Agung (23621018)

PROGRAM STUDI MAGISTER TEKNIK DIRGANTARA

FAKULTAS TEKNIK MESIN DAN DIRGANTARA
INSTITUT TEKNOLOGI BANDUNG
2022
Nomor 1

a. Tuliskan dan jelaskan prinsip Maximum Likelihood

b. Apakah MLE dapat dikategorikan sebagai ‘good estimator’? Jelaskan
c. Berdasarkan prinsip Maximum Likelihood, terdapat dua metode yang cukup umum
digunakan pada identifikasi sistem pesawat udara, sebutkan kedua metode tersebut dan
jelaskan perbedaannya

Solusi :

a. Maximum Likelihood (MLE) adalah suatu metode untuk mengestimasi atau mendapatkan
nilai parameter (𝜃) dengan prinsip dasarnya yaitu memilih nilai parameternya (𝜃) sehingga
berada dalam jangkauan yang mengakibatkan 𝑝(𝑧|𝜃) menjadi maksimum. 𝑝(𝑧|𝜃) adalah
probabilitas dari data hasil pengukuran z dari parameter (𝜃) yang kita berikan. Metode ini
utamanya dikembangkan oleh Sir Raynold Aylmer Fisher dan menjadi salah satu metode
statistik yang sangat berkembang pada abad ke-20.

Gambar 1. Ilustrasi Sederhana Metode Maximum Likelihood [1]

Secara matematika, metode ini dapat dirumuskan seperti berikut

𝑝(𝑧|𝜃)𝑝(𝜃)
𝑝(𝜃|𝑧) =
𝑝 (𝑧 )
Dengan mengasumsikan hasil pengukuran (𝑧) berupa distribusi, sehingga persamaan
likelihood-nya dapat didefinisikan sebagai “joint density function”
𝑝(𝑧|𝜃) = 𝑝(𝑧1 |𝜃) ∙ 𝑝(𝑧2 |𝜃) ∙ 𝑝(𝑧3 |𝜃) ⋯ 𝑝(𝑧𝑛 |𝜃)
𝑁

𝑝(𝑧|𝜃) = ∏ 𝑝(𝑧𝑘 |𝜃)

𝑘=1
b. Maximum Likelihood (MLE) dapat dikategorikan sebagai “good estimator” [1] karena
beberapa alasan, yaitu :
• Hasil estimasi tidak bias
• Memiliki varian minimum
• Hasil estimasi yang konsisten
• Process & Measurement Noise dapat dipertimbangkan dalam metode ini
c. Dalam identifikasi sistem pesawat terdapat dua metode yang diturunkan berdasarkan
prinsip Maximum Likelihood, yaitu
• Output Error Method (OEM) merupakan suatu metode dengan meninimalkan
error dari hasil estimasi, namun metode ini hanya dapat mengkonsiderasi
measurement noise dalam proses penggunaannya.
• Filter Error Method (FEM) merupakan suatu metode yang meninimalkan error
yang ada pada proses pengukuran dari hasil estimasinya, sehingga metode ini
dapat mengkonsiderasi process & measurement noise dalam proses
penggunaannya.
Nomor 2
Suatu distribusi Gaussian dengan standard deviasi 0.5, dimana jumlah data yang diberikan
sebanyak 100 sampel. Lakukan inferensi/estimesi expected value populasinya melalui 100
sampel tersebut dengan menggunakan brute force method via prinsip Maximum Likelihood
a. Tampilkan expected value (parameter) yang diuji, digunakan ∆𝛩 = 0.1 dengan jumlah
𝛩 yang diuji tidak lebih dari 25
b. Tampilkan masing-masing likelihood dari 𝛩 yang diuji
c. Cari 𝛩 yang kira-kira merepresentasikan expected value dari populasinya

Solusi :

a. Sebanyak 100 sampel dari data yang diberikan, ditampilkanlah datanya seperti berikut ini.

Apabila diplot pada histogram, maka hasilnya tersaji seperti berikut.

b. Dilanjutkan dengan mendefenisikan distribusi Gaussian dan fungsi Maximum Likelihood-
nya pada code yang dibuat, dimana teorinya diambil dari referensi [1].

Dengan menggunakan Brute Force Method dengan prinsip Maximum Likelihood, pengujian
terhadap expected value (parameter) dilakukan dengan ∆𝛩 = 0.1 dengan jumlah 𝛩 yang diuji
tidak lebih dari 25 (dengan rentang nilai 2 hingga 4). Code program dengan bahasa python
terlampir seperti berikut.
Sehingga hasil pengujiannya diketahui seperti berikut ini

c. Berdasarkan hasil pada bagian sebelumnya, dapat diketahui bahwa 𝛩 yang dapat
merepresentasikan expected value dari populasinya adalah 2.5 dengan nilai likelihood
terbesarnya yaitu 3.28E-97.
Nomor 3

Sama seperti pertanyaan nomor 2, lakukan estimasi baik expected value maupun standard
deviasinya yang memberikan nilai likelihood maksimum. Sebagai petunjuk, standar deviasinya
terletak dalam rentang 1-5

Solusi :

Berbeda dengan soal nomor 2, data yang digunakan berbeda dengan sebelumnya. Sehingga
apabila ditampilkan dengan code akan tersaji seperti berikut.

Apabila ditampilkan dengan histogram, maka bentuknya akan seperti berikut

Dengan mendefenisikan kembali distribusi Gaussian dan metode Maximum Likelihood yang
digunakan.

Dengan menggunakan Brute Force Method dengan prinsip Maximum Likelihood, pengujian
terhadap expected value (parameter) dilakukan dengan ∆𝛩 = 0.1 dengan jumlah 𝛩 yang diuji
tidak lebih dari 25 (dengan rentang nilai 4 hingga 6). Tetapi untuk kasus di soal nomor 3 ini
nilai standar deviasinya divariasikan dari 1 sampai 5. Code program dengan bahasa python
terlampir seperti berikut.

Sehingga hasil pengujiannya diketahui seperti berikut ini

Berdasarkan hasil pada bagian sebelumnya, dapat diketahui bahwa 𝛩 yang dapat
merepresentasikan expected value dari populasinya adalah 5.083, nilai standar deviasi
terbaiknya adalah 2.33, dan nilai likelihood terbesarnya yaitu 2.69E-98.
Nomor 4

Berdasarkan pertanyaan nomor 2 dan 3, jelaskan perbedaan mendasar Least Square Method
dengan prinsip Maximum Likelihood dalam meakukan estimasi parameter suatu model.

Solusi :

Berdasarkan referensi [1] dan kutipan Paul Chiou (Professor at Mathematical Departement of
Lamar University) [2], perbedaan mendasar dari Metode Least Square dengan prinsip
Maximum Likelihood adalah jenis model yang diestimasi. Dimana Metode Least Square
digunakan untuk mengestimasi koefisien pada sebuah regresi linier dengan meminimumkan
jumlah kuadrat dari nilai yang diestimasi dengan nilai yang berasal dari observasi terlepas dari
apapun bentuk distribusi galatnya. Selain itu, metode ini juga dapat digunakan untuk
meminimumkan nilai residualnya. Sehingga metode ini menghasilkan estimator linier yang
paling baik pada koefisien yang diestimasi. Sementara itu apabila distribusi galatnya diketahui,
maka prinsip Maximum Likelihood dapat digunakan untuk melakukan estimasinya. Prinsip
Maximum Likelihood adalah suatu metode dengan pendekatan melalui menghitung
probabilitasnya dengan mencari nilai parameter yang memberikan nilai peluang yang paling
besar sehingga itu dapat merepresentasikan kondisi sebenarnya.

Apabila ingin disimpulkan lebih detail, dari penjelasan diatas dapat diambil beberapa
perbedaan mendasar dari kedua metode tersebut, yaitu:

1. Jenis model, dimana Metode Least Square digunakan untuk model regresi linier dan
Maximum Likelihood dapat dilakukan pada model secara general.
2. Distribusi galat, dimana Metode Least Square tidak mempertimbangkan apapun jenis
distribusinya sedangkan pada Maximum Likelihood perlu diketahui dengan
mengasumsikan jenis distribusinya
3. Probabilitas, dimana Metode Least Square tidak mempertimbangkan probabilitas
sedangkan pada Maximum Likelihood merupakan metode yang mengestimasi suatu
parameter dari suatu model statistik sehingga probabilits perlu diperhitungkan.
Referensi

[1 H. Muhammad and J. Sembiring, Estimation of Dynamics Models (Chapter 6, Part 2),

] Bandung: Institut Teknologi Bandung; Fakultas Teknik Mesin dan Dirgantara, 2022.

[2 P. Chiou, "ResearchGate," 30 November 2015. [Online]. Available:

] https://www.researchgate.net/post/What_are_the_basic_differences_between_OLS_and_
Maximum_Likelihood_method. [Accessed 16 Mei 2022].
 LAMPIRAN
Nomor 2
import numpy as np
import math
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

df = pd.read_csv("data_01.csv")
df

fig,ax = plt.subplots(1,1)
ax.hist(df.z_sampling)

# This Code Originally Developed by Pak Javen

# And slightly changed by Rizqy Agung
def Gaussian_PDF(mu,sigma,z):
k = 1./(sigma*np.sqrt(2*np.pi))
e = np.exp(-(z-mu)**2/(2*sigma**2))
f = k*e
return f

def Likelihood_Gaussian(mu, sigma, Z):

pzs = []
for zdata in Z:
p_z = Gaussian_PDF(mu, sigma, zdata)
pzs.append(p_z)
return np.array(pzs).prod()

# This Code Originally Developed by Pak Javen

# And slightly changed by Rizqy Agung
def Gaussian_PDF(mu,sigma,z):
k = 1./(sigma*np.sqrt(2*np.pi))
e = np.exp(-(z-mu)**2/(2*sigma**2))
f = k*e
return f

def Likelihood_Gaussian(mu, sigma, Z):

pzs = []
for zdata in Z:
p_z = Gaussian_PDF(mu, sigma, zdata)
pzs.append(p_z)
return np.array(pzs).prod()
Nomor 3
import numpy as np
import math
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

df = pd.read_csv("data_02.csv")
df

fig,ax = plt.subplots(1,1)
ax.hist(df.z_sampling)

# This Code Originally Developed by Pak Javen

# And slightly changed by Rizqy Agung
def Gaussian_PDF(mu,sigma,z):
k = 1./(sigma*np.sqrt(2*np.pi))
e = np.exp(-(z-mu)**2/(2*sigma**2))
f = k*e
return f

def Likelihood_Gaussian(mu, sigma, Z):

pzs = []
for zdata in Z:
p_z = Gaussian_PDF(mu, sigma, zdata)
pzs.append(p_z)
return np.array(pzs).prod()

# Brute Force
theta_test = np.linspace(4,6,25)
sdev_test = np.linspace(1,5,25)
# Storage
likelihood = []
testedsdev = []
testedmu = []

# Set initial condition of parameters

max_likelihood = -np.inf

# Set the data

for sd in sdev_test:
for mu in theta_test:
L = Likelihood_Gaussian(mu,sd,df.z_sampling)
print('Tested mu: {:2.1f} ... Tested sdev: {:2.1f} ... likelihood: {:2.3E} '.format(mu,sd,L))
likelihood.append(L)
testedsdev.append(sd)
testedmu.append(mu)
for i in range(len(likelihood)):
if likelihood[i]>max_likelihood:
max_likelihood = likelihood[i]
best_mu = testedmu[i]
best_sdev = testedsdev [i]
print("The Best standard deviation is ",best_sdev, " with best theta is ",best_mu," with the
likelihood is ",max_likelihood)