Assignment

Individual

Dian Rahmad Dermawan

(2201921086)

Session 10
To be Submitted Week XX

COMP8025 Big Data Analytics

Jawablah pertanyaan berikut dengan jelas dan lengkapi dengan ilustrasi jika diperlukan.

1. Ada beberapa kriteria yang harus kita perhatikan dalam memilih pemrosesan system pada
Big Data, salah satunya adalah latency.
a. Kapan low-latency dan high-latency diperlukan?
Jawaban:
Latency merupakan waktu yang dibutuhkan data untuk mencapai tujuannya atau bisa
juga berarti waktu dibutuhkan dalam pemrosesan suatu data.
Low latency dapat melakukan suatu proses pengolahan data dengan sangat cepat akan
tetapi membutuhkan biaya yang cukup besar sedangkan pada high latency tidak
membutuhkan waktu yang cukup lama dengan biaya yang lebih kecil.
Low latency dibutuhkan pada saat melakukan proses data yang bersifat real time dan
hasil / outputnya dibutuhkan pada saat itu juga. Biasanya low latency digunakan
untuk melakukan Analisa data yang masuk setiap detiknya dengan ukuran data yang
tidak terlalu besar.
High latency dibutuhkan pada saat melakukan proses data per batch yang tidak
memerlukan output pada saat itu juga. Contoh penggunaan high latency yaitu pada
saat menganalisa data penjualan dalam waktu satu bulan / triwulan atau semester.

b. Jelaskan mengapa pada Map Reduce latency dianggap tinggi (high latency) dan pada
Spark untuk proses micro batch size dianggap rendah (low latency).
Map Reduce termasuk high latency karena proses dalam map reduce membaca dan
membagi data yang memiliki ukuran besar menjadi batch yang lebih kecil ke dalam
disk (HDFS) pada setiap prosesnya, dan juga map reduce menyimpan data pada banyak
node dan memproses secara batch, sehingga memerlukan waktu pemrosesan yang lebih
lama.
Spark pada proses micro batch size termasuk low latency karena dalam micro batch
data ditaruh di dalam memory dan diproses berulang-ulang tanpa menaruh ke dalam
disk dalam setiap proses sehingga waktu yang diperlukan lebih sedikit, hal ini berlaku
jika seluruh data yang diproses dapat ditaruh di memory.

2. Apa yang anda ketahui tentang Centrality pada Graph? apa yang dapat dijelaskan oleh
Centrality pada suatu graph yang menggambarkan hubungan antar personal dalam Social
Network?
Jawaban:
Dalam teori graf dan analisis jaringan, indikator sentralitas merupakan cara menetapkan
angka atau peringkat ke node dalam grafik yang sesuai dengan posisi jaringannya termasuk
cara mengidentifikasi orang yang paling berpengaruh dalam jaringan sosial, selain itu juga
cara mencari simpul infrastruktur utama di Internet atau jaringan perkotaan, dan cara
penyebaran penyakit, serta jaringan otak.

COMP8025 Big Data Analytics

Konsep sentralitas pertama kali dikembangkan dalam analisis jaringan sosial, dan banyak
istilah yang digunakan untuk mengukur sentralitas mencerminkan asal sosiologisnya.
Indeks sentralitas merupakan jawaban atas pertanyaan "Apa yang mencirikan simpul
penting?" Jawabannya diberikan dalam bentuk fungsi bernilai nyata pada simpul dari suatu
graf, di mana nilai yang dihasilkan diharapkan memberikan peringkat yang
mengidentifikasi simpul paling penting.
Berbagai studi telah dilakukan untuk menjawab pertanyaan “siapakah yang paling berperan
penting dalam suatu jejaring sosial?”. Berbagai pendekatan telah dilakukan untuk
menentukan nodes terpenting dalam suatu jejaring.
Dalam menentukan pemeran penting di suatu jejaring sosial, peneliti biasanya
menggunakan lebih dari satu jenis pengukuran centrality. Beberapa pengukuran centrality
yang populer digunakan dalam analisis jejaring sosial yaitu
a. Degree centrality:
Degree Centrality merupakan ukuran centrality yang paling mudah untuk dihitung.
Besaran degree suatu node didefinisikan sebagai jumlah edges yang terhubung
langsung dengan node tersebut. Ukuran inilah yang kemudian disebut sebagai nilai
degree centrality. Pada jejaring yang memiliki arah, perhitungan degree centrality dapat
dilakukan dengan dua cara yaitu melalui perhitungan in-degree dan out-degree.
Keduanya memiliki makna berbeda. Misalnya, aliran donasi pemerintahan ke
masyarakat atau sebaliknya.
b. Betweenness centrality
Betweenness centrality merupakan ukuran tingkat kepentingan seseorang berdasarkan
kemampuannya dalam menghubungkan banyak orang lain di dalam jejaring sosialnya.
Intinya nodes yang tinggi betweenness Centrality memiliki andil dan peranan besar
bagi terhubungnya jaringan.
c. Closeness centrality
Closeness centrality merupakan ukuran tingkat kepentingan seseorang berdasarkan
jarak rata-rata menuju seluruh orang lainnya di dalam jejaring sosial. Closeness
Centrality masih berkaitan dengan prinsip pemilihan jalur pada jejaring sosial, jalur
yang paling sering dipilih untuk menghubungkan dua nodes merupakan jalur yang
tersingkat atau shortest path. Seseorang dengan nilai closeness centrality tertinggi
adalah seseorang yang memiliki total shortest path terkecil untuk mencapai seluruh
orang lainnya dalam jejaring social.
d. Eigenvector centrality
Eigenvector centrality merupakan ukuran tingkat kepentingan seseorang berdasarkan
akumulasi tingkat kepentingan orang-orang yang berada disekitarnya. Pada
perhitungan eigenvector, setiap kali seseorang terhubung dengan orang lainnya, maka
kenaikan nilai centrality yang dimiliki orang tersebut proporsional dengan nilai
centrality node yang terhubung dengannya. Misalnya seseorang dianggap orang
penting karena memiliki kedekatan personal dengan pemeran-pemeran penting
lainnya.

COMP8025 Big Data Analytics

 e. Pagerank centrality
Pagerank centrality merupakan cara pengukuran centrality yang kemudian didefinisi
ulang. Centrality diukur dengan pertimbangan nilai centrality yang diteruskan oleh
suatu node merupakan nilai centrality yang proporsional dengan jumlah edges
keluarannya. Jadi, suatu node dengan centrality hanya meneruskan centrality yang kecil
kepada banyak nodes lainnya. Semakin banyak nodes yang dituju, maka proporsi
kontribusi nilai centrality yang diteruskan semakin kecil.
f. Hub & Authority.
Hub merupakan node yang mengandung informasi secara umum, jika butuh informasi
spesifik, hub mereferensikan node mana yang perlu ditinjau. Node ini disebut sebagai
authority

3. TP 4 Analitik menggunakan Teori Graph sangat dibutuhkan dalam Big Data.

a. Apa keunggulan pernyataan secara Graph dibandingkan dengan Chart?
b. Tuliskan Clique dan Community yang mungkin dari graph berikut

Jawaban:

a. Keunggulan graph dibandingkan dengan chart yaitu:

Graph merupakan tampilan visual dari informasi kuantitatif dengan 2 sumbu yang
dapat menunjukkan data yang besar dengan cepat dan mudah diproses atau dicerna oleh
user, dengan tampilan graph tersebut akan dengan mudah menunjukkan patern/pola,
trend dan exception dalam urutan waktu. Selain itu graph akan lebih mudah
menunjukkan hubungan antara data di dalam keseluruhan set data. Lain halnya dengan
chart yang hanya dapat menunjukkan data kuantitatif saja.

COMP8025 Big Data Analytics

b. Clique merupakan suatu subgraph lengkap tak berarah dari suatu graph yang terdiri
dari tiga titik atau lebih. Graph lengkap merupakan graph yang setiap dua titik berbeda
pada graph tersebut dihubungkan oleh suatu sisi. kelompok kecil dari suatu graph.
Community merupakan gabungan maksimal dari beberapa clique yang dapat
dihubungkan satu dengan yang lainnya melalui suatu sisi
Jumlah clique yang ada pada graph tersebut ada 3 yaitu:

Clique 1

Clique 2 Clique 3

Gambar 1 Clique pada graph

Clique 1 : ABC
Clique 2 : DEF
Clique 3 : GHI

COMP8025 Big Data Analytics

 Pada graph tidak dapat membentuk community dikarenakan tidak ada node yang sama
-sama digunakan dalam 1 graph, akan tetapi untuk membuat community pada graph
tersebut dapat dilakukan dengan menggunakan asumsi bahwa terdapat penghubung
pada edge C dan H sehingga dapat terbentuk community CGHI. Kemudian dapat
diasumsikan juga terdapat penghubung pada edge B dan D sehingga membentuk
community ABCD serta penghubung pada edge D dan H sehingga membentuk
community DEFH seperti pada gambar 2:

Community 2

Community 1

Community 3
Gambar 2 Community yang dapat dibentuk dengan asumsi terdapat penghubung antara DC, DH, dan CH

Community 1 : CGHI
Community 2 : ABCD
Community 3 : DEFH

COMP8025 Big Data Analytics