0 penilaian0% menganggap dokumen ini bermanfaat (0 suara)
14 tayangan17 halaman
Dokumen tersebut membahas tentang Spark Machine Learning. Ia menjelaskan sejarah, arsitektur, kelebihan dan kekurangan, serta implementasi Spark ML. Spark ML dikembangkan untuk memproses data besar secara terdistribusi menggunakan basis Spark. Ia menyediakan berbagai algoritma ML dan dapat diimplementasikan untuk berbagai jenis data seperti teks, produk, citra, dan video.
Dokumen tersebut membahas tentang Spark Machine Learning. Ia menjelaskan sejarah, arsitektur, kelebihan dan kekurangan, serta implementasi Spark ML. Spark ML dikembangkan untuk memproses data besar secara terdistribusi menggunakan basis Spark. Ia menyediakan berbagai algoritma ML dan dapat diimplementasikan untuk berbagai jenis data seperti teks, produk, citra, dan video.
Dokumen tersebut membahas tentang Spark Machine Learning. Ia menjelaskan sejarah, arsitektur, kelebihan dan kekurangan, serta implementasi Spark ML. Spark ML dikembangkan untuk memproses data besar secara terdistribusi menggunakan basis Spark. Ia menyediakan berbagai algoritma ML dan dapat diimplementasikan untuk berbagai jenis data seperti teks, produk, citra, dan video.
2. Dicky Setiawan (22/511229/NPA/19857) 3. Maulana Malik Ibrahim Al-Ghiffary (22/511231/NPA/19859)
Locally Rooted, Globally Respected
Pembahasan Hari Ini…
A. Sejarah Spark Machine Learning
B. Arsitektur dan Cara Kerja Spark ML C. Kelebihan Spark ML D. Kekurangan Spark ML E. Implementasi Spark ML
www.ugm.ac.id Locally Rooted, Globally Respected
Sejarah Spark Machine Learning
Locally Rooted, Globally Respected
Sejarah Spark Machine Learning 2009, Apache Spark dikembangkan oleh Matei Zaharia sebagai sistem komputasi distribusi data.
2012, Spark dirilis sebagai software Open Source kemudian pada
2013 Spark resmi menjadi bagian dari Apache Software Foundation
2014, Spark memperkenalkan library Machine Learning nya Bernama
MLlib, yang berisi algoritma klasifikasi, regresi, clustering, filtering, dan dimensionality reduction
2015 – 2017, MLlib memperkenalkan dukungan untuk DataFrames,
Pipelines, dan Deep Learning (melalui integrasi TensorFlow).
2018 – saat ini, MLlib terus dikembangkan dengan kemampuan graph
processing, distributed hyperparameter dan reinforcement learning
Locally Rooted, Globally Respected
Arsitektur dan Cara Kerja Spark ML
Locally Rooted, Globally Respected
Data Preparation, Machine Learning Algorithm, Komponen yang Komponen yang mencakup bertanggung jawab algoritma ML, seperti mengoptimalkan data agar regresi, klasifikasi, clustering, sesuai dengan format dan collaborative filtering. Machine Learning
Arsitektur dan Cara Kerja
Feature Engineering, Model Tuning & Evaluation,
Komponen yang bertanggung Komponen yang mencakup tools jawab membuat fitur baru dari untuk mengatur parameter model data yang ada dan mengevaluasi model ML
www.ugm.ac.id Locally Rooted, Globally Respected
Arsitektur Spark Machine Learning (lanjutan…)
Deployment, Spark ML menyediakan API Sederhana untuk men-deploy model ML secara scalable dengan berbagai pilihan seperti batch processing, streaming, dan real-time serving.
Spark ML juga menyediakan API Pipeline,
Yang memungkinkan untuk menggabungkan beberapa tahapan persiapan data, feature engineering, dan ML menjadi satu pipeline tunggal. Overall, arsitektur Spark ML didesain untuk menyediakan platform ML Scalable dan terdistribusi dengan API sederhana.
Locally Rooted, Globally Respected
Kelebihan dan Kekurangan
Locally Rooted, Globally Respected
Kelebihan Spark Machine Learning
Scalability, Distributed Computing, Algoritma yang Luas,
Spark ML dapat Spark ML menggunakan Spark ML menyediakan memproses data basis Apache Spark berbagai macam yang sangat besar sehingga kemampuan algoritma ML seperti melalui pembagian distribusi data Spark regresi, klasifikasi, tugas pada nodes. dapat dimanfaatkan clustering, dan untuk pemrosesan data collaborative filtering. yang cepat dan efisien.
Locally Rooted, Globally Respected
Kelebihan Spark Machine Learning
Easy to Use, Pipeline, Integrasi Big Data,
API Spark ML intuitif Spark ML memiliki API Spark ML terintegrasi dan memudahkan Pipeline yang berkemampuan dengan teknologi Big pengguna dalam menggabunkan tahapan Data lain seperti membangun persiapan data menjadi satu Hadoop dan Kafka, dan men-deploy pipeline tunggal. sehingga memudahkan model ML Bermanfaat memudahkan pengguna menganalisis pengguna dalam data dalam lingkungan mengorganisir ML yang Big Data kompleks
Locally Rooted, Globally Respected
Kekurangan Spark Machine Learning
Kompleksitas, Dokumentasi Kurang, Tidak Cocok Untuk
Meskipun Spark ML Dokumentasi Spark ML Data Kecil cukup intuitif, Jika kurang informatif bagi Spark ML dirancang pengetahuan pengguna baru seperti untuk bekerja dengan mengenai ML dan hal-hal kompleks yang dataset besar sehingga Apache Spark kurang kurang dijelaskan memerlukan nodes, memumpuni maka dengan baik. Jika data terlalu kecil penggunaannya akan penggunaannya tidak cukup kompleks. efisien
pada Spark, Deep Learning, untuk GPU Spark ML berjalan di Meskipun Spark ML Spark ML mendukung atas Spark, sehingga memiliki beberapa algoritma ML yang cepat perlu dilakukan algoritma Deep namun tidak memiliki instalasi dan Learning namun dukungan kuat untuk GPU konfigurasi Spark dukungan tersebut sehingga tidak dapat sebelum dapat belum kuat bagi memanfaatkan menggunakan pengguna. pemrosesan GPU yang Spark ML. tinggi
Locally Rooted, Globally Respected
Implementasi Spark ML
Locally Rooted, Globally Respected
Analisis Data Berbasis Teks
Spark ML dapat digunakan
untuk memproses data teks dalam jumlah besar, seperti dokumen, tweet, dan email. Dengan menggunakan teknik seperti pengelompokan, klasifikasi, dan analisis sentimen, pengguna dapat menganalisis data teks dan menghasilkan wawasan yang berharga.
Locally Rooted, Globally Respected
Rekomendasi Produk
Spark ML dapat digunakan
untuk membangun sistem rekomendasi produk yang cerdas. Dengan menggunakan teknik collaborative filtering, Spark ML dapat merekomendasikan produk yang mungkin disukai oleh pelanggan berdasarkan riwayat pembelian mereka.
Locally Rooted, Globally Respected
Pengolahan Citra dan Video
Spark ML dapat digunakan
untuk memproses data citra dan video dalam jumlah besar. Dengan menggunakan teknik seperti pengenalan wajah, identifikasi objek, dan segmentasi citra, Spark ML dapat membantu dalam pengolahan dan analisis citra dan video.