CLOUD STORAGE

Mari mulai dengan Google Cloud Storage. Apa yang dimaksud dengan
penyimpanan objek? Hal ini berbeda dengan penyimpanan file, tempat Anda
mengelola data sebagai hierarki folder. Hal ini juga berbeda dengan block storage,
tempat sistem operasi mengelola data Anda sebagai potongan disk. Sebagai
gantinya, penyimpanan objek berarti menyimpan ke penyimpanan di sini, Anda
menyimpan kumpulan byte arbitrer yang saya berikan dan penyimpanan
memungkinkan Anda menyelesaikannya dengan kunci unik. Begitulah. Seringkali
kunci unik ini dalam bentuk URL yang artinya penyimpanan objek berinteraksi
secara baik dengan Teknologi web. Cloud Storage bahkan berfungsi dengan lebih
baik. Penyimpanan ini adalah layanan skalabel yang terkelola sepenuhnya dan
artinya Anda tidak perlu menyediakan kapasitas sebelumnya. Cukup buat objek dan
layanan ini akan menyimpannya dengan tingkat katahanan dan ketersediaan yang
tinggi. Anda dapat menggunakan Cloud Storage untuk berbagai hal yang
menayangkan konten situs, menyimpan data untuk pengarsipan dan pemulihan dari
bencana, atau mendistribusikan objek data besar ke pengguna akhir melalui
Download Langsung. Cloud Storage bukanlah sistem file karena setiap objek di
Cloud Storage memiliki URL. Setiap objek terasa seperti file dalam banyak cara dan
tidak masalah untuk menggunakan kata file secara informal untuk menggambarkan
objek Anda, namun objek bukanlah sistem file. Anda tidak akan menggunakan
Cloud Storage sebagai sistem file root Linux Box, sebagai gantinya, Cloud Storage
terdiri dari bucket yang dibuat, dikonfigurasi, dan digunakan untuk menahan objek
penyimpanan Anda. Objek penyimpanan tidak dapat diubah, yang artinya Anda
tidak dapat mengeditnya, melainkan dapat membuat versi baru. Cloud Storage selalu
mengenkripsi data Anda di sisi server sebelum ditulis ke disk dan Anda tidak perlu
mengeluarkan biaya tambahan. Selain itu, data dalam transit dienkripsi
menggunakan HTTPS secara deafult. Berbicara tentang mentransfer data, ada
beberapa layanan yang bisa Anda gunakan untuk memindahkan data dalam jumlah
besar ke Cloud Storage dengan mudah. Kita akan membahasnya nanti dalam modul
ini. Setelah data dipindahkan ke Cloud Storage, selanjutnya Anda dapat
memindahkannya ke layanan penyimpanan GCP lainnya. Seperti yang dibahas
sebelumnya, file Cloud Storage Anda dikelola menjadi bucket. Saat membuat
bucket, Anda memberinya nama yang unik secara global. Anda menentukan lokasi
geografis tempat bucket dan kontennya disimpan dan Anda memilih class
penyimpanan default. Pilihlah lokasi yang meminimalkan latensi bagi pengguna
Anda. Dengan kata lain, jika sebagian besar pengguna berada di Eropa, Anda
mungkin ingin memilih lokasi di Eropa. Berbicara mengenai pengguna, ada
beberapa cara untuk mengontrol akses ke objek dan bucket Anda. Untuk sebagian
besar tujuan, menggunakan Cloud IAM sudah memadai. Peran diwariskan dari
project ke bucket, lalu dari bucket ke objek. Jika memerlukan kontrol yang lebih
baik, Anda dapat membuat daftar kontrol akses (ACL) yang menawarkan kontrol
yang lebih baik. ACL menentukan siapa yang memiliki akses ke bucket dan objek
Anda, serta tingkat akses yang mereka miliki. Setiap ACL terdiri dari dua macam
informasi, cakupan, yang menentukan siapa yang dapat melakukan aksi tertentu,
misalnya pengguna tertentu atau kelompok pengguna, dan izin yang menentukan
jenis tindakan yang bisa dilakukan. Misalnya, membaca atau menulis. Perlu diingat,
saya menyebutkan bahwa objek Cloud Storage tidak dapat diubah. Anda dapat
mengaktifkan pembuatan versi objek pada bucket jika diinginkan. Jika
melakukannya, Cloud Storage akan menyimpan histori modifikasi, artinya Cloud
Storage akan mengganti atau menghapus semua objek dalam bucket. Anda dapat
mencantumkan versi objek yang diarsipkan, memulihkan objek ke status
sebelumnya, atau secara permanen menghapus versi sesuai kebutuhan. Jika Anda
tidak mengaktifkan pembuatan versi objek, versi baru selalu mengganti versi yang
lama. Bagaimana jika pembuatan versi terdengar menarik bagi Anda tapi khawatir
dengan akumulasi sampah? Cloud Storage juga menawarkan kebijakan pengelolaan
siklus proses. Misalnya, Anda dapat menyetel Cloud Storage untuk menghapus
objek yang tersimpan lebih dari 365 hari. Atau Anda bisa menyetelnya untuk
menghapus objek yang dibuat sebelum 1 Januari 2013 atau hanya menyimpan tiga
versi terbaru dari setiap objek dalam bucket mengaktifkan pembuatan versi.

Cloud Storage memungkinkan Anda memilih di antara empat jenis kelas

penyimpanan yang berbeda: regional, multi-regional, nearline, dan coldline. Berikut
penjelasannya. Multi-regional dan regional adalah penyimpanan objek dengan
perfoma tinggi, sedangkan nearline dan coldline adalah penyimpanan backup dan
arsip. Itulah alasan saya menempatkan garis pemisah yang tebal antara dua grup ini.

Semua kelas penyimpanan diakses dengan cara yang sebanding menggunakan cloud
storage API dan semuanya menawarkan jenis akses milidetik. Sekarang mari
membahas perbedaannya. Penyimpanan regional memungkinkan Anda menyimpan
data dalam region GCP tertentu. US Central, Europe West, atau Asia East. Harganya
lebih terjangkau dibandingkan penyimpanan multi regional namun menawarkan
lebih sedikit redundansi. Di sisi lain, penyimpanan multi regional membutuhkan
lebih banyak biaya tetapi bersifat redundansi Geografis. Artinya, Anda memilih
lokasi geografis yang luas seperti Amerika Serikat, Uni Eropa, atau Asia dan cloud
storage menyimpan data Anda minimal di dua lokasi geografis yang terpisah
minimal 160 kilometer. Penyimpanan multi-regional sesuai untuk menyimpan data
yang sering diakses misalnya, konten situs, beban kerja interaktif, atau data di
internet yang diakses banyak orang. Di sisi lain, banyak orang menggunakan
penyimpanan regional untuk menyimpan data yang dekat dengan compute engine,
mesin virtual, atau cluster Kubernetes engine mereka. Tindakan tersebut
memberikan performa yang lebih baik untuk komputasi yang menggunakan banyak
data. Nearline adalah layanan dengan biaya rendah dan ketahanan tinggi untuk
menyimpan data yang jarang diakses. Kelas penyimpanan ini adalah pilihan yang
lebih baik dibandingkan penyimpanan multi-regional atau penyimpanan regional di
skenario saat Anda berencana membaca atau mengubah data rata-rata maksimal satu
kali dalam sebulan. Misalnya, jika Anda ingin terus menambahkan file ke cloud
storage dan berencana untuk mengakses file tersebut satu bulan sekali untuk analisis,
penyimpanan nearline adalah pilihan yang tepat. Penyimpanan coldline adalah
layanan dengan biaya sangat rendah dan ketahanan tinggi untuk pengarsipan data,
backup online, dan pemulihan dari bencana. Penyimpanan coldline adalah pilihan
yang tepat jika Anda berencana mengakses data tersebut minimal sekali dalam satu
tahun. Hal ini disebabkan oleh ketersediaannya yang sedikit lebih rendah, durasi
penyimpanan minimal 90 hari, biaya untuk akses data, dan biaya per operasi yang
lebih tinggi. Misalnya, jika Anda ingin mengarsipkan data atau memiliki akses ke
data tersebut jika terjadi peristiwa pemulihan dari bencana. Ketersediaan kelas
penyimpanan ini bervariasi dengan multi regional yang memiliki ketersediaan
tertinggi dengan 99,95 persen diikuti oleh regional dengan 99,9 persen dan nearline
dan coldline dengan 99 persen. Untuk penetapan harga, semua kelas penyimpanan
dikenakan biaya per gigabyte data yang disimpan setiap bulan, dengan multi-
regional yang memiliki biaya penyimpanan tertinggi dan coldline yang memiliki
biaya penyimpanan terendah. Tagihan transfer data dan keluar dapat juga berlaku.
Selain tagihan tersebut, penyimpanan nearline juga dikenakan biaya akses per
gigabyte pembacaan data dan penyimpanan coldline dikenakan biaya yang lebih
tinggi per gigabyte pembacaan data. Terlepas dari kelas penyimpanan yang Anda
pilih, ada beberapa cara untuk menyimpan data ke cloud storage. Banyak pelanggan
cukup menggunakan GSutil yang menjadi perintah cloud storage dari cloud SDK
ini.

Anda juga dapat memindahkan data dengan menarik lalu melepasnya di GCP
console, jika Anda menggunakan browser Google Chrome. Tetapi bagaimana jika
Anda harus mengupload data dalam jumlah terabyte atau bahkan petabyte? Google
Cloud platform menawarkan Storage transfer service online dan transfer appliance
secara offline untuk membantu. Storage transfer service memungkinkan Anda
menjadwalkan dan mengelola batch transfer ke cloud storage dari penyedia cloud
lainnya, dari region cloud storage yang berbeda, atau dari endpoint HTTP. Transfer
appliance ini adalah server penyimpanan yang dapat disusun dan memiliki kapasitas
penyimpanan besar yang bisa disewa dari Google Cloud. Cukup hubungkan ke
jaringan Anda, muat dengan data, lalu kirim ke fasilitas upload tempat data diupload
ke cloud storage. Layanan ini memungkinkan Anda mentransfer hingga satu
petabyte data dengan aman pada appliance tunggal. Saat video ini direkam, layanan
tersebut masih dalam versi beta dan belum tersedia di mana pun. Jadi, buka situs
untuk mendapatkan info detailnya. Ada cara lain untuk menyimpan data Anda ke
penyimpanan cloud karena opsi penyimpanan ini terintegrasi dengan erat dengan
banyak layanan dan produk Google cloud platform.

Misalnya, Anda dapat mengimpor dan mengekspor tabel dari dan ke BigQuery serta
Cloud SQL. Anda juga dapat menyimpan log App Engine, backup penyimpanan
data cloud, dan objek yang digunakan oleh aplikasi App Engine seperti gambar.
Cloud storage juga dapat menyimpan skrip startup instan, gambar compute engine,
dan objek yang digunakan oleh aplikasi compute engine. Ringkasnya, cloud storage
sering menjadi titik penyerapan untuk data yang dipindahkan ke cloud dan sering
digunakan sebagai lokasi penyimpanan data jangka panjang.

Google Cloud Bigtable adalah layanan database big data NoSQL dari Google.
Apa yang dimaksud dengan NoSQL? Layanan ini bukanlah kursus database, jadi
saya akan memberi Anda gambaran yang sangat santai. Anggap saja database
relasional menawarkan Anda tabel yang setiap barisnya memiliki kumpulan kolom
yang sama, dan mesin database menerapkan aturan tersebut dan aturan lain yang
Anda tentukan untuk setiap tabel. Itulah yang disebut skema database. Penerapan
skema ini sangat membantu beberapa aplikasi tapi juga mengganggu aplikasi
lainnya. Beberapa aplikasi yang akan memanggil pendekatan yang lebih fleksibel.
Misalnya, skema NoSQL. Dengan kata lain, untuk aplikasi ini tidak semua baris
mungkin perlu memiliki kolom yang sama. Faktanya, database mungkin didesain
untuk memanfaatkannya dengan mengisi sebagian baris. Itulah salah satu
keuntungan database NoSQL. Yang membuat kami menggunakan Bigtable.
Database di Bigtable adalah tabel yang diisi sebagian yang dapat diskalakan hingga
miliaran baris dan ribuan kolom, yang memungkinkan Anda menyimpan data
berukuran petabyte. GCP sepenuhnya mengelola tampilan, jadi Anda tidak perlu
mengonfigurasi dan menyesuaikannya. Sehingga ideal untuk data dengan kunci
pencarian tunggal. Beberapa developer aplikasi menganggap Bigtable sebagai tabel
hatch tetap. Cloud Bigtable cocok untuk menyimpan data dalam jumlah besar
dengan latensi yang sangat rendah. Bigtable mendukung throughput tinggi, baik
membaca maupun menulisnya, yang membuatnya menjadi pilihan tepat untuk
aplikasi operasional dan analitis termasuk Internet of Things, analisis pengguna dan
analisis data keuangan. Cloud Bigtable ditawarkan melalui open source API yang
sama dengan HBase, yang merupakan database native untuk project Apache
Hadoop. Saya akan membahas Hadoop lebih lanjut nanti dalam kursus ini.
Mempunyai API yang sama memungkinkan portabilitas aplikasi antara HBase dan
Bigtable dapat dilakukan. Mengingat bahwa Anda bisa mengelola penginstalan
Apache HBase Anda sendiri, Anda mungkin bertanya-tanya, mengapa harus
memilih Bigtable? Berikut beberapa alasannya. Pertama, skalabilitasnya. Jika Anda
mengelola penginstalan HBase Anda sendiri, penskalaan melebihi tarif kueri tertentu
per detik akan menjadi kendala, namun dengan Bigtable Anda dapat meningkatkan
jumlah mesin Anda yang bahkan tidak memerlukan periode nonaktif. Selain itu,
Cloud Bigtable menangani tugas administrasi seperti mengupgrade dan memulai
ulang secara transparan. Semua data di Cloud Bigtable dienkripsi, baik saat
beroperasi maupun saat diam. Anda bahkan dapat menggunakan izin IAM untuk
mengontrol siapa saja yang memiliki akses ke data Bigtable. Satu poin referensi
terakhir, Bigtable adalah database yang sama yang menggerakkan banyak layanan
inti Google termasuk Penelusuran, Analytics, Maps, dan Gmail. Karena menjadi
bagian dari ekosistem GCP, Cloud Bigtable dapat berinteraksi dengan layanan GCP
dan klien pihak ketiga lainnya Dari perspektif application API, data dapat dibaca dan
ditulis ke Cloud Bigtable melalui lapisan layanan data seperti VM Terkelola, server
rest HBase, atau server Java menggunakan klien HBase. Biasanya, layanan ini akan
menayangkan data ke aplikasi, dasbor, dan layanan data. Data juga dapat di-
streaming melalui berbagai framework stream processing yang populer, seperti
Cloud Dataflow Streaming, Spark Streaming, dan Storm. Jika streaming tidak dapat
dilakukan, data juga dapat dibaca dan ditulis ke Cloud Bigtable melalui proses batch
seperti Hadoop MapReduce, Dataflow, atau Spark. Seringkali data yang baru saja
dihitung atau dihitung ditulis kembali ke Cloud Bigtable atau ke database
downstream.

Beberapa saat yang lalu, saya membahas tentang database NoSQL. Sekarang,
mari beralih ke layanan database relasional. Ingat, layanan ini menggunakan skema
database untuk membantu aplikasi Anda menjaga data agar tetap konsisten dan
benar. Beberapa saat yang lalu, saya membahas tentang database NoSQL. Sekarang,
mari beralih ke layanan database relasional. Ingat, layanan ini menggunakan skema
database untuk membantu aplikasi Anda menjaga data agar tetap konsisten dan
benar. Fitur layanan database relasional lainnya yang membantu mencapai tujuan
yang sama, yaitu transaksi. Aplikasi Anda dapat menentukan sekelompok perubahan
database secara keseluruhan atau tidak sama sekali. Antara perubahan dilakukan
secara keseluruhan, atau tidak sama sekali. Tanpa transaksi database, bank online
Anda tidak dapat menawarkan kemampuan memindahkan uang dari satu akun ke
akun yang lainnya. Bagaimana jika setelah mengambil $10.000 dari salah satu akun
Anda, terjadi gangguan sehingga Anda tidak bisa menambahkan $10.000 ke akun
tujuan. Bank Anda mungkin baru saja salah menempatkan $10.000 tersebut.
Umumnya, memerlukan upaya yang keras untuk menyiapkan, mempertahankan, dan
mengelola database relasional. Jika waktu yang dibutuhkan terdengar tidak efisien
namun Anda tetap menginginkan perlindungan database relasional, pertimbangkan
menggunakan CloudSQL. CloudSQL menawarkan pilihan mesin database MySQL
atau PostgreSQL sebagai layanan terkelola sepenuhnya. CloudSQL menawarkan
database MySQL dan PostgreSQL yang mampu menangani penyimpanan berukuran
terabyte. Saat video ini direkam, CloudSQL dan PostgreSQL masih dalam versi beta.
Jadi, buka situs untuk melihat detail statusnya. Tentu saja, Anda selalu dapat
menjalankan server database Anda sendiri dalam mesin virtual Compute Engine
yang banyak dilakukan oleh pelanggan GCP. Namun, ada beberapa keuntungan
menggunakan layanan terkelola CloudSQL. Pertama, CloudSQL memberikan
beberapa layanan replika seperti pembacaan, failover, dan replika eksternal. Artinya,
jika terjadi penghentian, CloudSQL dapat mereplikasi data antara beberapa zona
dengan failover otomatis. CloudSQL juga dapat membantu Anda melakukan backup
data dengan backup terjadwal atau On-Demand. CloudSQL juga dapat menskalakan
secara vertikal dengan mengubah jenis mesin, dan secara horizontal melalui replika
baca. Dari segi keamanan, instance CloudSQL mencakup, jaringan firewall, dan data
pelanggan dienkripsi saat berada di jaringan internal Google, dan saat disimpan di
backup, file sementara, dan tabel database. Keuntungan instance CloudSQL lainnya
adalah dapat diakses oleh layanan GCP lain dan bahkan layanan eksternal. Anda
dapat mengotorisasi instance Compute Engine agar dapat mengakses instance
CloudSQL dan mengonfigurasi instance CloudSQL agar berada di zona yang sama
dengan mesin virtual Anda. CloudSQL juga mendukung aplikasi dan fitur lain yang
mungkin digunakan seperti SQL WorkBench, Toad, dan aplikasi eksternal lain yang
menggunakan driver MySQL standar. Jika CloudSQL tidak memenuhi persyaratan
karena Anda membutuhkan kemampuan skala horizontal, pertimbangkan untuk
menggunakan Cloud Spanner. Cloud Spanner menawarkan konsistensi
transaksional dalam skala global, skema, SQL, dan replikasi sinkron otomatis untuk
ketersediaan tinggi. Cloud Spanner juga menyediakan kapasitas berukuran
pedabyte. Pertimbangkan untuk menggunakan Cloud Spanner jika Anda sudah
melampaui database relasional apa pun, atau sharding database Anda untuk
throughput berperforma tinggi, memerlukan konsistensi transaksional, data global
dan konsistensi kuat, atau hanya ingin menggabungkan database Anda. Kasus
penggunaan natural meliputi, aplikasi finansial, dan aplikasi inventaris.

Kita sudah membahas layanan database GCP NoSQL, yaitu Cloud Bigtable.
Pilihan database NoSQL yang sangat skalabel lainnya untuk aplikasi Anda adalah
Cloud Datastore. Salah satu kasus penggunaan utamanya adalah untuk menyimpan
data terstruktur dari aplikasi App Engine. Anda juga dapat membuat solusi yang
mencakup App Engine dan Compute Engine dengan Cloud Datastore sebagai titik
integrasi.
 Seperti yang diharapkan dari layanan terkelola sepenuhnya, Cloud Datastore
otomatis manangani sharding dan replikasi, yang memberi Anda database dengan
ketersediaan tinggi dan andal serta terskala secara otomatis untuk menangani beban.
Tidak seperti Cloud Bigtable, Cloud Datastore juga menawarkan transaksi yang
memengaruhi beberapa baris database, dan memungkinkan Anda mengajukan kueri
yang menyerupai SQL. Untuk membantu Anda memulai, Cloud Datastore memiliki
kuota harian gratis yang menyediakan penyimpanan, pembacaan, penulisan,
penghapusan, dan operasi kecil secara gratis.

Setelah membahas opsi penyimpanan inti GCP, mari kita bandingkan guna
membantu Anda memilih layanan yang tepat untuk aplikasi atau alur kerja Anda.
Tabel ini berfokus pada pembeda teknis layanan penyimpanan. Setiap baris memiliki
spesifikasi teknis dan setiap kolom adalah layanan. Saya akan membahas setiap
layanan dari kiri ke kanan. Pertimbangkan untuk menggunakan Cloud Datastore jika
Anda ingin menyimpan objek yang tidak terstruktur atau jika memerlukan dukungan
untuk kueri yang menyerupai SQ dan transaksi. Layanan penyimpanan ini
menyediakan kapasitas berukuran terabyte dengan ukuran unit maksimal satu
megabyte per entity. Pertimbangkan untuk menggunakan Cloud Bigtable jika Anda
ingin menyimpan objek terstruktur dalam jumlah besar. Cloud Bigtable tidak
mendukung kueri SQL maupun transaksi beberapa baris. Layanan penyimpanan ini
menyediakan kapasitas berukuran petabyte dengan ukuran unit maksimal 10
megabyte per sel dan 100 megabyte per baris. Pertimbangkan untuk menggunakan
Cloud Storage jika Anda ingin menyimpan blob yang tidak dapat diubah, yang
berukuran lebih besar dari 10 megabyte seperti film atau gambar berukuran besar.
Layanan penyimpanan ini menyediakan kapasitas berukuran petabyte dengan
ukuran unit maksimal lima terabyte per objek. Pertimbangkan untuk menggunakan
Cloud SQL atau Cloud Spanner jika memerlukan dukungan penuh dari SQL untuk
sistem pemrosesan transaksi online. Cloud SQL menyediakan kapasitas berukuran
terabyte, sedangkan Cloud Spanner menyediakan kapasitas berukuran petabyte. Jika
Cloud SQL tidak memenuhi persyaratan karena Anda memerlukan skalabilitas
horizontal, bukan hanya melalui replika baca, pertimbangkan untuk menggunakan
Cloud Spanner. Kita tidak membahas BigQuery dalam modul ini karena BigQuery
berada di antara penyimpanan data dan pemrosesan data, tetapi Anda akan
mempelajarinya lebih lanjut di Big Data dan Machine Learning dalam Modul Cloud.
Biasanya, alasan menyimpan data di BigQuery adalah untuk menggunakan analisis
big data, kueri interaktif, dan kemampuannya. Misalnya, Anda tidak ingin
menggunakan BigQuery sebagai penyimpanan backup untuk aplikasi online.
Mempertimbangkan pembeda teknis berbagai layanan penyimpanan dapat
membantu beberapa orang memutuskan layanan penyimpanan mana yang akan
dipilih. Beberapa orang mempertimbangkan untuk menggunakan kasus penggunaan.
Mari kita bahas setiap layanan sekali lagi. Cloud Datastore adalah layanan yang
cocok untuk data aplikasi semi-terstruktur yang digunakan di aplikasi App Engine.
Bigtable adalah layanan yang cocok untuk data analisis dengan
pembacaan/penulisan yang berat seperti data IoT, Keuangan, atau AdTech. Cloud
Storage adalah layanan yang cocok untuk data terstruktur dan tidak terstruktur, data
biner atau objek seperti gambar, backup dan file media berukuran besar. SQL adalah
layanan yang cocok untuk framework web dan di aplikasi yang sudah ada seperti
menyimpan kredensial pengguna dan pesanan pelanggan. Cloud Spanner adalah
layanan yang cocok untuk aplikasi database berskala besar yang berukuran lebih
besar dari dua terabyte, misalnya, untuk kasus penggunaan e-commerce dan
perdagangan keuangan. Seperti yang saya jelaskan di awal modul, bergantung pada
aplikasi yang digunakan, Anda mungkin menggunakan satu atau beberapa layanan
ini untuk menyelesaikan pekerjaan.