File System Architecture in Hadoop
Pada ulasan kedua ini, kami akan mengulas video yang berjudul "HDFS Architecture". Video yang di unggah oleh Durga Software Solution pada tanggal 06 Juni 2014 ini berdurasi 1 jam 6 menit 32 detik ini. Video ini cukup detail membahas tentang arsitektur file system yang terdapat pada Hadoop framework.
Salah satu implementasi dari Big Data yang terkenal saat ini adalah Hadoop. Hadoop adalah framework open source yang disediakan oleh Apache secara gratis. Hadoop memungkinkan penggunanya untuk menyimpan dan mengelola data yang sangat besar secara distributed dalam cluster. Distributed cluster bisa menggunakan hanya satu atau bahkan hingga ribuan server. Hadoop sendiri punya 2 komponen utama, yaitu HDFS(Hadoop Distributed File System) dan MapReduce. HDFS adalah file sistem tempat data disimpan dalam Hadoop, sedangkan MapReduce adalah algoritma yang digunakan untuk mengolah data besar yang terdapat dalam Hadoop.
Mari kita singkirkan dulu pembahasan lebih detail tentang MapReduce. Karena fokus pembahasan di ulasan ini adalah HDFS. HDFS telah dikembangkan menjadi file system yang terdistribusi. Sehingga dari segi performa dalam hal kecepatan, HDFS bisa dikatakan sangat baik. Karena proses yang dilakukan di HDFS dijalankan secara paralel ke beberapa mesin sehingga lebih cepat dan efektif.
HDFS menyimpan data yang besar dan menyediakan cara pengaksesas yang sangat mudah. HDFS dirancang sangat fault tolerant dan menggunakan hardware yang murah. Karena saat menyimpan data yang besar HDFS akan mendistribusikan data atau pun file ke beberapa machine, sehingga jika suatu saat ada salah satu machine yang mengalami failure dan mengakibatkan data hilang, hal ini tidak menjadi masalah. Karena HDFS memiliki semacam metadata file di namenode yang dapat memulihkan kembali data yang hilang tersebut ke datanode.
 |
| HDFS Architecture |
Untuk gambaran komponen arsitektur HDFS, dapat dilihat dari potongan gambar di samping. HDFS menggunakan arsitektur model master-slave.
Dimana namenode yang bertidak sebagai master dan datanode yang yang bertindak sebagai slave. Namenode memiliki peranan vital karena bertugas me-manage datanode. Namenode mengetahui dimana data disimpan pada datanode dan juga datanode mana yang available untuk diisi data. Sedangkan datanode hanya sebagai lokasi tempat penyimpanan data atau file.
Untuk prosedur penyimpanannya, data dalam file system dibagi menjadi satu atau lebih segment(blocks) di masing-masing datanode. Ukuran dari block tersebut secara default adalah 64 MB. Tapi itu bisa ditambah melalui konfigurasi di HDFS.
Video ini sangat bagus untuk untuk mengetahui dan mempelajari konsep dasar dan teknologi yang digunakan di Big Data. Dengan menonton video ini, kita akan lebih mengerti bagaimana arsitektur HDFS itu dan bagaimana data besar disimpan di dalam HDFS. Pembicara dalam video ini juga menyampaikan informasi dengan sangat jelas dan mudah dipahami. Harapannya dengan mengerti konsep HDFS ini, kita bisa menggunakan Hadoop dan komponen-komponennya, terkhusus HDFS.
URL ulasan : http://catatanpartoba.blogspot.co.id/2016/12/ulasan-2_9.html
URL konten YouTube : https://www.youtube.com/watch?v=DLutRT6K2rM&feature=youtu.be
Durasi : 66 menit 32 detik
Tanggal submisi revisi pertama : 9 Desember 2016
Tanggal submisi revisi terakhir : 9 Desember 2016
Tidak ada komentar:
Posting Komentar