Implementasi dan analisis kinerja HDFS sebagai infrastruktur pembangunan big data

Perkembangan teknologi informasi yang cepat menyebabkan pertumbuhan dan peningkatan jumlah data, VCloud News mencatat pada tahun 2015, pertumbuhan data statistic per hari mencapai 2,5 quintillion (10 pangkat 18) byte atau sekitar Giga Byte (GB) perdetik. Data yang begitu banyak yang beragam dan tidak terstruktur, dengan data yang begitu banyak membuat suatu perusahaan atau organisasi mencari cara untuk mengolah atau menyimpan data tersebut. Dari permasalahan tersebut, sehingga dilakukan penelitian untuk implementasi dan analisis kinerja Hadoop File System (HDFS) sebagai infrastruktur pembangunan big data. Tujuan dan manfaat dari penelitian ini adalah untuk mengetahui faktor-faktor yang digunakan untuk menentukan kinerja HDFS, melakukan penilaian atau pengukuran unjuk kerja HDFS, Memahami langkah-langkah yang dilakukan, dan menghasilkan suatu karya tulis yang bisa menjadi rujukan didalam mengimplementasikan HDFS sebagai infrastruktur pembangunan Big Data. Impelementasi ini dilakukan pada 3 node yaitu 1 Namenode dan 2 Datanode yang akan diimplementasikan pada lingkungan virtualisasi menggunakan sistem operasi Linux Ubuntu 16.04. Pada penelitian ini, akan dilakukan beberapa pengujian yaitu, pengujian performa I/O yang dilakukan menggunakan aplikasi benchmark TestDFSIO dan NNBench, pengubahan blocksize, dan penghapusan file pada beberapa ukuran file yang berbeda, lalu akan dilakukan pengujian availability. Pada pengujian menggunakan TestDFSIO menghasilkan waktu eksekusi dan throughput yang menunjukan semakin besar ukuran suatu file maka akan mempengaruhi waktu eksekusi dan throughputnya. Pengujian NNBench menghasilkan waktu eksekusi yang lebih lama saat jumlah file yang dieksekusi ditambah. Pengubahan blocksize mempengaruhi lamanya waktu eksekusi yang akan dihasilkan saat menginputkan file pada HDFS, dimana terjadi penurunan waktu eksekusi saat ukuran blocksizenya dirubah.