Perancangan dan implementasi Dashboard Monitoring Hadoop menggunakan Grafana

Transisi masyarakat yang sangat cepat menuju dunia maya membuat kebutuhan akan ruang penyimpanan data semakin membesar dan membuat database konvensional tidak bisa menangani kebutuhan penyimpanan tersebut. Berkat pertumbuhan pengguna yang besar akan mengakibatkan jumlah data yang semakin besar dan bervariasi yang sekarang sering disebut dengan istilah Big Data. Prinsip Big Data itu sendiri yaitu suatu bentuk pengelolaan data yang sangat besar dan bervariasi, serta kebutuhan waktu yang sangat singkat untuk mengolahnya sebagai suatu Informasi. Salah satu teknologi Big Data yang populer digunakan adalah Hadoop yang memungkinkan untuk melakukan komputasi secara terdistribusi, serta hadoop memungkinkan untuk membuat sistem dengan menggabungkan beberapa tools yang akan digunakan. kendala dalam mengolah informasi pada Hadoop yaitu bagaimana cara kita untuk memantau atau memonitoring dari data yang tersaji. Monitoring merupakan suatu kegiatan yang bertujuan untuk memantau kegiatan yang sedang dilakukan server maupun client. Monitoring perlu dilakukan secara berkala untuk mengetahui service apa saja yang sedang berjalan pada server sehingga kita dapat mengetahui performa dari server itu sendiri. Langkah yang dapat dilakukan untuk memonitoring data Hadoop adalah dengan mengirimkan data metrik Hadoop kepada Prometheus yang merupakan sebuah perangkat lunak berbasis Open Source yang digunakan untuk melakukan monitoring. Agar data metrik Hadoop dapat diterima oleh Prometheus perlu dibuat sebuah script Prometheus pushgateway yang bertugas mendorong data metrik Hadoop agar bisa diterima oleh Prometheus. Setelah Prometheus berhasil mendapatkan data metrik Hadoop maka akan dibuat dalam bentuk time series. Agar proses monitoring lebih mudah dilakukan perlu sebuah tampilan antar muka yang memadai dan mudah dipahami seperti Grafana. Dengan menggunakan Grafana yang mengambil sumber data dari Prometheus dan di integrasikan dengan hadoop akan membuat suatu dashboard untuk memonitoring hadoop akan lebih mudah dipahami dan juga dapat dibuat sesuai dengan kebutuhan pengguna. Dashboard monitoring ini efektif karena pengguna tidak perlu mencari data metrik secara manual, sehingga dengan dashboard monitoring Hadoop ini dapat mempercepat proses pengambilan keputusan.
Kata kunci : Monitoring, Hadoop, Prometheus, dan Grafana