PENERAPAN DATA PIPELINE GUNA KEBUTUHAN ANALISIS PRODUK ELEKTRONIK PADA WEBSITE E-COMMERCE TOKOPEDIA

E-Commerce merupakan kombinasi dari proses bisnis, teknologi, dan aplikasi yang menghubungkan perusahaan, penjual, serta konsumen dalam melakukan transaksi, mencakup berbagai komoditas melalui sistem elektronik. Pada tahun 2024, tercatat ada 189,6 juta penduduk Indonesia yang menggunakan E-commerce, dan situs E-commerce Tokopedia memiliki jumlah kunjungan terbanyak kedua di Indonesia dengan jumlah 97,07 juta kunjungan pada kuartal 3 tahun 2023. Namun, dari potensi yang besar tersebut, masih banyak pengusaha yang belum bisa memanfaatkan platform E-commerce karena berbagai faktor diantaranya kurangnya pemahan digital, infrastruktur yang tak memadai, kekurangan pembiayaan, dan belum mahirnya dalam melakukan transformasi digital. Faktor tersebut dibuktikan oleh, munculnya berita tentang pedagang pasar Tanah Abang dan pedagang pasar lainnya yang menolak transaksi penjualan dilakukan melalui E-commerce karena pedagang Tanah Abang mengklaim bahwa E-commerce mempengaruhi pendapatan penjualan mereka. Tokopedia menjadi pilihan untuk penerapan data Pipeline karena Tokopedia adalah salah satu platform E-commerce terbesar di Indonesia yang menawarkan berbagai macam produk, termasuk produk elektronik, dan relevansi dengan pasar Indonesia, sebagai platform e-commerce lokal yang mencerminkan karakteristik pasar Indonesia dengan baik. Penelitian ini bertujuan untuk memudahkan para pengusaha dalam melakukan transformasi digital dengan memahami informasi perilaku konsumen melalui dashboard visulisasi hasil analisis data. Dalam penelitian ini, data dikumpulkan dari Tokopedia menggunakan teknik web scraping dengan bantuan Python dan VS Code. Data mentah yang diperoleh kemudian diekstraksi, ditransformasikan, dan dimuat ke dalam Google Cloud Storage melalui pipeline ETL. Proses transformasi data dilakukan menggunakan Dataprep di GCP untuk membersihkan dan menyiapakan data untuk analisis. Selanjutnya, data disimpan dalam BigQuery untuk memudahkan dalam melakukan query dan analisis yang lebih kompleks. Untuk memastikan kualitas data yang digunakan dalam analisis, dilakukan validasi data terhadap hasil proses ETL. Hasil penelitian ini menunjukan bahwa penerapan data pipeline berbasis ETL process dapat memfasilitasi analisis produk elektronik Tokopedia, dan tampilan Dashboard visualisasi data menggunakan Tableau dapat mempermudah pengguna dalam membaca hasil analisis produk elektronik di Tokopedia.
Kata kunci : Data Pipeline, ETL, Tokopedia, Google Cloud Platform, Web scraping.