Big Data Hadoop: Pengertian, Sejarah dan Kelebihannya

Hadoop sangat dikenal diantara para developer yang berkutat dalam pengolahan Big Data. Ini karena Hadoop bisa menjadi solusi untuk mengatasi tantangan Big Data. Nah kali ini saya akan membahas mengenai big data hadoop, mulai dari pengertian, sejarah dan kelebihannya.

Baca juga : Mengenal Data Scientist: Profesi Menjanjikan di Bidang IT

Secara umum, Big Data memiliki tiga tantangan utama, yaitu Volume, Velocity dan Variety. Yang artinya, data yang diolah berjumlah sangat besar, butuh diakses dengan cepat, dan sangat bervariasi. Sehingga sudah tidak dapat ditangani lagi oleh metode manajemen data konvensional.

Pengertian Hadoop

Hadoop merupakan suatu platform yang digunakan untuk mendukung aplikasi yang memproses Big Data. Oleh karena itu, beberapa komputer dapat saling terhubung, sinkron dan bekerja sama untuk memproses sejumlah data sebagai sebuah kesatuan. Dengan menggunakan Hadoop, kita dapat memproses Big Data melalui beberapa komputer sekaligus. Hadoop termasuk salah satu platform sistem bersifat open-source yang berlisensi Apache.

Dalam penggunaannya, sistem perhitungan atau komputasi data dapat dibagi secara berimbang kepada beberapa server. Komputer yang saling terhubung tadi akan saling bekerja sama, sehingga mampu memberikan hasil yang lebih cepat.

Meskipun proses yang terjadi dilakukan pada beberapa komputer yang terpisah, namun semuanya berjalan sebagai suatu kesatuan seperti halnya memiliki sebuah Hard Disk berukuran super besar. Sistem manajemen file yang dapat dibagi ke beberapa komputer tersebut disebut dengan Distributed File System.

Pengertian Big Data

Big Data merupakan istilah yang digunakan untuk menggambarkan suatu kumpulan database dengan jumlah yang sangat banyak, kompleks, dan krusial. Karena jumlah yang sangat banyak dan rumit, diperlukan metode tertentu agar dapat memproses data tersebut.

Metode tradisional yang biasa digunakan untuk mengelola database (Database Management System) sudah tidak cukup efektif lagi untuk mengelola Big Data. Istilah Big Data kini semakin berkembang dan tidak selalu merujuk dengan seberapa penting jumlah data yang diproses. Dengan menganalisis Big Data, suatu proses bisnis bisa berjalan lebih baik, efektif, dan efisien.

Sejarah Singkat Hadoop

Hadoop bermula pada tahun 2003. Saat itu Doug Cutting meluncurkan proyek Nutch yang digunakan untuk menangani proyek pencarian miliaran halaman web pada searching engine. Beberapa tahun kemudian digunakanlah GFS (Google File System) dan MapReduce yang berguna dalam operasional proyek indexing halaman web tersebut.

Baca juga : cara membersihkan sampah di android

Makalah tentang GFS dan MapReduce ini sebelumnya telah ditulis pada tahun 2003 oleh dua orang ilmuwan dari Google yang bernama Jeffrey Dean dan Sanjay  Ghemawat. Sehingga pada tahun 2006 Yahoo mulai menciptakan Hadoop berdasarkan GFS dan MapReduce yang dibuat oleh Doug Cutting tersebut.

Dua tahun kemudian, yaitu pada tahun 2008, pengembangan dari Yahoo berikutnya ialah Hadoop dikirimkan sebagai platform open-source kepada Apache Software Foundation.

Riset dan pengujian terus berlanjut hingga tahun 2011, Apache merilis Hadoop versi 1.0 yang diklaim mampu mengurutkan 1 Petabyte data untuk menangani pencarian dan indexing terhadap milyaran halaman web dalam waktu kurang dari 17 jam. Inilah momen awal ketika Hadoop mulai dikenal secara resmi untuk mengolah Big Data.

Kelebihan Hadoop untuk Big Data

Berikut dibawah ini beberapa prinsip utama kelebihan hadoop yang digunakan untuk pemrosesan Big Data, diantaranya yaitu:

1. Cluster Computing

Hadoop mampu melakukan pemrosesan data dengan dukungan beberapa komputer sekaligus. Bahkan pada tahun 2007 ketika masih diriset oleh Yahoo, Hadoop sudah digunakan pada 1000 node cluster.

2. MapReduce

Sistem Hadoop mampu melakukan perhitungan dan komputasi yang tidak mungkin dilakukan oleh hanya sebuah komputer saja.

Suatu perhitungan atau komputasi yang memerlukan waktu sangat lama tersebut bisa diselesaikan dalam waktu yang lebih singkat oleh sistem Hadoop ini. Istilahnya ialah teknik MapReduce.

3. High Availability

Sistem ini juga mampu untuk membagi beban kerja antar beberapa server yang sedang mengerjakan pengolahan data. Sistem akan dapat tetap berjalan meskipun ada salah satu server yang mati atau mengalami kegagalan. Penggunaan file sistem yang tersebar di beberapa komputer dan bekerja secara bersamaan ini dikenal dengan HDFS (Hadoop Distributed File System).

Penutup

Akhir kata, cukup sekian pembahasan singkat mengenai apa itu big data hadoop yang perlu anda ketahui. Semoga bermanfaat dan terimakasih, sampai jumpa di pembahasan lainnya.