Journal SINTA 2
Pengukuran Performa Apache Spark dengan Library H2O Menggunakan Benchmark Hibench Berbasis Cloud Computing
Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) · Vol. 6 No. 5 (2019) · pp. 519–526
- ISSN
- 2528-6579, 2355-7699
- Published
- 2019-10-08
- Publisher
- Fakultas Ilmu Komputer, Universitas Brawijaya
- Language
- id
Abstract
Apache Spark merupakan platform yang dapat digunakan untuk memproses data dengan ukuran data yang relatif besar (big data) dengan kemampuan untuk membagi data tersebut ke masing-masing cluster yang telah ditentukan konsep ini disebut dengan parallel komputing. Apache Spark mempunyai kelebihan dibandingkan dengan framework lain yang serupa misalnya Apache Hadoop dll, di mana Apache Spark mampu memproses data secara streaming artinya data yang masuk ke dalam lingkungan Apache Spark dapat langsung diproses tanpa menunggu data lain terkumpul. Agar di dalam Apache Spark mampu melakukan proses machine learning, maka di dalam paper ini akan dilakukan eksperimen yaitu dengan mengintegrasikan Apache Spark yang bertindak sebagai lingkungan pemrosesan data yang besar dan konsep parallel komputing akan dikombinasikan dengan library H2O yang khusus untuk menangani pemrosesan data menggunakan algoritme machine learning. Berdasarkan hasil pengujian Apache Spark di dalam lingkungan cloud computing, Apache Spark mampu memproses data cuaca yang didapatkan dari arsip data cuaca terbesar yaitu yaitu data NCDC dengan ukuran data sampai dengan 6GB. Data tersebut diproses menggunakan salah satu model machine learning yaitu deep learning dengan membagi beberapa node yang telah terbentuk di lingkungan cloud computing dengan memanfaatkan library H2O. Keberhasilan tersebut dapat dilihat dari parameter pengujian yang telah diujikan meliputi nilai running time, throughput, Avarege Memory dan Average CPU yang didapatkan dari Benchmark Hibench. Semua nilai tersebut dipengaruhi oleh banyaknya data dan jumlah node. AbstractApache Spark is a platform that can be used to process data with relatively large data sizes (big data) with the ability to divide the data into each cluster that has been determined. This concept is called parallel computing. Apache Spark has advantages compared to other similar frameworks such as Apache Hadoop, etc., where Apache Spark is able to process data in streaming, meaning that the data entered into the Apache Spark environment can be directly processed without waiting for other data to be collected. In order for Apache Spark to be able to do machine learning processes, in this paper an experiment will be conducted that integrates Apache Spark which acts as a large data processing environment and the concept of parallel computing will be combined with H2O libraries specifically for handling data processing using machine learning algorithms. Based on the results of testing Apache Spark in a cloud computing environment, Apache Spark is able to process weather data obtained from the largest weather data archive, namely NCDC data with data sizes up to 6GB. The data is processed using one of the machine learning models namely deep learning by dividing several nodes that have been formed in the cloud computing environment by utilizing the H2O library. The success can be seen from the test parameters that have been tested including the value of running time, throughput, Avarege Memory and CPU Average obtained from the Hibench Benchmark. All these values are influenced by the amount of data and number of nodes.
Collaboration network of the authors
26 authors · 56 co-authorship links · 24 across different organisations
Hover or tap a name to highlight its co-authors. Double-click to open the author's page.
- Institut Agama Islam Negeri Kendari
- Universitas Muhammadiyah Malang
- State University of Jakarta
- Politeknik Penerbangan Indonesia Curug
- Universitas Gadjah Mada
- Universitas Islam DDI A.G.H Abdurrahman Ambo Dalle
- Sekolah Tinggi Agama Islam Negeri Majene
- Affiliation unknown
- Different organisations
- Same organisation
- Affiliation unknown
- Thicker line = more joint articles · bigger circle = more articles
Show as table
| Co-author | Organisation | Joint articles |
|---|---|---|
| Samsuri Samsuri | Institut Agama Islam Negeri Kendari | 3 |
| Azhari SN | Universitas Gadjah Mada | 1 |
| Baaras Ahmad | Universitas Muhammadiyah Malang | 1 |
| Ahmad Faisal Helmi | Universitas Muhammadiyah Malang | 1 |
| Sofyan Arifianto | Universitas Muhammadiyah Malang | 1 |
| Nasri Akib | Institut Agama Islam Negeri Kendari | 1 |
| Akhmad Sukardi | Institut Agama Islam Negeri Kendari | 1 |
| Nur Wakia Mustafa | Institut Agama Islam Negeri Kendari | 1 |
| Rahmawati Rahmawati | Institut Agama Islam Negeri Kendari | 1 |
| Iren Rezki Fitria | Institut Agama Islam Negeri Kendari | 1 |
| Samsu Samsu | Institut Agama Islam Negeri Kendari | 1 |
| Riskayanti Asmini | Affiliation unknown | 1 |
| Mirzan Arif | Affiliation unknown | 1 |
| Ira Trisnawati | Institut Agama Islam Negeri Kendari | 1 |
| La Ode Mansabdar Kanande | Institut Agama Islam Negeri Kendari | 1 |
| Zulaeha Zulaeha | Institut Agama Islam Negeri Kendari | 1 |
| Wa Muna | Institut Agama Islam Negeri Kendari | 1 |
| Hamzah Hamzah | Universitas Islam DDI A.G.H Abdurrahman Ambo Dalle | 1 |
| Fikriyah Mahyaddin | Sekolah Tinggi Agama Islam Negeri Majene | 1 |
| Muchtar Mawardi | Politeknik Penerbangan Indonesia Curug | 1 |
| Agung Sedayu | State University of Jakarta | 1 |
| Mohamad Isnin Noer | State University of Jakarta | 1 |
| Novita Surya Putri | Politeknik Penerbangan Indonesia Curug | 1 |
| Lana Maulana | State University of Jakarta | 1 |
Affiliations come from OpenAlex; journal OAI-PMH metadata carries none. Authors without an OpenAlex ID are matched by name, which can merge or split people.