Kompresi di Zmanda

Cara menggunakan berbagai algoritma/alat kompresi dalam Zmanda.

Daftar Isi

1. Cara mengaktifkan kompresi

2. Tentang kompresi

3. Algoritma yang direkomendasikan

4. Rekomendasi berbasis skenario

5. Kompresi sisi klien vs sisi server

Cara mengaktifkan kompresi di Zmanda

1. Masuk ke ZMC

2. Buka Sumber > TAMBAH SUMBER > dan pilih sumber yang ingin Anda buat.

3. Di bawah Strategi Kompresi pilih salah satu opsi yang telah ditetapkan, atau Anda dapat memilih strategi khusus untuk server atau klien.

Catatan: Kompresi sisi klien hanya tersedia untuk sumber yang telah menginstal Zmanda Agents. Misalnya, VMWare tidak mendukung kompresi sisi klien. Selain itu, kompresi sisi klien kustom hanya tersedia untuk sumber berbasis Linux.

4. Untuk kompresi sisi klien kustom, Anda harus menginstal alat kompresi yang diinginkan pada mesin klien berbasis Linux. Misalnya, jika Anda ingin menggunakan zstd, gunakan perintah di bawah ini:

//Untuk sistem berbasis Debian apt install zstd //Untuk sistem berbasis RPM yum install zstd

5. Sekarang Anda dapat menentukan jalur instalasi di kolom Kompresi Klien Kustom.

6. Selesai! Untuk mengonfigurasi kompresi sisi server khusus, ikuti langkah yang sama pada Server Cadangan

Tentang Kompresi

Algoritma kompresi beroperasi pada data itu sendiri, terlepas dari sistem berkas yang menyimpan data tersebut.

Mereka bekerja dengan menganalisis data dan menemukan pola atau redundansi untuk merepresentasikan informasi secara lebih efisien. Proses ini tidak bergantung pada sistem berkas, karena berfokus pada konten data, bukan pada sistem penyimpanan yang mendasarinya.

Performa operasi kompresi dapat dipengaruhi oleh beberapa faktor seperti kecepatan media penyimpanan, performa sistem secara keseluruhan (seperti CPU, Memori), serta ukuran dan kompleksitas data yang dikompresi. Faktor-faktor ini dapat memengaruhi kecepatan pembacaan atau penulisan data ke sistem berkas, yang secara tidak langsung memengaruhi proses kompresi.

Saat memilih algoritma kompresi, Anda harus mempertimbangkan kebutuhan algoritma terhadap overhead CPU, jumlah thread CPU yang tersedia, dan rasio kompresi yang diinginkan. Semua faktor ini memengaruhi data yang akan dikirimkan melalui jaringan dan kecepatan proses kompresi/dekompresi.

Algoritma yang Direkomendasikan

Zstandard (Zstd) : Zstd adalah algoritma kompresi yang lebih baru yang menawarkan keseimbangan yang baik antara rasio kompresi dan kinerja . Algoritma ini memberikan kecepatan kompresi dan dekompresi yang cepat dan sering disukai karena efisiensinya.

//Untuk sistem berbasis Debian apt install zstd //Untuk sistem berbasis RPM yum install zstd

LZ4 : Algoritma ini dikenal karena kecepatan kompresi dan dekompresinya yang tinggi dengan beban CPU yang rendah . Algoritma ini memberikan kinerja yang baik, terutama untuk beban kerja waktu nyata atau sistem dengan sumber daya komputasi yang terbatas.

//Untuk sistem berbasis Debian apt install lz4 //Untuk sistem berbasis RPM yum install lz4

Gzip : Gzip menawarkan rasio kompresi yang lebih tinggi dibandingkan LZ4 tetapi mungkin memiliki beban CPU yang lebih tinggi dan kinerja yang lebih lambat . Ia memberikan keseimbangan yang baik antara efisiensi kompresi dan kecepatan.

//Untuk sistem berbasis Debian apt install gzip //Untuk sistem berbasis RPM yum install gzip

Pigz : Pigz , yang merupakan singkatan dari Parallel Implementation of Gzip , adalah pengganti Gzip yang berfungsi penuh dan memanfaatkan banyak prosesor dan banyak inti secara maksimal saat mengompresi data. LZJB : LZJB adalah algoritma kompresi ringan yang memberikan rasio kompresi moderat dengan overhead CPU yang sangat rendah . Algoritma ini cocok untuk skenario di mana meminimalkan penggunaan CPU menjadi prioritas.

//Untuk sistem berbasis Debian apt install pigz //Untuk sistem berbasis RPM yum install pigz

Bzip2 : Bzip2 menawarkan keseimbangan yang baik antara rasio kompresi dan kecepatan . Ia memberikan rasio kompresi tinggi dengan mengorbankan kecepatan kompresi dan dekompresi yang lebih lambat. Meskipun membutuhkan lebih banyak sumber daya komputasi dibandingkan algoritma yang lebih cepat, penggunaan memori dan kinerja CPU- nya umumnya moderat . Bzip2 umumnya digunakan ketika rasio kompresi yang baik diinginkan dan ketika pengorbanan kecepatan dapat diterima untuk kasus penggunaan tertentu.

//Untuk sistem berbasis Debian apt install bzip2 //Untuk sistem berbasis RPM yum install bzip2

LZMA atau XZ: Kompresi LZMA unggul dalam mencapai rasio kompresi tinggi , tetapi dengan mengorbankan kecepatan kompresi dan dekompresi yang lebih lambat serta penggunaan memori yang lebih tinggi . Metode ini umumnya digunakan ketika pengurangan ukuran file menjadi prioritas dan ketika pengorbanan kinerja dapat diterima mengingat kasus penggunaan spesifiknya.

 //Untuk sistem berbasis Debian apt install lzma //Untuk sistem berbasis RPM yum install lzma

Tabel di bawah ini memberikan perbandingan yang setara antara berbagai algoritma kompresi dalam hal Kecepatan, Rasio Kompresi, Penggunaan CPU, dan Penggunaan Memori. Angka yang lebih tinggi menunjukkan hasil yang lebih baik.

Perbandingan Algoritma Kompresi Menggunakan Skala 1 hingga 10

Catatan: Nilai dapat bervariasi berdasarkan berbagai faktor seperti jenis data dan faktor lingkungan.

Nilai untuk setiap algoritma diberikan berdasarkan nilai algoritma lain dalam tabel. Dengan kata lain, nilai-nilai tersebut tidak memberikan informasi apa pun mengenai kecepatan, rasio kompresi, penggunaan CPU, atau penggunaan memori yang sebenarnya . Sebaliknya, nilai-nilai tersebut harus digunakan untuk membandingkan satu algoritma dengan algoritma lainnya.

Rekomendasi Berbasis Skenario

Zmanda merekomendasikan Zstd untuk sebagian besar kasus karena merupakan salah satu algoritma yang paling seimbang dalam hal kecepatan, rasio kompresi, dan pemanfaatan perangkat keras.

Kumpulan Data Besar (5TB+)

Dataset besar biasanya lebih menyukai algoritma kompresi dengan rasio kompresi yang lebih tinggi, dukungan pemrosesan paralel, dan algoritma yang ramah terhadap streaming. Kami merekomendasikan Zstd atau Gzip jika sistem yang melakukan kompresi memiliki beberapa CPU, dan jika rasio kompresi lebih penting daripada penggunaan CPU.

Kumpulan Data Kecil (<5TB)

Kumpulan data kecil biasanya lebih menyukai algoritma yang ringan dan cepat dengan overhead minimal.
Dalam kasus ini, kami merekomendasikan LZ4, LZJB, atau Zstd. 

Sistem Berkas ZFS

ZFS adalah sistem file yang tangguh yang menyertakan dukungan bawaan untuk kompresi data. Zstd adalah salah satu algoritma kompresi terbaik yang direkomendasikan untuk digunakan dengan ZFS, bersama dengan opsi lain seperti LZ4, Gzip, dan LZJB.

Berbagi File NFS dan SMB

Untuk berbagi file seperti NFS dan SMB, fokusnya umumnya adalah mengoptimalkan bandwidth jaringan dan mengurangi waktu transfer data. Enkripsi sisi klien dengan algoritma yang memiliki rasio kompresi tinggi membantu dalam hal ini dengan mengurangi jumlah data yang perlu ditransmisikan melalui jaringan. Kami merekomendasikan Zstd, Gzip, atau pigz dalam kasus seperti ini.

SSD vs. HDD

Ketika memilih algoritma kompresi untuk solid-state drive ( SSD ) dibandingkan dengan hard disk drive (HDD), pertimbangan utama seringkali adalah keseimbangan antara rasio kompresi dan pemanfaatan CPU. Karakteristik kinerja algoritma kompresi dapat memengaruhi SSD dan HDD secara berbeda karena perbedaan perangkat keras bawaannya. SSD dikenal karena kecepatan baca dan tulisnya yang tinggi, tetapi memiliki daya tahan terbatas untuk operasi penulisan dibandingkan dengan HDD. Secara umum, SSD mendapat manfaat dari algoritma kompresi yang memprioritaskan pemanfaatan CPU rendah, karena ini mengurangi beban komputasi dan membantu mempertahankan throughput yang tinggi.

LZ4 dan LZJB umumnya direkomendasikan untuk SSD karena penggunaan CPU yang rendah dan kecepatan kompresi/dekompresi yang cepat. Algoritma ini dapat memanfaatkan kemampuan I/O SSD yang cepat tanpa berdampak signifikan pada kinerja.

Dalam kasus HDD , pertimbangan utama seringkali adalah memaksimalkan rasio kompresi untuk mengurangi kebutuhan penyimpanan. HDD memiliki kecepatan akses sekuensial dan acak yang lebih lambat dibandingkan dengan SSD, sehingga fokusnya adalah mengoptimalkan efisiensi penyimpanan daripada meminimalkan penggunaan CPU. Algoritma seperti Zstd atau Gzip, yang menawarkan rasio kompresi lebih tinggi tetapi membutuhkan lebih banyak sumber daya CPU, mungkin lebih cocok untuk HDD.

Kesimpulan Rekomendasi

Akan bermanfaat untuk membandingkan berbagai algoritma kompresi dengan himpunan data dan lingkungan spesifik Anda guna menentukan pilihan paling sesuai untuk kasus penggunaan Anda.

Secara umum, kami merekomendasikan Zstd dan Anda hanya memilih opsi lain jika Anda memiliki persyaratan dan kendala khusus yang perlu diperhitungkan.

Kompresi Sisi Klien vs Sisi Server

Anda dapat memilih antara kompresi sisi klien atau sisi server. Biasanya, data yang sudah dikompresi pada klien tidak dapat dikompresi untuk kedua kalinya, oleh karena itu kami hanya menyediakan opsi untuk memilih salah satu.

Mengaktifkan kompresi sisi klien memiliki manfaat dalam mengurangi volume data yang ditransfer melalui jaringan dengan biaya overhead yang lebih tinggi pada sistem klien.

Jika mengurangi overhead pada sistem klien merupakan prioritas yang lebih tinggi jika dibandingkan dengan menghemat bandwidth jaringan, maka masuk akal untuk memilih enkripsi sisi server.