Zmanda의 압축

Zmanda에서 다양한 압축 알고리즘/도구를 사용하는 방법.

차례

1. 압축을 활성화하는 방법

2. 압축에 대하여

3. 추천 알고리즘

4. 시나리오 기반 권장 사항

5. 클라이언트 측 압축 vs 서버 측 압축

Zmanda에서 압축을 활성화하는 방법

1. ZMC에 로그인하세요

2. 이동 소스 > 소스 추가 > 그리고 만들고 싶은 소스를 선택하세요

3. 압축 전략에서 미리 정의된 옵션 중 하나를 선택하거나 서버 또는 클라이언트에 대한 사용자 지정 전략을 선택할 수 있습니다.

참고: 클라이언트 측 압축은 Zmanda Agents가 설치된 소스에만 사용할 수 있습니다. 예를 들어, VMWare는 클라이언트 측 압축을 지원하지 않습니다. 또한, 관습 클라이언트 측 압축은 Linux 기반 소스에만 사용할 수 있습니다.

4. 사용자 정의 클라이언트 측 압축의 경우 Linux 기반 클라이언트 머신에 원하는 압축 도구를 설치해야 합니다. 예를 들어, 다음을 사용하려는 경우 zstd 아래 명령을 사용하세요:

//Debian 기반 시스템의 경우 apt install zstd //RPM 기반 시스템의 경우 yum install zstd

5. 이제 설치 경로를 지정할 수 있습니다. 사용자 정의 클라이언트 압축 들

6. 그게 전부입니다! 사용자 정의 서버 측 압축을 구성하려면 백업 서버에서 동일한 단계를 따르세요.

압축에 대하여

압축 알고리즘은 데이터를 저장하는 파일 시스템과 관계없이 데이터 자체에서 작동합니다.

그들은 데이터를 분석하고 정보를 보다 효율적으로 표현하기 위해 패턴이나 중복을 찾는 방식으로 작업합니다. 이 프로세스는 기본 스토리지 시스템이 아닌 데이터의 내용에 초점을 맞추기 때문에 파일 시스템과 무관합니다.

압축 작업의 성능은 저장 매체의 속도, 전반적인 시스템 성능(CPU, 메모리 등), 압축되는 데이터의 크기와 복잡성과 같은 요인에 의해 영향을 받을 수 있습니다. 이러한 요인은 데이터가 파일 시스템에서 읽히거나 파일 시스템에 쓰여지는 속도에 영향을 미쳐 압축 프로세스에 간접적으로 영향을 미칠 수 있습니다.

압축 알고리즘을 선택할 때는 알고리즘의 CPU 오버헤드에 대한 선호도, 사용 가능한 CPU 스레드 수, 원하는 압축 비율을 고려해야 합니다. 이러한 모든 요소는 네트워크를 통해 전송되는 데이터와 압축/압축 해제 프로세스의 속도에 영향을 미칩니다.

추천 알고리즘

Z표준(Zstd): Zstd는 새로운 압축 알고리즘으로 다음과 같은 기능을 제공합니다. 좋은 균형 압축 사이 비율 성능. 그것은 제공합니다 빠른 압축 감압 속도가 빠르고 효율성이 높아 선호되는 경우가 많습니다.

//Debian 기반 시스템의 경우 apt install zstd //RPM 기반 시스템의 경우 yum install zstd

LZ4: 이 알고리즘은 다음과 같은 점에서 알려져 있습니다. 높은 압축 감압 속도 과 낮은 CPU 오버헤드특히 실시간 작업 부하나 시스템에 대해 우수한 성능을 제공합니다. 제한된 계산 리소스로.

//Debian 기반 시스템의 경우 apt install lz4 //RPM 기반 시스템의 경우 yum install lz4

Gzip: Gzip은 다음을 제공합니다. 더 높은 압축 비율 LZ4와 비교했을 때, 그러나 더 높은 CPU 오버헤드 느린 성능. 압축 효율성과 속도 사이의 좋은 균형을 제공합니다.

//Debian 기반 시스템의 경우 apt install gzip //RPM 기반 시스템의 경우 yum install gzip

피즈: 피그, 이는 pArallel i의 구현 gzip는 gzip을 완벽하게 대체하는 압축 프로그램으로, 데이터를 압축할 때 여러 개의 프로세서와 여러 개의 코어를 최대한 활용합니다.LZJB: LZJB는 가벼운 압축 알고리즘으로 적당한 압축 비율 과 매우 낮은 CPU 오버헤드CPU 사용량을 최소화하는 것이 우선순위인 시나리오에 적합합니다.

//Debian 기반 시스템의 경우 apt install pigz //RPM 기반 시스템의 경우 yum install pigz

Bzip2: bzip2는 좋은 기능을 제공합니다 균형 사이에 압축비 속도. 압축 및 압축 해제 속도가 느리지만 높은 압축 비율을 제공합니다. 빠른 알고리즘에 비해 더 많은 계산 리소스가 필요하지만 메모리 사용 CPU 성능은 일반적으로 중간일반적으로 좋은 압축 비율이 필요하고 주어진 사용 사례에서 속도에 대한 균형이 허용될 수 있을 때 사용됩니다.

//Debian 기반 시스템의 경우 apt install bzip2 //RPM 기반 시스템의 경우 yum install bzip2

Lzma 또는 XZ: Lzma 압축은 다음에서 탁월합니다. 높은 압축률 하지만 그 대가로 더 느린 압축 감압 속도와 더 높은 메모리 사용량파일 크기 감소가 우선순위이고 특정 사용 사례를 감안할 때 성능에 대한 균형이 수용 가능할 때 일반적으로 사용됩니다.

 //Debian 기반 시스템의 경우 apt install lzma //RPM 기반 시스템의 경우 yum install lzma

아래 표는 속도, 압축률, CPU 사용량, 메모리 사용량 측면에서 다양한 압축 알고리즘을 직접적으로 비교한 것입니다. 숫자가 높을수록 좋습니다.

1~10의 스케일을 사용한 압축 알고리즘 비교

참고 : 값은 데이터 유형이나 환경 요인 등 여러 요인에 따라 달라질 수 있습니다.

각 알고리즘의 값은 표의 다른 알고리즘의 값을 참조하여 제공됩니다. 즉, 값은 속도, 압축률, CPU 사용량 또는 메모리 사용량에 대한 정보를 제공하지 않습니다. 실제로는. 오히려 이는 하나의 알고리즘을 다른 알고리즘과 비교하는 데 사용되어야 합니다. 

시나리오 기반 권장 사항

Zmanda가 추천합니다 Zstd 대부분의 경우 속도, 압축률, 하드웨어 활용도 측면에서 가장 균형 잡힌 알고리즘 중 하나이기 때문입니다.

대용량 데이터 세트(5TB 이상)

대용량 데이터 세트의 경우 일반적으로 압축 비율이 높고 병렬 처리 지원 및 스트리밍 친화적 알고리즘을 갖춘 압축 알고리즘이 선호됩니다.  압축을 수행하는 시스템에 여러 개의 CPU가 있고, CPU 사용률보다 압축 비율이 더 중요한 경우 Zstd 또는 Gzip을 권장합니다.

소규모 데이터 세트(<5TB)

작은 데이터 세트의 경우 일반적으로 최소한의 오버헤드로 가볍고 빠른 알고리즘이 선호됩니다.
이런 경우에는 LZ4, LZJB 또는 Zstd를 권장합니다. 

ZFS 파일 시스템

ZFS는 데이터 압축을 기본적으로 지원하는 강력한 파일 시스템입니다. Zstd는 LZ4, Gzip, LZJB와 같은 다른 옵션과 함께 ZFS와 함께 사용하도록 권장되는 최고의 압축 알고리즘 중 하나입니다. 

NFS 및 SMB 파일 공유

다음과 같은 파일 공유의 경우 NFS 중소기업, 초점은 일반적으로 네트워크 대역폭을 최적화하고 데이터 전송 시간을 줄이는 데 있습니다. 높은 압축률을 가진 알고리즘을 사용한 클라이언트 측 암호화는 네트워크를 통해 전송해야 하는 데이터 양을 줄여 이러한 경우에 도움이 됩니다. 이런 경우에는 Zstd, Gzip 또는 pigz를 권장합니다. 

SSD 대 HDD

솔리드 스테이트 드라이브에 대한 압축 알고리즘을 선택할 때 (SSD) 대 하드 디스크 드라이브(HDD)의 경우, 가장 중요한 고려 사항은 종종 압축 비율과 CPU 사용률 간의 균형입니다. 압축 알고리즘의 성능 특성은 고유한 하드웨어 차이로 인해 SSD와 HDD에 다르게 영향을 미칠 수 있습니다. SSD는 높은 읽기 및 쓰기 속도로 알려져 있지만 HDD에 비해 쓰기 작업에 대한 내구성이 제한적입니다. 일반적으로 SSD는 낮은 CPU 사용률을 우선시하는 압축 알고리즘의 이점을 누리며, 이는 계산 오버헤드를 줄이고 높은 처리량을 유지하는 데 도움이 됩니다.

LZ4와 LZJB는 CPU 사용률이 낮고 압축/압축 해제 속도가 빠르기 때문에 SSD에 일반적으로 권장됩니다. 이러한 알고리즘은 성능에 큰 영향을 주지 않고 SSD의 빠른 I/O 기능을 활용할 수 있습니다.

의 경우 하드 디스크 드라이브, 가장 중요한 고려 사항은 종종 스토리지 요구 사항을 줄이기 위해 압축 비율을 최대화하는 것입니다. HDD는 SSD에 비해 순차 및 랜덤 액세스 속도가 느리므로 CPU 사용률을 최소화하는 것보다 스토리지 효율성을 최적화하는 데 중점을 둡니다. Zstd나 Gzip과 같은 알고리즘은 압축률이 더 높지만 CPU 리소스가 더 많이 필요하므로 HDD에 더 적합할 수 있습니다.

추천 결론

사용 사례에 가장 적합한 선택을 하려면 특정 데이터세트와 환경에 맞춰 다양한 압축 알고리즘을 벤치마킹하는 것이 유익할 수 있습니다.

일반적으로 Zstd를 권장하며, 특정 요구 사항이나 제약 조건을 고려해야 하는 경우에만 다른 옵션을 선택하는 것이 좋습니다.

클라이언트 측 대 서버 측 압축

클라이언트 측 또는 서버 측 압축 중에서 선택할 수 있습니다. 일반적으로 클라이언트에서 이미 압축된 데이터는 두 번째로 압축할 수 없으므로 둘 중 하나만 선택할 수 있는 옵션만 제공합니다.

클라이언트 측 압축을 활성화하면 네트워크를 통해 전송되는 데이터 양을 줄이는 이점이 있지만 클라이언트 시스템의 오버헤드가 증가합니다.

네트워크 대역폭을 절약하는 것보다 클라이언트 시스템의 오버헤드를 줄이는 것이 더 중요한 경우, 대신 서버 측 암호화를 선택하는 것이 합리적입니다.