Historia sukcesu - Prognosys Biosciences
Zmanda chroni dane biotechnologiczne
Ogromne ilości danych molekularnych stanowią krytyczny inwentarz dla Prognosys Biosciences, firmy biotechnologicznej z siedzibą w La Jolla w Kalifornii. Dane, które są zbierane z sekwencerów DNA, znajdują się na serwerze pamięci masowej RAID, który ma około 20 TB użytecznej przestrzeni dyskowej.
„Dane są niezwykle ważne dla firmy i muszą być chronione przed awariami sprzętu i innymi zagrożeniami” - mówi dr Mike Thompson, dr Prognosys.
Genom ludzki ma trzy miliardy par zasad. Kolejność zasad determinuje różnice między ludźmi, a informacje o tych różnicach są wykorzystywane do doskonalenia medycyny i zrozumienia działania określonych leków. Prognosys wykorzystuje sekwencer zwany Illumina Genome Analyzer II, który generuje wyniki dla odkryć w dziedzinie genomiki, epigenomiki, analizy ekspresji genów i interakcji białko-kwas nukleinowy. Każde uruchomienie instrumentu do sekwencjonowania daje prawie terabajt danych. Po zebraniu surowe dane nie ulegają zmianie. Dane dynamiczne wynikają z obliczeń wykonanych na danych surowych.
Pojawia się kopia zapasowa open source
Niedawno, gdy Prognosys przyspieszył zarówno wewnętrzne projekty, jak i działanie usług sekwencjonowania, stało się jasne, że potrzebny jest solidny system tworzenia kopii zapasowych i odzyskiwania. Zastrzeżone oprogramowanie do tworzenia kopii zapasowych i odzyskiwania danych, a także otwarte oprogramowanie Zmanda zostały zbadane pod kątem tworzenia kopii zapasowych zarówno niezmiennych nieprzetworzonych danych sekwencjonowania, jak i danych dynamicznych pochodzących z analizy obliczeniowej.
Decydujące czynniki przy wyborze Zmandy Firma Amanda W zestawie oprogramowanie Backup Server i Solaris Client: cena (Amanda Enterprise Backup Server jest o 80 procent niższa niż oprogramowanie firmowe); możliwość szyfrowania danych na kliencie lub serwerze; dostępność otwartego kodu źródłowego; i obietnica obsługi klienta.
„Przed zapisaniem na taśmie dane kompresujemy w około 70 procentach. Jeśli coś stanie się z oprogramowaniem Zmanda w przyszłości i nie będziemy w stanie go użyć, możemy użyć zwykłego programu gzip do zdekompresowania danych ”- mówi Thompson. „Zmanda zdalnie zainstalowała oprogramowanie na serwerze kopii zapasowych i serwerze pamięci masowej, przetestowała je i upewniła się, że czujemy się komfortowo z produktem. Interakcja, jaką mieliśmy z nimi za tę cenę, była nie do pobicia ”.
Podczas instalacji technicy Zmandy pomogli firmie Prognosys pokonać niektóre wyzwania związane z siecią, a także umożliwili firmie wydajniejsze tworzenie kopii zapasowych nieprzetworzonych zestawów danych. Technik z firmy Zmanda pomógł firmie Prognosys zwiększyć przepustowość między serwerem kopii zapasowych a serwerem pamięci masowej, dzięki czemu Prognosys może efektywniej wykorzystać moc swoich funkcji inteligentnego planowania, które utrzymują ruch sieciowy na niskim poziomie, podczas gdy maszyny zbierają dane.
„Statyczne tworzenie kopii zapasowych nieprzetworzonych zestawów danych było nowością w Zmandzie” - mówi Thompson. „Napisali skrypt, aby zautomatyzować tworzenie kopii zapasowych i nie tylko znali się na tym, do czego byli przyzwyczajeni. Inżynierowie Zmandy zrobili wszystko, co w ich mocy, aby opracować rozwiązanie, które zadziałało dla nas ”.
Zmanda oswaja dane statyczne i dynamiczne
Sieć Prognosys Biosciences składa się z serwerów i klientów Linux, Solaris i Mac OS X. Instrumenty naukowe łączą się z klientami Windows.
Obliczenia odbywają się na serwerze Linux, który analizuje dane z Illumina Genome Analyzer II i dopasowuje dane sekwencji do genomów ludzkich i innych. Genome Analyzer II generuje 50 milionów 36-zasadowych odczytów na przebieg.
Serwer Dell PowerEdge 2950 służy jako serwer zapasowy. Model 2950 ma czterordzeniowe procesory Xeon, pojemność 1.5 TB i system Red Hat Enterprise Linux 5. Łączy się z serwerem pamięci masowej Sun Fire X4500 RAID z systemem Solaris, który codziennie tworzy kopie zapasowe danych, a po zapełnieniu zrzuca je na taśmę Dell PowerVault ML600 biblioteka.
Biblioteka firmy Dell ma 36 gniazd na taśmy LTO 800 GB. Dynamiczne dane zapełniają cztery taśmy, które są odtwarzane w czterotygodniowej rotacji. Inne taśmy są przeznaczone do tworzenia kopii zapasowych surowych danych. Po zakończeniu pracy przez Prognosys za pomocą Illumina Genome Analyzer II zapisuje dane na taśmach. Taśmy z kopiami zapasowymi są wysyłane do bezpiecznego magazynu poza siedzibą firmy.
Średni tygodniowy rozmiar kopii zapasowej dla surowych zestawów danych to jeden terabajt, a średni dzienny rozmiar kopii zapasowej dla danych dynamicznych to około 500 GB. Średni czas wykonywania tygodniowych pełnych kopii zapasowych na taśmie wynosi siedem godzin. Przyrostowe kopie zapasowe danych dynamicznych na dysk średnio 2.5 godziny.
Prognosys Biosciences wykorzystuje Zmandę dla spokoju ducha
Od czasu wdrożenia oprogramowania Zmanda, Prognosys jest w stanie skalować operacje bez ryzyka utraty danych. Rozwiązanie Amanda Enterprise umożliwia firmie Prognosys rozbudowę środowiska i dalsze dodawanie klientów w razie potrzeby. W najbliższej przyszłości Prognosys planuje dodać więcej mocy obliczeniowej i prawdopodobnie więcej serwerów pamięci masowej.
Program Prognosys utworzył kopie zapasowe około 20 TB od czasu wdrożenia. Thompson również przetestował odbudowę. Po zrzuceniu danych na taśmę w Amanda Enterprise zostaje wybrana karta przywracania. Amanda Enterprise posiada bazę danych zawierającą informacje o wszystkich katalogach i plikach, których kopia zapasowa została utworzona. Użytkownik żąda przywrócenia danych z określonego okresu, a Amanda Enterprise informuje użytkownika, którą taśmę załadować. Obciążenie serwera wzrosło, podobnie jak przepustowość między serwerem a klientem.
„Inną rzeczą, którą naprawdę lubimy w oprogramowaniu do tworzenia kopii zapasowych Zmanda, jest to, że jest to aplikacja internetowa” - mówi Thompson. „Możemy monitorować postęp tworzenia kopii zapasowych z dowolnego komputera w sieci”.
Ponadto interfejs aplikacji internetowej umożliwia administrowanie kopiami zapasowymi przez personel nietechniczny. To plus dla firm, które nie mają dedykowanych administratorów pamięci masowej.
Firmy, które przetwarzają ogromne ilości danych, solidne i niezawodne tworzenie kopii zapasowych i odzyskiwanie są wymagane do sukcesu. Firmy z różnych branż z powodzeniem chronią swoje zasoby danych za pomocą elastycznego rozwiązania typu open source, a nie zbyt rozbudowanego, kosztownego, zastrzeżonego oprogramowania.