Succesverhaal - Prognosys Biosciences
Zmanda beschermt biotechnologische gegevens
Kolossale hoeveelheden moleculaire gegevens vormen een cruciale inventaris voor Prognosys Biosciences, een biotechnologiebedrijf gevestigd in La Jolla, CA. De gegevens, die worden verzameld van DNA-sequencers, bevinden zich op een RAID-opslagserver met ongeveer 20 TB bruikbare opslagruimte.
"De gegevens zijn van cruciaal belang voor het bedrijf en moeten worden beschermd tegen defecte apparatuur en andere risico's", zegt dr. Mike Thompson, Ph.D., Prognosys.
Het menselijk genoom heeft drie miljard basenparen. De volgorde van basen bepaalt verschillen tussen mensen, en de informatie over deze verschillen wordt gebruikt om de geneeskunde te verbeteren en om het effect van specifieke medicijnen te begrijpen. Prognosys maakt gebruik van een sequencer genaamd de Illumina Genome Analyzer II, die resultaten genereert voor ontdekkingen op het gebied van genomica, epigenomica, genexpressieanalyse en eiwit-nucleïnezuurinteracties. Elke run van het sequencing-instrument resulteert in bijna een terabyte aan gegevens. Eenmaal verzameld, veranderen de onbewerkte gegevens niet. Dynamische gegevens zijn het resultaat van berekeningen die zijn uitgevoerd op de onbewerkte gegevens.
Open source back-up komt binnen
Onlangs, toen Prognosys zowel interne projecten als de werking van de sequencing-services opvoerde, werd het duidelijk dat een solide back-up- en herstelsysteem nodig was. Gepatenteerde back-up- en herstelsoftwareproducten en ook de open source-software van Zmanda werden onderzocht voor back-up van zowel onveranderlijke onbewerkte sequentiegegevens als dynamische gegevens afgeleid van computationele analyse.
De doorslaggevende factoren bij het kiezen van Zmanda's Amanda onderneming Backup Server-software en Solaris Client inbegrepen: prijs (Amanda Enterprise Backup Server is 80 procent minder dan propriëtaire software); de mogelijkheid om gegevens op de client of server te versleutelen; toegankelijkheid van open source code; en de belofte van klantenondersteuning.
“We comprimeren de gegevens met ongeveer 70 procent voordat ze op tape worden geschreven. Als er onderweg iets met de Zmanda-software gebeurt en we deze niet kunnen gebruiken, kunnen we gewone gzip gebruiken om de gegevens uit te pakken ”, zegt Thompson. “Zmanda installeerde de software op afstand op de back-upserver en opslagserver, testte deze en zorgde ervoor dat we vertrouwd waren met het product. De interactie die we met hen hadden voor de prijs was onverslaanbaar. "
Tijdens de installatie hielpen de technici van Zmanda Prognosys bij het overwinnen van een aantal netwerkuitdagingen, naast het feit dat het bedrijf efficiënter back-ups kon maken van onbewerkte gegevenssets. De Zmanda-technicus hielp Prognosys de bandbreedte tussen de backupserver en de opslagserver te vergroten, zodat Prognosys de kracht van zijn slimme planningsmogelijkheden effectiever kon benutten, waardoor het netwerkverkeer laag blijft terwijl machines gegevens verzamelen.
"De statische back-up van onbewerkte datasets was nieuw voor Zmanda", zegt Thompson. “Ze schreven een script om hun back-up te automatiseren en hadden niet alleen kennis van wat ze gewend waren te doen. De ingenieurs van Zmanda deden hun uiterste best om een oplossing te ontwikkelen die voor ons werkte. "
Zmanda temt statische en dynamische gegevens
Het Prognosys Biosciences-netwerk bestaat uit Linux-, Solaris- en Mac OS X-servers en -clients. Wetenschappelijke instrumenten maken verbinding met Windows-clients.
De berekening vindt plaats op een Linux-server, die gegevens van de Illumina Genome Analyzer II analyseert en sequentiegegevens uitlijnt met menselijke en andere genomen. De Genome Analyzer II genereert 50 miljoen uitlezingen van 36 basen per run.
Een Dell PowerEdge 2950 dient als back-upserver. De 2950 heeft quad-core Xeon-processors, een capaciteit van 1.5 TB en Red Hat Enterprise Linux 5. Hij maakt verbinding met een Sun Fire X4500 RAID-opslagserver waarop Solaris draait, die dagelijks een back-up van de gegevens maakt en deze, wanneer ze vol zijn, naar een Dell PowerVault ML600-tape dumpt. bibliotheek.
De Dell-bibliotheek heeft 36 slots voor LTO-tapes van 800 GB. Dynamische gegevens vullen vier banden die in een rotatie van vier weken worden gerecycled. Andere banden zijn bedoeld voor het maken van back-ups van onbewerkte gegevens. Nadat Prognosys een run met de Illumina Genome Analyzer II heeft voltooid, schrijft het de gegevens naar banden. Back-uptapes worden naar externe beveiligde opslag gestuurd.
De gemiddelde wekelijkse back-upgrootte voor onbewerkte datasets is één terabyte en de gemiddelde dagelijkse back-upgrootte voor dynamische gegevens is ongeveer 500 GB. De gemiddelde tijd voor wekelijkse volledige back-ups naar tape is zeven uur. Incrementele back-ups van dynamische gegevens naar schijf gemiddeld 2.5 uur.
Prognosys Biosciences gebruikt Zmanda voor gemoedsrust
Sinds de implementatie van de software van Zmanda is Prognosys in staat geweest om operaties op te schalen zonder risico op gegevensverlies. De Amanda Enterprise-oplossing stelt Prognosys in staat om zijn omgeving te laten groeien en door te gaan met het toevoegen van klanten als dat nodig is. Prognosys is van plan om in de nabije toekomst meer rekencapaciteit en mogelijk meer opslagservers toe te voegen.
Prognosys heeft sinds de implementatie een back-up van ongeveer 20 TB gemaakt. Thompson heeft ook de restauratie getest. Zodra de gegevens op tape zijn gedumpt, wordt een hersteltabblad geselecteerd in Amanda Enterprise. Amanda Enterprise heeft een database die informatie bevat over alle mappen en bestanden waarvan een back-up is gemaakt. De gebruiker vraagt herstel van een specifieke tijdsperiode aan en Amanda Enterprise vertelt de gebruiker welke tape moet worden geladen. De serverbelasting is verbeterd, evenals de bandbreedte tussen de server en de client.
"Een ander ding dat we erg leuk vinden aan de Zmanda-back-upsoftware is dat het een webtoepassing is", zegt Thompson. "We kunnen de voortgang van de back-up volgen vanaf elke machine in het netwerk."
Bovendien maakt de webapplicatie-interface het mogelijk om back-ups te beheren door niet-technisch personeel. Dit is een pluspunt voor bedrijven zonder toegewijde opslagbeheerders.
Voor bedrijven die enorme hoeveelheden gegevens verwerken, robuuste en betrouwbare back-up en herstel zijn vereist voor succes. Bedrijven uit een grote verscheidenheid aan verticale markten beschermen met succes hun gegevensactiva met een wendbare open source-oplossing in plaats van over-engineered, dure propriëtaire software.