HPE serverdiskar dör efter 32 768 timmar

Ett fel som kan innebära lösningen på dom underliga sjukhuskrascherna har hittats. Det rör sig om ett fel i dom SSD diskarna som installerats från flera server och lagringssystem från Hewlett Packard Enterprise, felet gör att diskarna går sönder efter en exakt drifttid på 32 768 timmar.
Med största sannolikhet är det samma SSD:er som orsakat de stora problemen som drabbat sjukvården i Västra Götaland.

Det rör sig om ett fel i firmware, den inbyggda mjukvaran, i SSD:er från en ännu icke namngiven tillverkare som orsakar att diskarna i HPE:s server- och lagringssystem kraschar efter en drifttid på 32 768 timmar, vilket motsvarar tre år, 270 dagar och åtta timmar. Och när diskarna kraschar kommer all data att förloras, har man dessutom då installerat flera diskar ungefär samtidigt, vilket är vanligt i större it miljöer, ja då kraschar dom också ungefär samtigt.

Enligt HPE så är det inte något som kanske kommer att ske, utan diskarna kommer faktiskt att gå sönder, om man ska kunna rädda diskarna måste man uppdatera den firmware som diskarna kör med.

För att kontrollera hur länge en HPE disk körts kan man kontrollera drifttiden på installerade diskar kan administratörer använda HPE:s administrationsmjukvara Smart Storage Administrator.


Hårddisk

Ännu har ingen svensk kund drabbats av detta problem, men fins dessa diskar i svenska kunders system så kommer även dom att drabbas om inte mjukvaran uppdateras.

Några av dom drabbade produkterna är:
HPE ProLiant, Synergy, Apollo, JBOD D3xxx, D6xxx, D8xxx, MSA, StoreVirtual 4335 och StoreVirtual 3200. Hela listan över drabbade produkter finns här, och den nya firmware som ska installeras är HPD8.

Dock är dom datorerna som används inom sjukvården inte från HPE utan från HP Inc, vilket inte är samma företag, men det kan ändå vara samma fel då tillverkarna av SSD diskar är väldigt få, så sannolikt har samma tillverkare varit i farten i båda fallen.

HPE:s supportdokument och länkar till den nya firmware finns här.

Datorkrasch på sjukhus flera hårddiskar trasiga

Västra Götalandsregionen har fullt upp med att byta ut hårddiskar i snabb takt, ännu finns ingen förklaring till varför så många hårddiskar kraschat. Men felsökning pågår tillsammans med leverantören Atea.

Men ännu vet vi inte vad det beror på

säger Maria Skoglöf på it-avdelningen.

Norra Älvsborgs Länssjukhus i Trollhättan och Uddevalla sjukhus är nu i stabsläge då diskarna i 160 datorer av modellen HP EliteDesk 800 G2 kraschat under veckan.

Det innebär också att Västra Götalandsregionens it-avdelning, VGR IT, har varit i stabsläge sedan i tisdags och har nu full fokus och prioritering på att byta ut dom kraschade diskarna. Alla tillgängliga resurser har satts in för att lösa problemet, vilket också innebär att beredskapen på sjukhusen är förhöjda.

Hårddisk

Vi har nu en backlogg på 400 diskar som vi ännu inte bytt

säger Maria Skoglöf. avdelningschef på VGR IT.

Uppgifter om att 2 000 av regionens datorer kraschat, av totalt 17 000, är något som hon inte håller med om

Nej, vår all time high i veckan var 900

I takt med att uppgifterna om kraschade diskarna kommer in så kan dom också bytas ut, man räknar med att vara klar med backloggen på 400 diskar under nästa vecka. Både Atea och VGR IT har tekniker ute.
Diskarna började gå sönder redan i Augusti och har sedan dess ökat i omfattning, men trots detta är det oklart vad det hela beror på.

Vi tittar på en mängd olika scenarior med leverantören men vet inte vad det beror på ännu.

I nuläget vågar ingen spekulera i problemets orsak eller om man ska byta alla diskar i dom 17 000 datorer som regionen har, utan man avaktar felsökningarnas resultat. På Måndag kommer man ta beslut på hur man ska fortsätta, men under helgen kommer VGR IT att vara i stabsläge och fortsätta försöka lösa problemet.
Eftersom det rör sig om hårddiskar så är det omöjligt att starta upp datorerna, men det är inget som ska påverka vården enligt biträdande sjukhusdirektören.

Det här handlar i första hand om att det blir stökigt för våra medarbetare eftersom det påverkar arbetsmiljön och arbetsbelastningen i och med att de inte har tillgång till de datorer som de behöver i arbetet, Alla patienter som behöver uppsöka oss, planerat eller akut, kan vara säkra på att få den vård de behöver

säger biträdande sjukhusdirektör Anders Kullbratt i ett pressmeddelande.

Förutom Norra Älvsborgs Länssjukhus i Trollhättan och Uddevalla sjukhus, så har även Södra Älvsborgs sjukhus i Borås och Sahlgrenska universitetssjukhuset i Göteborg drabbats en epedemi av hårddiskkraschern men där har man inte bedömt att ett stabsläge är aktuellt.

Vid Sahlgrenska universitetssjukhuset har 1 500 datorer av sammanlagt 6 000 gått sönder och sjukhuset arbetar nu med att byta ut dem säger Boel Mörck, områdeschef med särskilt ansvar för it på sjukhuset till Dagens Medicin.

– Vi räknar med att det snart ska finnas 600 till 800 nya datorer på plats, säger hon.

säger Boel Mörck, områdeschef med särskilt ansvar för it på Sahlgrenska universitetssjukhuset

Enligt Dagens Medicins sammanställning är det nu över 3 400 datorer som kraschat i hela regionen.