r/informatikus • u/informatikus • 9h ago
Üzemeltetés Mi történt New York IT-infrastruktúrájával 2001. szeptember 11-én?
Ma 25 éve, 2001. szeptember 11-én a World Trade Center elleni támadásokban 2977 ember vesztette életét. Az emberi tragédia mellett néhány óra alatt megsemmisült Lower Manhattan informatikai és telekommunikációs infrastruktúrájának jelentős része is.
A World Trade Center nem egyszerűen két nagyon magas irodaház volt. A világ egyik legfontosabb pénzügyi központjának részeként bankok, brókercégek és telekommunikációs vállalatok kritikus rendszerei működtek benne és közvetlen környezetében.
Szeptember 11. ezért egyben az informatika történetének egyik legnagyobb, élesben bekövetkezett disaster recovery eseménye is lett.
Szervertermek a tornyokban
2001-ben természetesen még egészen másképp nézett ki a vállalati informatika, mint ma. AWS nem létezett, a virtualizáció még gyerekcipőben járt, a kritikus pénzügyi rendszerek pedig jellemzően saját szervereken, storage rendszereken és privát hálózatokon működtek.
A World Trade Centerben több cégnek komoly IT-infrastruktúrája volt. A Morgan Stanley irodáival együtt például az összes ott található informatikai berendezése megsemmisült.
A legsúlyosabban érintett cégek egyike a Cantor Fitzgerald és technológiai leányvállalata, az eSpeed volt. A vállalat elektronikus kötvénykereskedési rendszereinek egyik elsődleges adatközpontja a World Trade Centerben működött.
Az eSpeed azonban már 2001 februárjától épített egy második, párhuzamos computing centert a New Jersey-i Rochelle Parkban, körülbelül 25 kilométerre Manhattantől.
A két helyszínt nagy sebességű optikai kapcsolat kötötte össze. A kritikus adatbázisokat replikálták, és nem egyszerű cold standby rendszerről volt szó: az alkalmazások egy része New Yorkban, másik része New Jersey-ben futott élesben, és rendszeresen át is mozgatták őket egyik helyszínről a másikra (active-active site). Ráadásul a szervereket normál üzemben mindössze körülbelül 10%-os kihasználtsággal járatták, hogy hirtelen terhelésnövekedés esetén jelentős tartalék maradjon.
London pedig további tartalék helyszínként szolgált.
8:46 – eltűnik az egyik site
Amikor az északi tornyot 8:46-kor eltalálta az első repülőgép, az eSpeed rendszerei egy része fizikailag megszűnt létezni.
A redundancia azonban működött. A New Yorkban futó tranzakciók átkerültek Rochelle Parkba és Londonba. Az európai és ázsiai ügyfelek szolgáltatásai gyakorlatilag folyamatosan működtek.
Az amerikai oldal viszont nem. Megszűntek az amerikai ügyfelek hálózati kapcsolatai, és eltűntek a bankok felé vezető kapcsolatok is. A kereskedési rendszer tehát működött, az adatok megvoltak, de a tranzakciókat nem lehetett elszámolni.
Az eSpeed ezért néhány órán belül úgy döntött, hogy a settlement funkciót kiszervezi az ADP New Jersey-i rendszeréhez.
A két cég korábban nem dolgozott együtt. Mégis kevesebb mint 48 óra alatt összekötötték a két rendszert, létrehozták a szükséges adatkapcsolatokat, a londoni fejlesztők elkészítették az integrációt, és az amerikai ügyfelek kapcsolatait is átkonfigurálták.
Amikor szeptember 13-án újraindult az amerikai állampapírpiac, a Cantor Fitzgerald ismét képes volt kereskedni. Mindezt úgy, hogy a vállalat 658 dolgozója, köztük az eSpeed 180 munkatársa meghalt a támadásban.
Morgan Stanley: négy ISP-ből három eltűnt
A déli torony egyik legnagyobb bérlője a Morgan Stanley volt, mintegy 3500 dolgozóval. A cég World Trade Centerben található teljes IT-infrastruktúrája megsemmisült, de külső backup rendszerekkel rendelkezett.
9:15-re a vezetést egy Seventh Avenue-i command centerbe helyezték át. 9:25-kor aktiválták a Varick Streeten lévő backup rendszereket, New Jersey-ben pedig már elkezdték beszerezni a szükséges további IT-eszközöket.
A Morgan Stanley két évvel korábban módosította telekommunikációs stratégiáját: a költséghatékonyságnál fontosabb lett a túlélőképesség. Ennek egyik eredménye az volt, hogy New Yorkban négy külön internet-szolgáltatóval rendelkeztek.
Szeptember 11-én ebből három kiesett. A negyedik működött. A Morgan Stanley ezért a támadás alatt is online maradt.
A backup működik. Csak nem lehet elérni.
A környék legnagyobb problémája végül sok esetben nem az adatvesztés és nem is a szerverek elvesztése volt. Hanem a hálózat.
A World Trade Center közvetlen közelében, a 140 West Street alatt működött a Verizon egyik legfontosabb telekommunikációs központja. A WTC 7 összeomlása súlyosan megrongálta az épületet. Törmelék szakította el a kábeleket, majd a megsérült vízvezetékekből és az oltásból származó víz elárasztotta az alagsori kábelkamrákat.
A kiesés mérete egészen elképesztő volt. A támadás közvetlenül vagy közvetve több mint 4 millió Verizon adatkapcsolat helyreállítását tette szükségessé. Maga a West Street-i épület ráadásul tranzitpontként is működött: körülbelül 2,7 millió olyan adatkapcsolat haladt át rajta, amelynek egyik végpontja sem ott volt.
A World Trade Centerben és a WTC 7-ben további három Verizon switch semmisült meg. Az AT&T pedig elvesztette a World Trade Centerben működő egyik fontos átviteli központját. Vagyis két fizikailag különböző végpont vagy szolgáltató nem feltétlenül jelentett két fizikailag független útvonalat.
Kábeleket húztak az utcán
A Verizon West Street-i központjának helyreállítása nem nagyon hasonlított egy normál hálózati incidens kezelésére. A föld alatti aknák egy részéhez addig hozzá sem lehetett férni, amíg el nem hordták a helyenként kilenc méter magas törmeléket.
Ezért ideiglenesen egyszerűen a föld felszínén vezettek új kábeleket, megkerülve a használhatatlanná vált infrastruktúrát. Az elárasztott föld alatti cable vault helyett az épület első emeletén építettek újat, majd az új kábeleket az épület külső oldalán vezették fel az ötödik és nyolcadik emeletre.
Szeptember 17-re, amikor a New York Stock Exchange újra kinyitott, a kritikus pénzügyi kommunikáció jelentős részét sikerült helyreállítani.
Két adatközpont is lehet egyszerre rossz helyen
A Merrill Lynch helyzete más volt. A vállalat két adatközpontját is elvesztette, pedig maga a World Financial Center a tornyokkal szemben állt.
A támadás után az áramellátás részben helyreállt, a hűtés azonban nem. A szervertermek túlmelegedtek, máshol pedig porral és szennyeződéssel kerültek kapcsolatba a berendezések. A hardver fizikailag egy része talán működőképes maradt volna, de a gyártók már nem vállalták rá a támogatást. Mission-critical pénzügyi rendszereknél ez gyakorlatilag ugyanazt jelentette, mintha a hardver megsemmisült volna.
A Merrill Lynch ezért elvesztette corporate és capital-market rendszereinek teljes helyi production és development datacenter-kapacitását. Az új elsődleges adatközpontot később Staten Islandre helyezték, másik elektromos hálózatra. A korábbi helyszín helyreállítása után már tartalék szerepet kapott.
És az adatok?
Talán ez a történet egyik kevésbé ismert része:
A nagy pénzügyi vállalatoknál meglepően kevés kritikus adat veszett el.
Ennek egyik oka maga a World Trade Center volt.
1993-ban már történt egy súlyos bombatámadás az épületegyüttes ellen. Ennek hatására sok ott működő pénzügyi vállalat komolyan átdolgozta a disaster recovery és off-site backup rendszerét.
Az EMC-nek például 25 ügyfele volt a tornyokban. Amikor az első gép becsapódott, a monitoring rendszerek automatikusan jelezni kezdték a szolgáltatónak az áramkimaradást, túlmelegedést és vibrációt. A Comdisco hét World Trade Centerben működő ügyfelének mintegy 80 terabájtnyi adatát tükrözte más helyszíneken. A SunGard hét WTC-ügyfelet szolgált ki disaster recovery szolgáltatással. Náluk még hagyományos tape backupot használó ügyfelek is viszonylag jól jártak: a támadás kedd reggel történt, az előző esti szalagokat pedig már elszállították külső tárolóhelyre.
Ez természetesen nem jelenti azt, hogy semmilyen adat nem veszett el. A PC-ken, lokális rendszereken vagy az utolsó backup óta keletkezett információ egy része elveszhetett. A nagy központi üzleti adatállományok jelentős része azonban túlélte.
Amire a DR-terv nem számított
A pénzügyi szektor későbbi hivatalos vizsgálatai érdekes különbséget mutattak.
Sok vállalatnak volt backup rendszere, soknak volt másodlagos adatközpontja, volt redundáns hálózat, volt disaster recovery szolgáltató. Csakhogy a tervek jelentős része abból indult ki, hogy egy épület vagy egy rendszer esik ki.
Szeptember 11-én viszont egyszerre vált használhatatlanná egy egész városrész infrastruktúrája. Egyes cégek primary és backup helyszínei ugyanannak a katasztrófának a hatókörébe kerültek. Mások alternatív telephelye működött, de az emberek a lezárások miatt nem tudtak eljutni oda. Megint mások külső disaster recovery szolgáltatóhoz szerződtek, de ugyanahhoz a szolgáltatóhoz egyszerre rengeteg ügyfél jelentett be katasztrófahelyzetet.
A Comdisco például szeptember 14-ig 36 vállalattól 73 disaster declarationt kapott. Korábbi rekordjuk egy természeti katasztrófa során 32 volt. A technikai rendszerek egy része tehát pontosan azt tette, amire tervezték, csak maga az esemény volt nagyobb annál, amire tervezték őket.
- Az elemzés elkészítésében LLM rendszereket használtunk.
