V pátek 19. července 2024 vydala společnost CrowdStrike, poskytovatel EDR řešení, chybnou aktualizaci svého detekčního jádra, které následně způsobilo pád mnoha operačních systému a stanic do BSOD, takzvané modré smrti. Pokud jste byli ovlivněni, existují možnosti pro opravu dotčených systémů.
Dle statistik společnosti Microsoft bylo ovlivněno až 1 celé procento operačních systémů celosvětově, které mají povoleno odesílat telemetrická data o pádech systému. Z povahy chybující aplikace se ovšem jednalo o zvláště kritické systémy a organizace, které právě EDR řešení používají.
Yesterday, CrowdStrike released an update that began impacting IT systems globally. We are aware of this issue and are working closely with CrowdStrike and across the industry to provide customers technical guidance and support to safely bring their systems back online.
— Satya Nadella (@satyanadella) July 19, 2024
Oficiální informace o problému a rozcestník možností nápravy pro jednotlivé platformy najdete na oficiálních stránkách Falcon Content Update Remediation and Guidance Hub | CrowdStrike.
Podrobnější kroky pro VM hostované na platformě Azure jsou popsány v článku Recovery options for Azure Virtual Machines (VM) affected by CrowdStrike Falcon agent – Microsoft Community Hub. Stroje chráněné pomocí Azure Backup a dalších nativních mechanismů mají obnovu samozřejmě ulehčenu.
Pro koncové stanice je k dispozici nyní již i nástroj, který automatizuje jednotlivé kroky nutné pro obnovu systému. Tento je k dispozici i s popisem fungování na New Recovery Tool to help with CrowdStrike issue impacting Windows endpoints – Microsoft Community Hub.
Samozřejmě jsou zde i manuální kroky, které lze provést v zásadě obratem. Na zařízeních, které jsou chráněny BitLocker šifrováním, bude zapotřebí mít k dispozici obnovovací klíče.
- Restartovat zařízení do takzvaného Safe Mode.
- Vstoupit do Windows Recovery prostředí (WinRE).
- V rámci Safe Mode otevřít příkazovou řádku cmd nebo PowerShell jako Administrator.
- Pomocí příkazu cd se přesunout do adresáře C:\Windows\System32\drivers\CrowdStrike.
- Odstranit veškeré soubory C-00000291.sys pomocí příkazu del C-00000291.sys.
- Restartovat počítač.
Náprava si samozřejmě vyžádá jistý čas IT profesionálů. Abychom dokázali společně předejít podobným výpadkům v budoucnosti, je na místě se nyní zamyslet nad:
- Procesem aktualizací a jejich testováním jak pro operační systém, jeho komponenty, ale i AV a EDR řešení (například Microsoft Defender nabízí stejně jako operační systém možnost několika různých aktualizačních frekvencí a aktualizačních kanálů Manage the gradual rollout process for Microsoft Defender updates – Microsoft Defender for Endpoint | Microsoft Learn)
- Procesem zrychlené aktualizace v případě bezpečnostního incidentu, kritické zranitelnosti nebo naopak zastavení aktualizací v časech problémů
- Procesem pravidelného zálohování kritických systémů na úrovni dat, operačního systémů i funkcí infrastruktury (například doménových řadičů)
- Procesem zálohování klíčů technologie BitLocker (zda do AD, či také do Entra ID nebo jiného systému tuto technologie spravující)
- Procesem získáváním informací v podobných případech, neboť tento incident využívají i útočníci k šíření falešných oprav a skriptů z falešných webových stránek, které naopak vedou ke kompromitaci prostředí.
