42 / 43
刪錯的那一座城
實習生刪錯叢集,備份卻從來沒打開。
(示意情境,非真實事件)
週五上午,實習生小宇接到一個任務:把一套沒在用的測試系統,刪掉。
畫面上,測試的和正式的,長得很像。他選了一套,按下刪除。沒有人,再幫他看一眼。
一分鐘後,警報響了。他刪掉的,是正式上線的那一套。整個區域的客戶網站,一起停了。
雲端供應商說:刪了,救不回來。想用備份還原,才發現,備份從來沒有開。
幸好,客戶的資料還在。團隊花了快一個小時,把服務一個一個搬回來。
事後檢討,寫得很誠實:實習生的帳號,大到能刪掉正式系統。這麼危險的動作,沒有人覆核。
你們看到的,是一個按錯的鍵。你們沒看到的,是一把能拆掉整座城的鑰匙,交給了還在學的學徒。
老子說:「其安易持。」事情還安穩的時候,最容易守住。
學徒會犯錯,這是學徒的本分。讓一個錯,就拆掉整座城,那是師傅的事。
刪除鍵上多一道鎖,不是不信任人,是保護那個,總有一天會按錯的人。
給雲端管理者的一句話
平常用權限小的帳號;刪除這類救不回來的動作,要另外申請、有人覆核;備份不只要開,還要真的還原過一次。
看完的心情