장애가 나면 그제서야 난리

어느날 아침 출근하면 모여서 웅성웅성하는 장면을 간혹 보게된다. 십중팔구 시스템 장애가 나서 운영팀장을 비롯하여 관련 운영담당자 및 현업담당자까지 모여서 해결책에 대해 고민하고 있는 것이다.

주위의 모든 일이 사후약방문으로 조치되는 일이 파다하지만 소프트웨어에서도 똑같다.

장애가 발생하면 리더나 경영층은 왜? 대책은? 있을 수 없는 일이 일어났나?

사전에 왜 방지못했나? 라고 다그치는데,

결론은 돈이 없어...

그러다가, 큰 이슈가 되면,

장애 예방을 위해 이중화, 장비 증설, 성능개선 등 인프라를 강화하고, 장애 예방에 대한 교육을 수행하게 된다.

나아가 장애 모의훈련, 장애 발생시 신속복구할 수 있는 매뉴얼, 일일예방점검 체크리스트, 선감지 모니터링 시스템 까지 개발하게 된다.