可観測性 - アラート

アラートは、異常を気づける形で通知するための仕組み。

まず押さえたいこと

• しきい値をどう置くか
• ノイズが多すぎないか
• 重大度に応じた通知先があるか

何を見るか

• すぐ対応が必要な障害か
• 単発の揺らぎか継続異常か
• 誰に通知すべきか
• 復旧確認までできるか

最初の整理軸

• Critical / Warning の分離
• 営業時間内外の通知先
• 再通知や抑止の設定
• Runbook への導線があるか

アラートの簡易図

[Metrics / Logs]
       |
       v
[Rule / Threshold]
       |
       +--> [Warning]
       |
       `--> [Critical]
               |
               v
         [Notification / Runbook]

メモ

• アラートは多ければよいわけではなく、対応可能な量に絞ることが重要
• 「鳴ったら誰が何をするか」が曖昧なアラートは増やさない方がよい