IT女子 アラ美お疲れ様です!IT業界で働くアライグマです!
「本番でAPIが落ちて、連鎖的にシステム全体が止まった」「1つのサービスの障害が全画面に波及して、復旧に半日かかった」。マイクロサービスや分散システムを運用していると、こうした障害の連鎖は避けて通れません。
本記事では、障害を「起きないようにする」のではなく、「起きても被害を最小限に抑える」ためのレジリエンスパターン7選を、実装例とともに解説します。
レジリエンスパターンとは:本番障害を「想定内」にする設計思想
IT女子 アラ美レジリエンス(Resilience)とは、障害が発生しても、システム全体として機能を維持し続ける能力のことです。「壊れないシステム」を目指すのではなく、「壊れても大丈夫なシステム」を設計する考え方です。
従来のモノリシックアーキテクチャでは、アプリケーション内部のメソッド呼び出しが失敗することは稀でした。しかしマイクロサービスでは、ネットワーク越しのHTTP/gRPC呼び出しが日常的に失敗します。タイムアウト、接続エラー、502/503エラーは「異常」ではなく「日常」です。
この「日常的に失敗する」前提に立って設計するのがレジリエンスパターンです。
IT女子 アラ美前提条件と適用判断基準
7つのパターンを全て実装する必要はありません。システムの特性に応じて必要なパターンを選択するのが現実的です。
適用すべきシステムの特徴
- マイクロサービス構成:サービス間通信が存在するシステム
- 外部API依存:サードパーティのAPIを呼び出しているシステム
- 高可用性要件:SLA 99.9%以上が求められるシステム
優先度の考え方
- まず入れるべき:Timeout(設定するだけ)、Health Check(監視の基本)
- 次に入れるべき:Circuit Breaker、Retry(障害の連鎖防止)
- 必要に応じて:Bulkhead、Fallback、Rate Limiter(高度な制御)
Docker環境でのマイクロサービス構築についてはDocker開発環境セットアップガイドで基礎を解説しています。
IT女子 アラ美パターン1〜4:即効性のあるレジリエンスパターン
パターン1:Circuit Breaker(サーキットブレーカー)
電気のブレーカーと同じ原理です。連続して失敗が発生したら、一定時間そのサービスへのリクエストを遮断します。これにより、障害が発生したサービスへの無駄なリクエストを止め、連鎖的な障害を防ぎます。
import circuitbreaker
@circuitbreaker.circuit(failure_threshold=5, recovery_timeout=30)
def call_payment_service(order_id):
response = requests.post(
f"{PAYMENT_API}/charge",
json={"order_id": order_id},
timeout=3
)
response.raise_for_status()
return response.json()
5回連続で失敗したら30秒間リクエストを遮断し、その間は即座にエラーを返します。
パターン2:Retry(リトライ)
一時的な障害に対して、一定間隔で再試行するパターンです。ネットワークの瞬断やサーバーの一時的な過負荷に有効です。
from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type
import requests
# 一時的なネットワークエラーや特定のエラーのみを再試行対象にする
@retry(
retry=retry_if_exception_type((requests.exceptions.ConnectionError, requests.exceptions.Timeout)),
stop=stop_after_attempt(3),
wait=wait_exponential(multiplier=1, min=1, max=10)
)
def fetch_user_data(user_id):
response = requests.get(f"{USER_API}/users/{user_id}", timeout=5)
response.raise_for_status()
return response.json()
指数バックオフ(1秒→2秒→4秒と間隔を広げる)にすることで、障害中のサービスに負荷をかけすぎないようにします。
再試行を実装する際は、以下の2点に注意が必要です。
- 再試行する例外・HTTPステータスを限定する:4xx系(400 Bad Requestや404 Not Foundなどクライアント側の誤り)は再試行しても成功しないため、即座にエラーを返します。再試行すべきは、一時的な接続タイムアウトや切断、サーバー側の過負荷を示すHTTP 503(Service Unavailable)や429(Too Many Requests)など「時間経過で復旧する見込みがある障害」に絞ります。
- 副作用のある処理は冪等性(べきとうせい)を確保する:GETのようなデータ取得は何度呼んでも安全(冪等)ですが、決済や注文作成(POST)のように副作用を伴う処理の安易なリトライは厳禁です。「タイムアウトした」ということは、リクエスト自体は相手に届いて決済処理が完了したものの、応答の受信だけ失敗した可能性もあります。二重決済や二重注文を防ぐため、UUIDなどの一意な冪等性キー(Idempotency-Key)をヘッダーに付与し、サーバー側で二重処理を防ぐ仕組みを設けてからリトライを適用します。
パターン3:Timeout(タイムアウト)とレイテンシ予算設計
最もシンプルで最も重要なパターンです。全てのHTTPリクエストにタイムアウトを設定します。タイムアウトがないと、障害中のサービスへのリクエストがスレッドを占有し続け、呼び出し元のサービスまで応答不能になります。
リトライとタイムアウトを両立させる「レイテンシ予算」の計算例
タイムアウトは個別のAPI呼び出しだけでなく、システム全体のレイテンシ予算(Deadline)から逆算して設計する必要があります。個別リクエストのタイムアウトとリトライ回数を独立して決めてしまうと、全体期限をオーバーして呼び出し元の障害を招きます。
例えば、クライアントや上流のAPI Gateway側で全体の許容タイムアウト(全体期限)が「8秒」と定められているケースを考えてみます。
- 悪い計算例(全体期限オーバー):個別タイムアウトを5秒、最大3回試行、指数バックオフ(初回1秒、2回目2秒待機)とした場合。相手サービスが無応答だと、1回目試行(5秒)+待機(1秒)+2回目試行(5秒)の時点で合計11秒となり、2回目の途中で上流側の8秒制限を超過して切断(504 Gateway Timeout等)されてしまいます。3回目の試行を行う意味がないどころか、無駄なリクエスト負荷を相手に残してしまいます。
- 実践的なレイテンシ予算の計算例:全体期限が8秒であれば、余裕(バッファ)を持たせて最悪ケースの所要時間を6秒前後に収めるよう逆算します。各試行の個別タイムアウトを1.5秒、最大試行回数を3回、バックオフ待機を「初回0.5秒、2回目1.0秒」に設定します。
この場合、最悪のシナリオ(全試行がタイムアウト)でも、1.5秒(1回目)+0.5秒(待機)+1.5秒(2回目)+1.0秒(待機)+1.5秒(3回目)=合計6.0秒で収まります。呼び出し元への全体期限(8秒)に2秒の安全マージンを残して、エラー応答やフォールバック処理を確実に返せます。
from tenacity import retry, stop_after_attempt, stop_after_delay, wait_exponential
import requests
# 最大3回、かつ全体の経過時間が8秒を超えたら即時打ち切る
@retry(
stop=(stop_after_attempt(3) | stop_after_delay(8)),
wait=wait_exponential(multiplier=0.5, min=0.5, max=2)
)
def fetch_order_details(order_id):
response = requests.get(f"{ORDER_API}/orders/{order_id}", timeout=1.5)
response.raise_for_status()
return response.json()
Pythonのtenacityライブラリでは、上記のように stop=(stop_after_attempt(3) | stop_after_delay(8)) と指定することで、「最大試行回数」または「全体のレイテンシ予算(経過時間)」のいずれかに達した時点で確実に再試行を打ち切ることができます。
パターン4:Bulkhead(バルクヘッド)
船の水密隔壁と同じ原理です。リソースを分離して、1つのサービスの障害が他に波及しないようにするパターンです。スレッドプールやコネクションプールをサービスごとに分けることで実現します。
Kubernetesでの実装についてはKubernetesセキュリティ強化ガイドでPod単位のリソース分離を解説しています。
IT女子 アラ美パターン5〜7:組織・アーキテクチャレベルのパターン
パターン5:Fallback(フォールバック)
メインの処理が失敗した場合に、代替手段に切り替えるパターンです。例えば、リアルタイムの推薦APIが落ちたら、キャッシュされた人気ランキングを返す設計です。
パターン6:Rate Limiter(レートリミッター)
一定時間内のリクエスト数を制限するパターンです。DDoS攻撃の防御だけでなく、突発的なトラフィック増加からシステムを守る目的でも使います。
パターン7:Health Check(ヘルスチェック)
各サービスが自身の状態を報告するエンドポイントを持つパターンです。ロードバランサーやオーケストレーターが異常なインスタンスを自動的にトラフィックから外す仕組みと連動させます。
IT女子 アラ美マイクロサービスの障害の連鎖を止める進め方の例
IT女子 アラ美商品・注文・決済・在庫・通知のようにサービスが分かれたECサイトを例に、レジリエンスパターンを段階的に入れる流れを整理します。
よくある状態
- 障害の連鎖:1つのサービスが落ちると、それを呼び出しているほかのサービスも待たされて止まり、全画面が応答しなくなる
- 復旧の遅さ:どのサービスが原因かを切り分けるのに時間がかかる
- 担当者の負担:決済のような重要なサービスが落ちると、夜間や週末の対応に追われる
入れる順番
- Phase 1:すべてのAPIクライアントにTimeout(たとえば3秒)を設定します。設定の変更だけで始められます
- Phase 2:決済サービスへの呼び出しにCircuit BreakerとRetryを入れます。Pythonならcircuitbreakerライブラリなどが使えます
- Phase 3:在庫サービスにFallbackを実装します。在庫APIが落ちたときは、直近のキャッシュを返すようにします
- Phase 4:各サービスにHealth Checkのエンドポイントを足し、KubernetesのLiveness/Readiness Probeと連動させます
効果を確かめる
入れる前と後で、1つのサービスの障害が何個のサービスに波及したか、障害から復旧までの時間、夜間・週末に呼び出された回数を記録して比べます。ユーザーから見て、全画面が止まるのではなく該当する機能だけ「一時的に利用できません」と表示される状態になっているかも確かめてください。
最初はTimeoutだけを入れるのがおすすめです。設定の変更だけで、待たされ続けることによる連鎖を防ぎやすくなります。すべてのパターンを一度に入れようとすると、時間がかかり、どの変更が効いたのかもわからなくなります。
IT女子 アラ美さらなる実践・活用に向けて
レジリエンスパターンを導入したら、次のステップとして以下を検討してみてください。
カオスエンジニアリングの導入
Netflixが提唱した「意図的に障害を起こしてシステムの耐障害性を検証する」アプローチです。レジリエンスパターンが正しく機能しているかを、本番に近い環境で継続的にテストします。
SLO/エラーバジェットの設計
「99.9%の可用性を目指す」と定義し、残りの0.1%を「使っていいダウンタイム」として計画的に消費する考え方です。レジリエンスパターンの導入優先度を、SLOとの乖離で判断できます。
障害設計ができるSRE/インフラエンジニアの市場価値は高く、ハイクラス転職エージェント3社比較で紹介しているようなハイクラス求人でも高く評価されます。
IT女子 アラ美よくある質問
小規模なサービスでもレジリエンスパターンは必要ですか?
外部APIを1つでも呼び出しているなら、最低限Timeout + Retryは入れるべきです。小規模でも外部サービスの障害は起きます。設定1行で防げる障害を放置する理由はありません。
Circuit Breakerの閾値はどう決めればいいですか?
一般的には失敗5回で遮断、30秒後にリトライが出発点です。本番のトラフィック量とエラー率を観察しながら調整してください。閾値が低すぎると正常時にも遮断が発動し、高すぎると障害の連鎖を防げません。
Retryを入れると障害を悪化させることはありませんか?
リトライ上限と指数バックオフを設定しないと悪化させるリスクがあります。必ず最大3回程度の上限と、1秒→2秒→4秒の指数バックオフをセットで使ってください。
サーバー環境の選定や本番運用時のインフラ構成については、エンジニア向けXServer用途別比較ガイドも参考になります。
さらなる年収アップやキャリアアップを目指すなら、ハイクラス向けの求人に特化した以下のサービスがおすすめです。
| 比較項目 | TechGo | レバテックダイレクト | ビズリーチ |
|---|---|---|---|
| 年収レンジ | 800万〜1,500万円ハイクラス特化 | 600万〜1,000万円IT専門スカウト | 700万〜2,000万円全業界・管理職含む |
| 技術スタック | モダン環境中心 | Web系に強い | 企業によりバラバラ |
| リモート率 | フルリモート前提多数 | 条件検索可能 | 原則出社も多い |
| おすすめ度 | 技術で稼ぐならここ | A受身で探すなら | Bマネジメント層向け |
| 公式サイト | 無料登録する | - | - |
IT女子 アラ美まとめ
本番障害の影響を最小限に抑えるためのレジリエンスパターン7選を解説しました。
- まず入れるべき:Timeout(設定1行で連鎖障害の半分を防げる)とHealth Check
- 次に入れるべき:Circuit Breaker + Retry(障害の連鎖を自動で止める)
- 段階的に導入:Timeoutから始めて、効果を確認しながら追加していく
- 入れる順番:Timeout→Circuit Breaker・Retry→Fallback→Health Checkの順に、1つずつ効果を測りながら入れる
「障害は起きる」を前提にして、起きた時にどう振る舞うかを設計しておく。これがレジリエンスパターンの本質です。まずは全APIクライアントにTimeoutを設定するところから始めてみてください。
IT女子 アラ美