本番障害を最小限に食い止めるレジリエンスパターン7選:Circuit BreakerからBulkheadまで実装ガイド

当ページのリンクには広告が含まれています。
本番障害を最小限に食い止めるレジリエンスパターン7選:Circuit BreakerからBulkheadまで実装ガイド
IT女子 アラ美IT女子 アラ美
🚀 障害設計ができるエンジニアは市場価値が高いわよ!
レジリエンス設計の経験を活かしてキャリアアップを実現しなさい
自分らしく働けるエンジニア転職を目指すなら【strategy career】
この記事の結論
本番障害の影響を最小限に抑えるには、Circuit Breaker・Retry・Timeout・Bulkhead・Fallback・Rate Limiter・Health Checkの7つのレジリエンスパターンが有効です。全部入れる必要はなく、システムの特性に合わせて選択するのがポイントです。

お疲れ様です!IT業界で働くアライグマです!

「本番でAPIが落ちて、連鎖的にシステム全体が止まった」「1つのサービスの障害が全画面に波及して、復旧に半日かかった」。マイクロサービスや分散システムを運用していると、こうした障害の連鎖は避けて通れません。

本記事では、障害を「起きないようにする」のではなく、「起きても被害を最小限に抑える」ためのレジリエンスパターン7選を、実装例とともに解説します。

目次

レジリエンスパターンとは:本番障害を「想定内」にする設計思想

IT女子 アラ美IT女子 アラ美
💡 本番環境の基盤選びで消耗してるの?
法人向けサーバーなら24万社の導入実績で安定稼働を実現できるわよ
24万社が導入!法人向けレンタルサーバー【XServerビジネス】

レジリエンス(Resilience)とは、障害が発生しても、システム全体として機能を維持し続ける能力のことです。「壊れないシステム」を目指すのではなく、「壊れても大丈夫なシステム」を設計する考え方です。

従来のモノリシックアーキテクチャでは、アプリケーション内部のメソッド呼び出しが失敗することは稀でした。しかしマイクロサービスでは、ネットワーク越しのHTTP/gRPC呼び出しが日常的に失敗します。タイムアウト、接続エラー、502/503エラーは「異常」ではなく「日常」です。

この「日常的に失敗する」前提に立って設計するのがレジリエンスパターンです。

IT女子 アラ美IT女子 アラ美
「壊れないシステム」じゃなくて「壊れても大丈夫なシステム」って発想の転換が必要よね。

ITアライグマITアライグマ
分散システムでは「いつか壊れる」が前提です。壊れた時にどう振る舞うかを先に決めておくのが大事ですね。

前提条件と適用判断基準

7つのパターンを全て実装する必要はありません。システムの特性に応じて必要なパターンを選択するのが現実的です。

適用すべきシステムの特徴

  • マイクロサービス構成:サービス間通信が存在するシステム
  • 外部API依存:サードパーティのAPIを呼び出しているシステム
  • 高可用性要件:SLA 99.9%以上が求められるシステム

優先度の考え方

  • まず入れるべき:Timeout(設定するだけ)、Health Check(監視の基本)
  • 次に入れるべき:Circuit Breaker、Retry(障害の連鎖防止)
  • 必要に応じて:Bulkhead、Fallback、Rate Limiter(高度な制御)

Docker環境でのマイクロサービス構築についてはDocker開発環境セットアップガイドで基礎を解説しています。

IT女子 アラ美IT女子 アラ美
全部入れなくていいのは安心する。「まずTimeoutだけ」って言ってくれるの助かるわ。

ITアライグマITアライグマ
Timeoutは設定値を1行変えるだけなので、今すぐ全APIクライアントに入れてください。効果は絶大です。

パターン1〜4:即効性のあるレジリエンスパターン

パターン1:Circuit Breaker(サーキットブレーカー)

電気のブレーカーと同じ原理です。連続して失敗が発生したら、一定時間そのサービスへのリクエストを遮断します。これにより、障害が発生したサービスへの無駄なリクエストを止め、連鎖的な障害を防ぎます。

import circuitbreaker

@circuitbreaker.circuit(failure_threshold=5, recovery_timeout=30)
def call_payment_service(order_id):
    response = requests.post(
        f"{PAYMENT_API}/charge",
        json={"order_id": order_id},
        timeout=3
    )
    response.raise_for_status()
    return response.json()

5回連続で失敗したら30秒間リクエストを遮断し、その間は即座にエラーを返します。

パターン2:Retry(リトライ)

一時的な障害に対して、一定間隔で再試行するパターンです。ネットワークの瞬断やサーバーの一時的な過負荷に有効です。

from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type
import requests

# 一時的なネットワークエラーや特定のエラーのみを再試行対象にする
@retry(
    retry=retry_if_exception_type((requests.exceptions.ConnectionError, requests.exceptions.Timeout)),
    stop=stop_after_attempt(3),
    wait=wait_exponential(multiplier=1, min=1, max=10)
)
def fetch_user_data(user_id):
    response = requests.get(f"{USER_API}/users/{user_id}", timeout=5)
    response.raise_for_status()
    return response.json()

指数バックオフ(1秒→2秒→4秒と間隔を広げる)にすることで、障害中のサービスに負荷をかけすぎないようにします。

再試行を実装する際は、以下の2点に注意が必要です。

  • 再試行する例外・HTTPステータスを限定する:4xx系(400 Bad Requestや404 Not Foundなどクライアント側の誤り)は再試行しても成功しないため、即座にエラーを返します。再試行すべきは、一時的な接続タイムアウトや切断、サーバー側の過負荷を示すHTTP 503(Service Unavailable)や429(Too Many Requests)など「時間経過で復旧する見込みがある障害」に絞ります。
  • 副作用のある処理は冪等性(べきとうせい)を確保する:GETのようなデータ取得は何度呼んでも安全(冪等)ですが、決済や注文作成(POST)のように副作用を伴う処理の安易なリトライは厳禁です。「タイムアウトした」ということは、リクエスト自体は相手に届いて決済処理が完了したものの、応答の受信だけ失敗した可能性もあります。二重決済や二重注文を防ぐため、UUIDなどの一意な冪等性キー(Idempotency-Key)をヘッダーに付与し、サーバー側で二重処理を防ぐ仕組みを設けてからリトライを適用します。

パターン3:Timeout(タイムアウト)とレイテンシ予算設計

最もシンプルで最も重要なパターンです。全てのHTTPリクエストにタイムアウトを設定します。タイムアウトがないと、障害中のサービスへのリクエストがスレッドを占有し続け、呼び出し元のサービスまで応答不能になります。

リトライとタイムアウトを両立させる「レイテンシ予算」の計算例

タイムアウトは個別のAPI呼び出しだけでなく、システム全体のレイテンシ予算(Deadline)から逆算して設計する必要があります。個別リクエストのタイムアウトとリトライ回数を独立して決めてしまうと、全体期限をオーバーして呼び出し元の障害を招きます。

例えば、クライアントや上流のAPI Gateway側で全体の許容タイムアウト(全体期限)が「8秒」と定められているケースを考えてみます。

  • 悪い計算例(全体期限オーバー):個別タイムアウトを5秒、最大3回試行、指数バックオフ(初回1秒、2回目2秒待機)とした場合。相手サービスが無応答だと、1回目試行(5秒)+待機(1秒)+2回目試行(5秒)の時点で合計11秒となり、2回目の途中で上流側の8秒制限を超過して切断(504 Gateway Timeout等)されてしまいます。3回目の試行を行う意味がないどころか、無駄なリクエスト負荷を相手に残してしまいます。
  • 実践的なレイテンシ予算の計算例:全体期限が8秒であれば、余裕(バッファ)を持たせて最悪ケースの所要時間を6秒前後に収めるよう逆算します。各試行の個別タイムアウトを1.5秒、最大試行回数を3回、バックオフ待機を「初回0.5秒、2回目1.0秒」に設定します。
    この場合、最悪のシナリオ(全試行がタイムアウト)でも、1.5秒(1回目)+0.5秒(待機)+1.5秒(2回目)+1.0秒(待機)+1.5秒(3回目)=合計6.0秒で収まります。呼び出し元への全体期限(8秒)に2秒の安全マージンを残して、エラー応答やフォールバック処理を確実に返せます。
from tenacity import retry, stop_after_attempt, stop_after_delay, wait_exponential
import requests

# 最大3回、かつ全体の経過時間が8秒を超えたら即時打ち切る
@retry(
    stop=(stop_after_attempt(3) | stop_after_delay(8)),
    wait=wait_exponential(multiplier=0.5, min=0.5, max=2)
)
def fetch_order_details(order_id):
    response = requests.get(f"{ORDER_API}/orders/{order_id}", timeout=1.5)
    response.raise_for_status()
    return response.json()

Pythonのtenacityライブラリでは、上記のように stop=(stop_after_attempt(3) | stop_after_delay(8)) と指定することで、「最大試行回数」または「全体のレイテンシ予算(経過時間)」のいずれかに達した時点で確実に再試行を打ち切ることができます。

パターン4:Bulkhead(バルクヘッド)

船の水密隔壁と同じ原理です。リソースを分離して、1つのサービスの障害が他に波及しないようにするパターンです。スレッドプールやコネクションプールをサービスごとに分けることで実現します。

Kubernetesでの実装についてはKubernetesセキュリティ強化ガイドでPod単位のリソース分離を解説しています。

IT女子 アラ美IT女子 アラ美
Circuit BreakerとRetryの組み合わせは鉄板よね。でもRetryしすぎると障害を悪化させることもある…。

ITアライグマITアライグマ
その通りです。Retryは必ず上限回数と指数バックオフをセットで使ってください。無限リトライは論外ですよ。

パターン5〜7:組織・アーキテクチャレベルのパターン

パターン5:Fallback(フォールバック)

メインの処理が失敗した場合に、代替手段に切り替えるパターンです。例えば、リアルタイムの推薦APIが落ちたら、キャッシュされた人気ランキングを返す設計です。

パターン6:Rate Limiter(レートリミッター)

一定時間内のリクエスト数を制限するパターンです。DDoS攻撃の防御だけでなく、突発的なトラフィック増加からシステムを守る目的でも使います。

パターン7:Health Check(ヘルスチェック)

各サービスが自身の状態を報告するエンドポイントを持つパターンです。ロードバランサーやオーケストレーターが異常なインスタンスを自動的にトラフィックから外す仕組みと連動させます。

IT女子 アラ美IT女子 アラ美
Fallbackはユーザー体験を守る最後の砦よね。「エラー画面」より「キャッシュされた結果」の方が100倍マシ。

ITアライグマITアライグマ
「完璧な結果を返せないなら何も返さない」より「少し古いデータでも返す」方がユーザーは助かりますね。

マイクロサービスの障害の連鎖を止める進め方の例

IT女子 アラ美IT女子 アラ美
💡 障害対応スキルがあるならハイクラス転職しなさい!
SREやインフラ設計の経験は年収600万以上の求人で高評価よ
ITエンジニアのハイクラス転職なら【TechGo(テックゴー)】

商品・注文・決済・在庫・通知のようにサービスが分かれたECサイトを例に、レジリエンスパターンを段階的に入れる流れを整理します。

よくある状態

  • 障害の連鎖:1つのサービスが落ちると、それを呼び出しているほかのサービスも待たされて止まり、全画面が応答しなくなる
  • 復旧の遅さ:どのサービスが原因かを切り分けるのに時間がかかる
  • 担当者の負担:決済のような重要なサービスが落ちると、夜間や週末の対応に追われる

入れる順番

  • Phase 1:すべてのAPIクライアントにTimeout(たとえば3秒)を設定します。設定の変更だけで始められます
  • Phase 2:決済サービスへの呼び出しにCircuit BreakerとRetryを入れます。Pythonならcircuitbreakerライブラリなどが使えます
  • Phase 3:在庫サービスにFallbackを実装します。在庫APIが落ちたときは、直近のキャッシュを返すようにします
  • Phase 4:各サービスにHealth Checkのエンドポイントを足し、KubernetesのLiveness/Readiness Probeと連動させます

効果を確かめる

入れる前と後で、1つのサービスの障害が何個のサービスに波及したか、障害から復旧までの時間、夜間・週末に呼び出された回数を記録して比べます。ユーザーから見て、全画面が止まるのではなく該当する機能だけ「一時的に利用できません」と表示される状態になっているかも確かめてください。

最初はTimeoutだけを入れるのがおすすめです。設定の変更だけで、待たされ続けることによる連鎖を防ぎやすくなります。すべてのパターンを一度に入れようとすると、時間がかかり、どの変更が効いたのかもわからなくなります。

IT女子 アラ美IT女子 アラ美
Timeoutだけでも連鎖を止めやすくなるなら、まずそこから始めればいいのね。

ITアライグマITアライグマ
エンジニアのQOLに直結する改善ですよね。レジリエンスパターンは技術的にも人間的にも救いになります。

さらなる実践・活用に向けて

レジリエンスパターンを導入したら、次のステップとして以下を検討してみてください。

カオスエンジニアリングの導入

Netflixが提唱した「意図的に障害を起こしてシステムの耐障害性を検証する」アプローチです。レジリエンスパターンが正しく機能しているかを、本番に近い環境で継続的にテストします。

SLO/エラーバジェットの設計

「99.9%の可用性を目指す」と定義し、残りの0.1%を「使っていいダウンタイム」として計画的に消費する考え方です。レジリエンスパターンの導入優先度を、SLOとの乖離で判断できます。

障害設計ができるSRE/インフラエンジニアの市場価値は高く、ハイクラス転職エージェント3社比較で紹介しているようなハイクラス求人でも高く評価されます。

IT女子 アラ美IT女子 アラ美
カオスエンジニアリングって「わざと壊す」テストよね。本番でやる勇気はまだないけど、ステージングならやってみたい。

ITアライグマITアライグマ
まずはステージングで十分です。Circuit Breakerが本当に発動するか確認するだけでも価値がありますよ。

よくある質問

小規模なサービスでもレジリエンスパターンは必要ですか?

外部APIを1つでも呼び出しているなら、最低限Timeout + Retryは入れるべきです。小規模でも外部サービスの障害は起きます。設定1行で防げる障害を放置する理由はありません。

Circuit Breakerの閾値はどう決めればいいですか?

一般的には失敗5回で遮断、30秒後にリトライが出発点です。本番のトラフィック量とエラー率を観察しながら調整してください。閾値が低すぎると正常時にも遮断が発動し、高すぎると障害の連鎖を防げません。

Retryを入れると障害を悪化させることはありませんか?

リトライ上限と指数バックオフを設定しないと悪化させるリスクがあります。必ず最大3回程度の上限と、1秒→2秒→4秒の指数バックオフをセットで使ってください。

サーバー環境の選定や本番運用時のインフラ構成については、エンジニア向けXServer用途別比較ガイドも参考になります。

さらなる年収アップやキャリアアップを目指すなら、ハイクラス向けの求人に特化した以下のサービスがおすすめです。

比較項目 TechGo レバテックダイレクト ビズリーチ
年収レンジ 800万〜1,500万円ハイクラス特化 600万〜1,000万円IT専門スカウト 700万〜2,000万円全業界・管理職含む
技術スタック ◎モダン環境中心 ◎Web系に強い △企業によりバラバラ
リモート率 ◎フルリモート前提多数 ◯条件検索可能 △原則出社も多い
おすすめ度 S技術で稼ぐならここ A受身で探すなら Bマネジメント層向け
公式サイト 無料登録する - -
IT女子 アラ美IT女子 アラ美
年収を上げたいんですが、ハイクラス求人ってハードルが高そうで迷います…
ITアライグマITアライグマ
技術力を武器に年収を上げたいならTechGo一択!でも、自分の市場価値を幅広くチェックしたいならビズリーチも登録しておくと安心ですよ。

まとめ

本番障害の影響を最小限に抑えるためのレジリエンスパターン7選を解説しました。

  • まず入れるべき:Timeout(設定1行で連鎖障害の半分を防げる)とHealth Check
  • 次に入れるべき:Circuit Breaker + Retry(障害の連鎖を自動で止める)
  • 段階的に導入:Timeoutから始めて、効果を確認しながら追加していく
  • 入れる順番:Timeout→Circuit Breaker・Retry→Fallback→Health Checkの順に、1つずつ効果を測りながら入れる

「障害は起きる」を前提にして、起きた時にどう振る舞うかを設計しておく。これがレジリエンスパターンの本質です。まずは全APIクライアントにTimeoutを設定するところから始めてみてください。

IT女子 アラ美IT女子 アラ美
まずTimeout入れるところから始めるわ。1行の設定変更で連鎖障害が防げるなら、やらない理由がない。

ITアライグマITアライグマ
その一歩が最も効果的です。設定したら、次はCircuit Breakerに挑戦してみてください。

厳しめIT女子 アラ美による解説ショート動画はこちら

この記事をシェアする
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

ITアライグマのアバター ITアライグマ ITエンジニア / PM

都内の事業会社で働くPM兼Webエンジニアです(IT業界10年以上、既婚・子持ち)。
スマホや決済アプリ、Wi-Fi、スマートスピーカーなど、身近なITの「困った」を、公式のヘルプやサポート情報で確かめたうえで、原因の切り分けから直し方までまとめています。設定で直らないときは、回線やサービスの見直しも含めて紹介しています。

目次