要点

OpenAI APIは10月20日、Responses APIで12時間のプロンプトキャッシュを選べるようにしました。固定のシステム指示、ツール定義、参照用コンテキストを何度も送るアプリなら、同じ作業を数時間おきに実行してもキャッシュ入力を使える余地が生まれます。

何が変わったのか

従来の短い保持時間だけでは、朝に作った下書きと午後の再実行のように間が空く処理でキャッシュを期待しにくい場面がありました。今回の変更では prompt_cache_retention で12時間保持を選択できます。OpenAIのChangelogによると、対象は共有の指示、ツール、コンテキストで、12時間のキャッシュ書き込みは入力トークン価格の2.5倍です。

つまり、値下げ機能ではありません。大きな共通プレフィックスを繰り返す長時間のバッチや、同じ知識ベースを参照する担当者向け画面で、書き込み費用と後続リクエストのキャッシュ入力費用を比較して選ぶ設定です。

どこで効くのか

たとえば、同じ商品カタログと運用ルールを渡して複数の問い合わせを処理するサポート支援、同一リポジトリの規約とツールを使うコードレビュー、定時に再実行する調査ジョブが候補です。毎回変わるユーザー入力は末尾に置き、変わらない指示・ツール定義・資料を先頭側へ安定して置くと、キャッシュ対象を設計しやすくなります。

一方、一回だけの短い要求や、共通部分が小さい要求には向きません。保持時間を伸ばしても、入力を毎回大きく入れ替えれば再利用できません。

導入するか

採用判断

様子見。 数時間にわたり同一の長い指示・ツール定義を使う処理だけ、既存のトークン使用量を測ったうえで小さく比較します。書き込みが2.5倍になるため、再利用回数を確認せず全リクエストへ有効化する理由はありません。

15分ミニ課題

対象: 定時実行するAPI呼び出しを持つ1つのジョブ、またはその呼び出しがなければ設計メモ。

  1. リクエストを「毎回同じ部分」と「実行ごとに変わる部分」に分けて書き出します。
  2. 同じ処理が12時間内に何回走るかを、スケジュールまたはログから数えます。
  3. 共通部分が大きく、複数回実行される場合だけ、検証環境で12時間保持の比較候補として記録します。

完了条件: 変更しない共通入力、実行回数、比較の要否を1行ずつ説明できることです。資格情報や本番設定は変更しません。

最小コード例

OpenAIのChangelogが案内する設定名は prompt_cache_retention です。利用中のSDKでの正確な引数位置は、導入前にPrompt Cachingの公式ガイドで確認してください。

前提知識

キャッシュは、同じモデルに同じ先頭側の入力を送る設計で初めて効きます。入力トークン、キャッシュ書き込み、キャッシュ入力を分けて計測し、保持時間の変更前後で実コストと待ち時間を比べます。

参照元

一次情報を確認する ↗