コンテキストは「荷物」か「記憶」か

「全部渡す」と「最小で渡す」のあいだ

AIとの一回のやり取りでは、いつも同じ問いの前に立たされます。これまでの経緯を、どこまで一緒に渡せばいいのか。過去の発言、決めごと、用語の定義、例外のメモ。渡せば渡すほど、相手は前提を取り違えなくなります。けれど、渡したぶんだけ処理は重くなり、費用もかさんでいきます。

この綱引きは、抽象的なトークンの話に見えて、実は日常で何度も繰り返している判断とよく似ています。出かけるときの荷造りであり、人に何かを引き継ぐときの説明です。そこでこの記事では、コンテキストを二つの比喩で捉え直してみます。ひとつは「荷物」、もうひとつは「記憶」です。

量はつまみのように連続して動きます。そして、その量をどこに置くかを決めること、それ自体が設計です。

この記事の数値はすべて、感覚をつかむための目安です。実際のトークン量や費用は、使うモデルや文章の中身によって変わります。ここでは比率と曲線の形だけを受け取ってもらえれば十分です。

「荷物」モデル — 全部持っていく安心と、その重さ

荷物の比喩では、コンテキストは旅に持ち出す鞄の中身です。これまでの会話をまるごと詰め込んでおけば、目的地で「あれを忘れた」と気づくことはまずありません。前提は完全に保たれ、相手は文脈を取り違えません。安心は最大になります。

でも、鞄には重さがあります。詰めれば詰めるほど運ぶ力が要り、移動は遅くなり、運賃は上がります。AIにとっての「重さ」は、処理するトークンの量で、それがそのまま一回あたりの費用に効いてきます。全部を持っていく構えは、安心と引き換えに、毎ターンの代償を静かに積み上げていきます。

しかも荷物の厄介なところは、中身が増えるほど、本当に必要な一つが見つけにくくなることです。詰め込みすぎた鞄から目的の物を探すように、長すぎる文脈は肝心の指示を埋もれさせてしまいます。量は安心の源であると同時に、ノイズの源にもなるのですね。

「記憶」モデル — 要点だけ覚える身軽さと、取りこぼし

もう一つの比喩は記憶です。人は会話のすべてを逐語で覚えてはいません。要点だけを残し、細部は忘れていきます。だからこそ身軽に動けて、新しい話にもすぐ反応できます。コンテキストを「記憶」として扱うなら、渡すのは要約された核だけになります。

身軽さの代償は、取りこぼしです。覚えていない前提は、当然ながら判断に反映されません。一度決めたはずの例外、共有したはずの用語がするりと抜け落ちて、相手は善意のまま的を外してしまう。記憶モデルは軽くて速いのですが、「覚えていないことは存在しない」という厳しさをいつも抱えています。

そして記憶には飽和があります。要点を足していけば保持度は上がりますが、ある量を超えると伸びは鈍ってきます。最初の数行が前提の大半を担い、それ以降は念のための補強になっていく。だから記憶モデルの保持度は、量に正比例しません。増やすほど効きが薄れていく、頭打ちの曲線を描きます。

量を動かして、綱引きを見る

この二つの比喩は、実は別々のものではありません。同じひとつのつまみ——「持っていくコンテキスト量」——の両端に立っているだけです。左に振れば記憶モデル(身軽・取りこぼし)、右に振れば荷物モデル(完全・重い)。下のつまみを動かして、重さ(コスト)と保持度の綱引きを、その手で確かめてみてください。

つまみを左端(0)まで動かすと保持度は0%近くまで落ち、右端(100)まで動かすとコストは最大の約1.00×になります。どちらかの極に振り切ったとき、安心か身軽さのどちらかが必ず犠牲になる——その手応えが、量を「設計する」と呼ぶ理由です。

どこで線を引くか

つまみに唯一の正解はありません。それでも、線を引く場所を決める手がかりはいくつかあります。まず、壊れると致命的な前提は荷物として固定してしまいましょう。決定事項、禁止事項、用語の定義のように、忘れられると判断が根本から狂うものは、毎回そのまま渡す価値があります。

次に、流れていく細部は記憶に任せます。雑談、言い直し、途中で捨てた案のような一過性のやり取りは、要約に畳んでしまって大丈夫です。鞄に入れ続ける理由はありません。そして、量そのものより構造を整えること。同じトークン数でも、見出しと箇条で整理された前提は、平らに流した文章より取りこぼしがぐっと少なくなります。

削るか残すかではなく、固定するものと畳むものを分ける。それが、線の引き方です。

運用のコツとしては、まず保持度が必要な水準に届く最小量から始めて、取りこぼしが起きた前提だけを荷物側へ昇格させていくと扱いやすいです。最初から全部を持つと、重さの代償に気づけないまま費用だけが膨らんでいきます。つまみは一度決めて終わりではなく、案件の進み具合に合わせて動かしていく変数になります。

コンテキストは設計対象である

荷物モデルが「全部持てば安心、ただし重い」を、記憶モデルが「要点だけなら軽い、ただし取りこぼす」を見せてくれました。どちらが正しいというより、二つは同じつまみの両端です。その両端のあいだのどこに立つかを決める——それこそが、コンテキスト設計と呼ばれる営みだと思います。

つまり量は、感覚でなんとなく決めるものではなく、保持したい前提とかけられる費用から逆算して置くものです。図解のつまみを動かして得た綱引きの感覚を、ぜひ自分の案件の判断に持ち帰ってみてください。固定するものと畳むものを分けたとき、コンテキストはただの履歴ではなく、設計された道具に変わります。

この記事の数値はすべて目安で、実データや固有の事例は含んでいません。比率と曲線の形を、ご自身の現場の物差しに置き換えて使ってもらえたらうれしいです。