Continual learning infrastructure

エージェントの利用を、次の改善につなぐ

Reef は推論を提供しながら、どのバージョンが応答したかと、その結果へのフィードバックを記録します。レシピが学習候補を作り、評価を通過した変更だけを次のリリースにします。

Python 3.12+Apache-2.0weights + harness

01 Reef が担う範囲

推論エンジンはモデルを動かし、学習フレームワークは重みを更新します。Reef は両者の間に、リクエスト記録、フィードバック照合、候補の選択、成果物の版管理を置きます。更新中も現在のバージョンでリクエストを処理し続けます。

機能	推論エンジン	学習フレームワーク	Reef
ライブ推論	担当	通常は担当外	担当
モデル重みの学習	担当外	担当	学習基盤と連携
更新の評価・選択・版管理	担当外	担当外	担当
プロンプトやスキルなどハーネスの改善	担当外	担当外	レシピ経由で対応

02 4 段階の学習サイクル

One request can become a versioned update

1Serveシナリオに紐づく現行版で応答し、記録と受領 ID を返す

2Observe報告の参照 ID を記録に結び、学習対象か判定する

3Growレシピが対象記録から候補の重みやハーネスを作る

4Commit候補を評価し、選ばれた変更を版として公開する

候補が不採用なら現行版を維持。採用時は次のリクエストから新しい版が使われます。

03 改善対象はレシピで決まる

Model weights

モデルの重みを更新

Slime と SGLang などの学習・推論基盤を使い、報告されたスコアやフィードバックから学習ステップを実行します。更新後の重みは稼働中の推論ランタイムへ同期されます。

必要なもの: 学習可能なモデル、対応 GPU スタック、レシピが利用できるフィードバック。

Agent harness

エージェントの構成を更新

プロンプト、ルール、スキルなどのハーネスを候補として編集し、代表タスク上で現行版と比較します。モデル API を使う構成なら、ローカル学習 GPU は不要です。

必要なもの: モデルのエンドポイント、代表タスク、評価器。

レシピが学習方法を決めます。 シナリオ名でリクエストを分けられますが、リクエストからレシピを選ぶわけではありません。シナリオはデプロイ設定のレシピを使います。

04 応答とフィードバックを結ぶ

推論 API は OpenAI 互換の /v1/chat/completions と Anthropic 互換の /v1/messages を提供します。リクエストには x-reef-scenario を付け、応答ヘッダー x-reef-agent-record-id を後の報告で使います。

推論リクエスト
x-reef-scenario

→

応答と受領 ID
x-reef-agent-record-id

→

報告
score / feedback / references

報告には数値の score、テキストまたは構造化データの feedback、評価対象の受領 ID を入れます。スカラー値だけで足りるか、詳しい信号が必要かはレシピによります。Reef は報告スキーマを検証し、適格な記録をプロセッサへ渡します。

POST /reef/report
{
  "score": 1.0,
  "feedback": "matched",
  "references": [""]
}

05 責務ごとに分かれた構成

領域	役割	主なパッケージ
サービス / ランタイム	リクエストを受け、現行版で推論し、成果物を配信	`service/` `runtime/` `surface/`
記録 / 適格性	推論・報告を保存し、学習に使える記録を組み立てる	`storage/` `train/processors/`
レシピ / 学習	学習方式を選び、バッチと更新ジョブを実行	`recipe/` `train/`
選択 / 版管理	候補を評価・選択し、受け入れた版を保管	`train/evaluation/` `artifact/`

Reef 本体は共有機構とレシピ契約を提供します。学習メソッドとサンプルは別の recipes/ ツリーにあり、インストール済みパッケージに含まれる本体コードとは分かれています。

06 試すときの入口

PyPI パッケージ名は reef-infra、コマンドは reef です。推論だけの起動、重み学習のデプロイ、モデル API を使ったハーネス改善から用途に合う経路を選びます。

uv venv
source .venv/bin/activate
uv pip install reef-infra

# 推論サーバーの例
reef serve --inference.model-path Qwen/Qwen2.5-1.5B-Instruct

重み・チェックポイントを扱う場合はシステムの Git LFS が必要です。GPU 要件やレシピごとの設定は、公式ガイドで確認してください。

GitHub リポジトリクイックスタートレシピ一覧ハーネスを改善する