video-use

browser-use/video-use — 会話で動画を編集する 100% オープンソース Agent Skill · Python + ffmpeg

1 — 概要
何をするスキルか

video-use は、生映像を任意フォルダに置き、Claude Code や Codex などのエージェントと会話するだけで final.mp4 を得る Agent Skill。トーキングヘッド、モンタージュ、チュートリアル、旅行、インタビューなどコンテンツ種別を前提にしない。プリセットや GUI メニューはなく、エージェントが素材を読み、戦略を提案し、ユーザー承認後に編集を実行する。

12KB主読み取り面
30ms境界フェード
12Hard Rules
×3自己評価上限

主な機能: フィラー語・デッドスペースのカット、セグメント単位のカラーグレード、30ms オーディオフェード、字幕焼き込み、HyperFrames / Remotion / Manim / PIL によるオーバーレイアニメーション（並列 sub-agent）、カット境界での自己評価、project.md によるセッション間メモリ。

browser-use との対応: browser-use が LLM に構造化 DOM を渡すのと同様、video-use はフレーム列ではなくトランスクリプト + 必要時の PNG 合成で動画を「読ませる」。45M トークン級のノイズを避け、単語境界精度を保つ設計。
2 — 動画の読み方（2 レイヤー）
LLM は映像を「見ない」

エージェントは動画ファイルを直接視聴しない。2 レイヤーの派生データから編集判断を行う。

Layer 1 — 常時ロード

ElevenLabs Scribe でソースごとに単語レベルタイムスタンプ・話者分離・音声イベント（(laughter) 等）を取得。pack_transcripts.py が全テイクを 約 12KB の takes_packed.md に圧縮。エージェントの主読み取り面。

Layer 2 — オンデマンド

timeline_view.py が任意区間のフィルムストリップ + 波形 + 単語ラベル PNG を生成。曖昧な間・リテイク比較・カット点確認など判断が必要な時だけ呼ぶ。常時スキャン用ではない。

## C0103  (duration: 43.0s, 8 phrases)
  [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
  [006.08-006.74] S0 We fixed this.
アプローチトークン規模問題
全フレーム投入30,000 フレーム × 1,500 トークン ≈ 45Mノイズだらけで編集精度が落ちる
video-use12KB テキスト + 判断点の PNG 数枚単語境界・沈黙ギャップからカット候補を導出
3 — パイプライン
Transcribe → Pack → Reason → EDL → Render → Self-Eval 
flowchart TD
  Raw["生映像フォルダ"]
  Tx["transcribe_batch.py\nScribe 並列"]
  Pack["pack_transcripts.py\ntakes_packed.md"]
  LLM["エージェント推論\n戦略確認"]
  EDL["edl.json"]
  Anim["アニメーション\n並列 sub-agent"]
  Render["render.py\nextract → concat → overlay → subtitle"]
  Eval["timeline_view\n出力の境界検査"]
  Out["preview.mp4 / final.mp4"]
  Fix["修正 + 再レンダー\n最大 3 回"]

  Raw --> Tx --> Pack --> LLM
  LLM --> EDL
  LLM --> Anim
  EDL --> Render
  Anim --> Render
  Render --> Eval
  Eval -->|"合格"| Out
  Eval -->|"問題"| Fix --> Render

  classDef ioCls fill:#fff7ed,stroke:#c2410c,color:#1a1410,rx:6
  classDef procCls fill:#f3ece6,stroke:#78716c,color:#1a1410,rx:6
  classDef llmCls fill:#ffedd5,stroke:#ff5a00,color:#1a1410,rx:6
  classDef outCls fill:#ecfdf5,stroke:#16a34a,color:#1a1410,rx:6
  class Raw,Out ioCls
  class Tx,Pack,Render,Eval,Fix procCls
  class LLM,EDL,Anim llmCls

自己評価はソースではなくレンダリング済み出力の各カット境界（±1.5s）に timeline_view を当て、視覚的ジャンプ・波形スパイク（ポップ）・字幕のオーバーレイ隠れ・PTS ずれを検出。合格するまでプレビューをユーザーに見せない。

出力ディレクトリ

ユーザーの映像フォルダ <videos_dir>/edit/ にセッション成果物を集約。スキル本体ディレクトリには書き込まない（Hard Rule 12）。

<videos_dir>/
├── （ソースファイル、未変更）
└── edit/
    ├── project.md               ← セッション間メモリ
    ├── takes_packed.md          ← フレーズ単位トランスクリプト
    ├── edl.json                 ← カット決定
    ├── transcripts/*.json       ← Scribe キャッシュ
    ├── animations/slot_<id>/    ← オーバーレイ生成
    ├── clips_graded/            ← グレード済みセグメント
    ├── master.srt               ← 出力タイムライン字幕
    ├── verify/                  ← デバッグ PNG
    ├── preview.mp4
    └── final.mp4
4 — Helpers
helpers/ スクリプト

SKILL.md と同階層の helpers/ に Python スクリプトが置かれる。スキル登録時はリポジトリ全体を symlink し、相対パス解決を維持する。

スクリプト役割
transcribe.py単一ファイル Scribe 呼び出し（--num-speakers 任意）。結果キャッシュ。
transcribe_batch.py4 ワーカー並列転写。マルチテイク向け。
pack_transcripts.pytranscripts/*.json → takes_packed.md（沈黙 ≥0.5s でフレーズ分割）。
timeline_view.py区間のフィルムストリップ + 波形 PNG。判断点専用。
render.pyセグメント extract → concat → PTS シフト済み overlay → 字幕 LAST。--preview で 720p 高速。
grade.pyffmpeg フィルタチェーンによるグレード。プリセット + --filter カスタム。
アニメーションエンジン（スロット単位）

各オーバーレイは edit/animations/slot_<id>/ に隔離。エンジンはスロットごとに選択し、並列 sub-agent で生成（Hard Rule 10）。

エンジン向いている用途
HyperFramesHTML/CSS/GSAP 合成、UI モーション、WebM 透過。Node.js 22+。npx hyperframes。
RemotionReact コンポーネント合成、既存 Remotion ブランド資産。
Manim数式・状態機械・グラフ。同梱 skills/manim-video/ を参照。
PIL + ffmpegカウンター、タイプライター、シンプルカード。高速反復。
5 — Hard Rules（生産正しさ）
非交渉の 12 条

以下は「好み」ではなくサイレント障害を防ぐ正しさ。SKILL.md の Hard Rules セクションと一致。

  1. 字幕はフィルタチェーン最後。先に焼くと overlay が隠す。
  2. セグメント単位 extract → lossless -c copy concat。単一 filtergraph は二重エンコード。
  3. 全セグメント境界に 30ms オーディオフェード。ポップ防止。
  4. overlay は setpts=PTS-STARTPTS+T/TB でフレーム 0 をウィンドウ先頭へ。
  5. master.srt は出力タイムラインオフセット（word.start - segment_start + segment_offset）。
  6. 単語の途中で切らない。Scribe の単語境界にスナップ。
  7. カット端に 30–200ms パディング（Scribe ドリフト吸収）。
  8. 単語レベル verbatim ASR のみ。SRT/フレーズモードは禁止。
  9. ソースごとに転写キャッシュ。ソース未変更なら再転写しない。
  10. 複数アニメーションは必ず並列 sub-agent。逐次は禁止。
  11. 戦略確認前にカットを触らない。
  12. 成果物は <videos_dir>/edit/ のみ。スキル本体に書かない。
6 — 編集プロセス
Ask → confirm → execute → self-eval → persist
  1. Inventory — ffprobe、transcribe_batch.py、pack_transcripts.py。必要なら timeline_view を 1–2 枚。
  2. Pre-scan — takes_packed.md から言い間違い・スリップ候補を列挙。
  3. Converse — 素材に応じた質問（固定チェックリストなし）。長さ・アスペクト・グレード・字幕・アニメ要否を収集。
  4. Propose strategy — 4–8 文で方針提示。ユーザー承認を待つ。
  5. Execute — edl.json、並列アニメ、grade.py、render.py。
  6. Preview — render.py --preview。
  7. Self-eval — 出力の境界・先頭末尾・中間サンプルを検査。最大 3 パス。
  8. Iterate + persist — 自然言語フィードバック、project.md 追記。再転写はしない。
カット判断の要点
  • Audio-first — 候補は単語境界と沈黙ギャップ（≥400ms が最もクリーン）。
  • Peaks を残す — 笑い・パンチライン・強調ビート。反応（笑い声）もビートの一部。
  • Audio events — (laughs) 等をビート信号として扱う。
  • 音声と映像を独立に理由付けしない。両トラックで成立するカットのみ。
EDL 形式（抜粋） 
{
  "version": 1,
  "sources": {"C0103": "/path/C0103.MP4"},
  "ranges": [
    {"source": "C0103", "start": 2.42, "end": 6.85,
     "beat": "HOOK", "quote": "...", "reason": "..."}
  ],
  "grade": "warm_cinematic",
  "overlays": [
    {"file": "edit/animations/slot_1/render.mp4", "start_in_output": 0.0, "duration": 5.0}
  ],
  "subtitles": "edit/master.srt",
  "total_duration_s": 87.4
}
7 — セットアップ
初回インストール

install.md が手順の正。概要は以下。

  1. リポジトリ clone（安定パス例: ~/Developer/video-use）
  2. Python 依存 — uv sync または pip install -e .
  3. ffmpeg / ffprobe（必須）、yt-dlp（任意）
  4. エージェントの skills ディレクトリへディレクトリ全体を symlink
  5. ElevenLabs API キーを .env に設定（Scribe 転写用）
git clone https://github.com/browser-use/video-use ~/Developer/video-use
cd ~/Developer/video-use
uv sync
brew install ffmpeg
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use
cp .env.example .env   # ELEVENLABS_API_KEY=...
エージェントへのセットアッププロンプト

シェル権限のあるエージェントに貼り付けて自動セットアップさせる例（README.md より）:

Set up https://github.com/browser-use/video-use for me.

Read install.md first to install this repo, wire up ffmpeg, register the skill
with whichever agent you're running under, and set up the ElevenLabs API key.
Then read SKILL.md for daily usage, and always read helpers/ because that's
where the editing scripts live.

映像フォルダでエージェントを起動し、「edit these into a launch video」 のように指示する。出力は常に <videos_dir>/edit/final.mp4。

公式・関連

出典: README.md · SKILL.md · install.md · helpers/