ターミナルに mp4 をドロップする：マルチモーダルコーディングの実演

そのデモ

Meta のローンチ資料の中に、こんなシーンがあります。ユーザーがバケーションハウスの内覧動画を mp4 ファイルとしてターミナルにドロップする。Muse Code は動画を解釈し（部屋の構成、光の入り方、ロケーション）、その物件のためのビジュアル豊かなマーケティング兼予約ページを生成します。ブリーフなし、コピーライティングの工程なし、アセットリストなし。動画そのものが仕様書なのです。

これは「画像対応」とは別物

画像を受け取れるモデルは珍しくありません。cookbook のビジョン入力レシピはまさにそれを扱っていますし、「スクリーンショットからバグ修正」はすでにお馴染みのワークフローです。しかしこのデモが見せているのは、その一歩先です。構造化されていない、コードでもないメディアが、エージェントループの中で本格的なエンジニアリングタスクの一次入力として使われている。モデルは意図を抽出し（これは自らを売り込む必要のある貸別荘だ）、コンテンツを導出し（ページに何を書き、何を見せるべきか）、その理解から通常のマルチページ構築、つまり計画・コード・検証を実行しなければなりません。

これは従来のパイプラインを一気に畳みます。「家の動画があります」から「予約サイトができました」までの伝統的な経路は、コピーライター、デザイナー、開発者を経由し、それぞれが前工程の出力を翻訳していました。マルチモーダルエージェントは、この翻訳の連鎖を内部で走らせます。

実際のワークフローのどこにハマるか

バケーションハウスのページはマーケティングデモですが、このパターンはエンジニアが実際に持っている入力へと一般化します。言葉で説明しづらいバグの画面録画。アーキテクチャ図を殴り書きしたホワイトボードの写真。研究対象としての競合プロダクトのウォークスルー。画像として書き出されたデザインモック。タスクの最も正確な記述が言語ではなく視覚である場面では、散文の近似をプロンプトに打ち込むこと自体が非可逆圧縮です。アーティファクトそのものを渡せば、失われるものはありません。

cookbook のパーセプション系レシピは、同じ方向性を小さいスケールで描いています。チャート解析は画像から構造化データを抽出し、パーセプショングラウンディングはインタラクティブな注釈を写真のピクセル座標に固定します。mp4 のデモは、これらのプリミティブを合成し、結論まで押し切った姿です。

正直な注意点

ローンチデモはベストケースです。この深さの動画解釈はトークンを相当消費します。入力課金はメディアにも適用される点は覚えておきましょう。また「動画が仕様書」が最もうまく機能するのは、物件ページのように成果物の形が定型的な場合です。それでも、方向性の表明としては曖昧さがありません。コーディングエージェントの入力側は、テキストから「意図を最もよく運ぶアーティファクトなら何でも」へと広がりつつあります。プリミティブを体験するなら cookbook のビジョン入力レシピを。ファイルをドロップできるターミナルまではクイックスタートでたどり着けます。