Solte um mp4 no terminal: programação multimodal na prática

A demo

No material de lançamento da Meta, um usuário solta no terminal um vídeo em mp4 percorrendo uma casa de temporada. O Muse Code interpreta o vídeo — os cômodos, a luz, o entorno — e produz uma página de marketing e reservas visualmente rica para o imóvel. Sem briefing, sem passada de copywriting, sem lista de assets. O vídeo é a especificação.

Por que isso é diferente de “suporte a visão”

Muitos modelos aceitam imagens; a receita de vision input do cookbook cobre exatamente isso, e transformar screenshot em correção de bug já é um fluxo familiar. O que a demo mostra vai além: mídia não estruturada, que não é código, usada como entrada primária de uma tarefa de engenharia completa, dentro do loop do agente. O modelo precisa extrair a intenção (isto é um imóvel de aluguel que precisa se vender), derivar o conteúdo (o que as páginas devem dizer e mostrar) e então executar uma construção multi-página normal — planejamento, código, validação — a partir desse entendimento.

Isso colapsa o pipeline de sempre. O caminho tradicional de “aqui está um vídeo da casa” até “aqui está o site de reservas” passa por um redator, um designer e um desenvolvedor, cada um traduzindo a saída da etapa anterior. Um agente multimodal roda essa cadeia de tradução internamente.

Onde isso encaixa em fluxos reais

A página da casa de temporada é uma demo de marketing, mas o padrão generaliza para entradas que engenheiros de fato têm: uma gravação de tela de um bug difícil de descrever em palavras; a foto de um quadro branco com um rascunho de arquitetura; o walkthrough de um concorrente para estudar; um mock de design exportado como imagem. Sempre que a descrição mais fiel da tarefa é visual e não verbal, digitar uma aproximação em prosa no prompt é compressão com perdas. Entregar o artefato em si não é.

As receitas de percepção do cookbook esboçam a mesma direção em escala menor — a análise de gráficos extrai dados estruturados de imagens, o perception grounding fixa anotações interativas em posições de pixels de uma foto. A demo do mp4 são esses primitivos, compostos e levados até a conclusão.

As ressalvas honestas

Uma demo de lançamento é o melhor cenário possível. Interpretar vídeo nessa profundidade queima tokens sérios — vale lembrar que o preço de entrada também se aplica à mídia — e “o vídeo é a spec” funciona melhor quando o formato da entrega é convencional, como uma página de imóvel. Mas como declaração de direção, é inequívoca: o lado de entrada dos agentes de código está se alargando de texto para qualquer artefato que melhor carregue sua intenção. Experimente a receita de vision input no cookbook para ver o primitivo em ação; o quickstart te coloca em um terminal onde você pode soltar o arquivo.