Trascina un mp4 nel terminale: il coding multimodale, dal vivo

La demo

Nei materiali di lancio di Meta, un utente trascina nel terminale il video di un fly-through di una casa vacanze, come file mp4. Muse Code interpreta il video — le stanze, la luce, l’ambientazione — e produce una pagina di marketing e prenotazione visivamente ricca per la proprietà. Nessun brief, nessun giro di copywriting, nessuna lista di asset. Il video è la specifica.

Perché non è il solito “supporto vision”

Di modelli che accettano immagini ce ne sono tanti; la ricetta vision-input del cookbook copre proprio quello, e “screenshot che diventa bugfix” è ormai un workflow familiare. La demo mostra qualcosa che va oltre: media non strutturati e non-codice usati come input primario di un intero task di ingegneria, dentro il loop dell’agente. Il modello deve estrarre l’intento (questa è una casa in affitto che deve vendersi da sola), derivare i contenuti (cosa le pagine devono dire e mostrare) e poi eseguire una normale build multi-pagina — pianificazione, codice, validazione — a partire da quella comprensione.

Il che fa collassare la pipeline abituale. Il percorso tradizionale da “ecco un video della casa” a “ecco il sito di prenotazione” passa per un copywriter, un designer e uno sviluppatore, ognuno che traduce l’output del passo precedente. Un agente multimodale esegue quella catena di traduzioni al proprio interno.

Dove si incastra nei workflow reali

La pagina della casa vacanze è una demo di marketing, ma il pattern si generalizza a input che gli ingegneri hanno davvero: la registrazione dello schermo di un bug difficile da descrivere a parole; la foto di una lavagna con uno schizzo di architettura; il walkthrough di un competitor da studiare; un mock di design esportato come immagine. Ovunque la descrizione più fedele del task sia visiva anziché verbale, digitare un’approssimazione in prosa dentro un prompt è compressione con perdita. Consegnare l’artefatto stesso non lo è.

Le ricette di percezione del cookbook tracciano la stessa direzione su scala più piccola — l’analisi dei grafici estrae dati strutturati dalle immagini, il perception grounding aggancia annotazioni interattive a coordinate in pixel dentro una foto. La demo dell’mp4 è quei primitivi, composti e portati fino in fondo.

Le avvertenze oneste

Una demo di lancio è il caso migliore possibile. Interpretare un video a questa profondità brucia parecchi token — vale la pena ricordare che il prezzo dell’input si applica anche ai media — e “il video è la spec” funziona al meglio quando la forma del deliverable è convenzionale, come una pagina immobiliare. Ma come dichiarazione di direzione è inequivocabile: il lato input degli agenti di coding si sta allargando dal testo a qualunque artefatto trasporti meglio il tuo intento. Prova la ricetta vision-input nel cookbook per vedere il primitivo; il quickstart ti porta a un terminale dove trascinare il file.