Glisse un mp4 dans le terminal : le coding multimodal en démonstration

La démo

Dans les supports de lancement de Meta, un utilisateur glisse dans le terminal la vidéo de visite d’une maison de vacances, en fichier mp4. Muse Code interprète la vidéo — les pièces, la lumière, le cadre — et produit une page marketing et de réservation visuellement riche pour la propriété. Pas de brief, pas de passe de copywriting, pas de liste d’assets. La vidéo est la spécification.

Pourquoi c’est autre chose que du support vision

Beaucoup de modèles acceptent des images ; la recette vision-input du cookbook couvre exactement ça, et le screenshot-vers-bugfix est déjà un workflow familier. Ce que la démo montre va plus loin : un média non structuré, sans rapport avec du code, utilisé comme entrée principale d’une vraie tâche d’ingénierie, à l’intérieur de la boucle de l’agent. Le modèle doit extraire l’intention (c’est une location qui doit se vendre toute seule), en dériver le contenu (ce que les pages doivent dire et montrer), puis dérouler un build multi-pages classique — planification, code, validation — à partir de cette compréhension.

Ça écrase le pipeline habituel. Le chemin traditionnel entre « voilà une vidéo de la maison » et « voilà le site de réservation » passe par un copywriter, un designer et un développeur, chacun traduisant la sortie de l’étape précédente. Un agent multimodal exécute cette chaîne de traduction en interne.

Où ça s’insère dans les vrais workflows

La page de maison de vacances est une démo marketing, mais le motif se généralise à des entrées que les ingénieurs ont réellement sous la main : l’enregistrement d’écran d’un bug difficile à décrire avec des mots ; la photo d’un tableau blanc avec un schéma d’architecture ; le walkthrough d’un concurrent à étudier ; une maquette de design exportée en image. Partout où la description la plus fidèle de la tâche est visuelle plutôt que verbale, taper une approximation en prose dans un prompt, c’est de la compression avec perte. Tendre l’artefact lui-même, non.

Les recettes de perception du cookbook esquissent la même direction à plus petite échelle — l’analyse de graphiques extrait des données structurées depuis des images, le perception grounding épingle des annotations interactives à des positions en pixels dans une photo. La démo mp4, ce sont ces primitives, composées et poussées jusqu’à leur conclusion.

Les réserves honnêtes

Une démo de lancement est un cas idéal. Interpréter de la vidéo à cette profondeur consomme sérieusement des tokens — garde en tête que la tarification en entrée s’applique aussi aux médias — et « la vidéo est la spec » marche surtout quand la forme du livrable est conventionnelle, comme une page de propriété. Mais comme déclaration de direction, c’est sans ambiguïté : le côté entrée des agents de code s’élargit du texte vers l’artefact, quel qu’il soit, qui porte le mieux ton intention. Essaie la recette vision-input du cookbook pour voir la primitive ; le guide de démarrage t’amène à un terminal où glisser le fichier.