Suelta un mp4 en el terminal: así es programar en multimodal

La demo

En los materiales de lanzamiento de Meta, un usuario suelta en el terminal un vídeo en mp4 con un recorrido por una casa de vacaciones. Muse Code interpreta el vídeo — las habitaciones, la luz, el entorno — y produce una página de marketing y reservas visualmente rica para la propiedad. Sin brief, sin pasada de copywriting, sin lista de assets. El vídeo es la especificación.

Por qué esto no es solo “soporte de visión”

Hay muchos modelos que aceptan imágenes; la receta de entrada de visión del cookbook cubre exactamente eso, y el flujo de captura-de-pantalla-a-bugfix ya es de sobra conocido. Lo que la demo enseña va un paso más allá: medios no estructurados y ajenos al código usados como entrada principal de una tarea de ingeniería completa, dentro del bucle del agente. El modelo tiene que extraer la intención (esto es una propiedad de alquiler que necesita venderse sola), derivar el contenido (qué deben decir y mostrar las páginas) y después ejecutar una construcción multipágina normal — planificación, código, validación — a partir de esa comprensión.

Eso colapsa el pipeline habitual. El camino tradicional desde “aquí tienes un vídeo de la casa” hasta “aquí tienes el sitio de reservas” pasa por un copywriter, un diseñador y un desarrollador, cada uno traduciendo la salida del paso anterior. Un agente multimodal ejecuta esa cadena de traducción por dentro.

Dónde encaja en flujos de trabajo reales

La página de la casa de vacaciones es una demo de marketing, pero el patrón generaliza a entradas que los ingenieros sí tienen: una grabación de pantalla de un bug difícil de describir con palabras; la foto de una pizarra con un boceto de arquitectura; el walkthrough de un competidor para estudiarlo; un mock de diseño exportado como imagen. Allí donde la descripción más fiel de la tarea es visual y no verbal, teclear una aproximación en prosa dentro de un prompt es compresión con pérdida. Entregar el artefacto en sí, no.

Las recetas de percepción del cookbook apuntan en la misma dirección a menor escala — el análisis de gráficos extrae datos estructurados de imágenes, y el anclaje perceptivo fija anotaciones interactivas a posiciones de píxel en una foto. La demo del mp4 son esas primitivas, compuestas y llevadas hasta su conclusión.

Las advertencias honestas

Una demo de lanzamiento es el mejor caso posible. Interpretar vídeo con esta profundidad quema tokens en serio — conviene recordar que el precio de entrada también aplica a los medios — y “el vídeo es la especificación” funciona mejor cuando la forma del entregable es convencional, como una página de propiedad. Pero como declaración de rumbo es inequívoca: el lado de entrada de los agentes de código se está ensanchando, del texto a cualquier artefacto que mejor transporte tu intención. Prueba la receta de entrada de visión en el cookbook para ver la primitiva; el quickstart te lleva hasta un terminal donde soltar el archivo.