Tu iPhone podría crear modelos 3D con solo 3 imágenes con Apple Intelligence

Apple continúa explorando y expandiendo sus capacidades más allá de lo que imaginábamos hace poco. Si hace unos días nos sorprendíamos con los avances en el desarrollo de funciones de accesibilidad para lograr controlar el iPhone con la mente, hoy la compañía nos presenta una nueva e intrigante innovación: la posibilidad de el iPhone sea capaz de generar modelos 3D detallados a partir de tan solo unas pocas fotografías, impulsado por Apple Intelligence

Este avance que se ha conocido gracias a la publicación de un documento técnico, se materializa en un modelo de IA llamado Matrix3D, ha sido desarrollado por el equipo de aprendizaje automático de Apple en colaboración con prestigiosas universidades y promete revolucionar la forma en que capturamos y recreamos el mundo que nos rodea, abriendo un universo de posibilidades para aplicaciones futuras, incluyendo las inmersivas experiencias de las Apple Vision Pro.

Apple demuestra su compromiso con la innovación en el ámbito de la IA

El Matrix3D es un modelo de fotogrametría de gran tamaño que simplifica radicalmente el proceso de creación de modelos 3D. Tradicionalmente, la fotogrametría, la técnica que utiliza fotografías para realizar mediciones y construir representaciones tridimensionales, involucra múltiples modelos de IA para diferentes etapas, como la estimación de la pose de la cámara y la predicción de la profundidad. Este enfoque fragmentado puede generar ineficiencias y errores en el resultado final.

La gran diferencia de Matrix3D radica en su arquitectura unificada. Este modelo es capaz de procesar simultáneamente las imágenes 2D, los parámetros de la cámara (como el ángulo de visión y la distancia focal) y los datos de profundidad, todo en un solo flujo de trabajo. Esta integración no solo agiliza el proceso, sino que también mejora significativamente la precisión de las reconstrucciones 3D.

Matrix3D completa información faltante para generar modelos 3D basado en fotos 2D

Los investigadores de Apple emplearon una técnica de "aprendizaje enmascarado", similar a la que impulsó los primeros modelos de lenguaje basados en Transformers y sentó las bases para las primeras versiones de ChatGPT. Durante el entrenamiento, se ocultaron aleatoriamente partes de los datos de entrada, obligando a Matrix3D a aprender a "rellenar" los huecos de información faltante y lo hace más adaptable a escenarios del mundo real donde la información visual puede no ser perfecta.

Estos resultados sugieren que en el corto plazo, podría mejorar significativamente la calidad y la facilidad de creación de contenido 3D para aplicaciones de realidad aumentada en el iPhone. A largo plazo, las implicaciones para dispositivos inmersivos como las Apple Vision Pro son aún más significativas, permitiendo la creación de entornos virtuales más realistas.

Cuando las aplicaciones basadas en Inteligencia Artificial arribaron con fuerza hace unos pocos años, parecía que Apple se había quedado atrás, y si fue así, sin duda no podemos negar que ha encontrado una gran forma de ponerse al día. Además, con la publicación del código fuente, Apple invita a la comunidad a explorar y expandir las capacidades de Matrix3D.

Puedes seguir a iPadizate en Facebook, WhatsApp, Twitter (X) o consultar nuestro canal de Telegram para estar al día con las últimas noticias de tecnología.