Apple presenta Ferret-UI, la IA que podría hacer que Siri sea más inteligente

De acuerdo con un artículo de investigación publicado por Apple, han estado desarrollando un nuevo sistema de inteligencia artificial de nombre Ferret-UI. Fue diseñado con la finalidad de brindar mejor soporte a las pantallas de las apps. No existe una demostración más certera pero tendría todas las bases para mejorar a Siri sin ninguna duda.

Apple quiere renovar la experiencia de ChatGPT

Recordemos que los modelos de lenguaje grande son los que hacen posible el funcionamiento de herramientas como ChatGPT. Amplían la capacidad que da sentido a la información que no es de texto como imágenes y vídeos. Sin embargo, en términos de resultados en las apps móviles, los modelos de lenguaje grande no son los mejores. Por ejemplo, se complican en el reconocimiento de imágenes pequeñas y precisamente la relación de aspecto que varían en los móviles son las que representan una diferencia respecto a las imágenes que se utilizan para su entrenamiento en el sistema.

Aquí es donde entra Ferret-UI. Apple indica que al tener el problema de los objetos pequeños, ellos "incorporan cualquier resolución para aprovechar características visuales mejoradas".

Funcionamiento de Ferret-UI utilizando una pantalla de la App Store

Recopilamos muestras de una amplia gama de tareas elementales de la interfaz de usuario. Las muestras están formateadas para seguir instrucciones con anotaciones de región que facilitan referencias y conexiones. Compilamos aún más un conjunto de datos para tareas avanzadas. Traducido en pocas palabras, este nuevo sistema de Apple superaría a ChatGPT y otros motores existentes que se basan en la interfaz de usuario.

¿Cómo se utilizaría esta tecnología en la vida real?

En la creación de apps sería un asistente vital ya que cada desarrollador podría someter a una app nueva a una evaluación para que Ferret-UI verifique qué tan buena es en términos de uso y entendimiento. La usabilidad cambiaría completamente, recordemos que nosotros como humanos nos podemos equivocar y un asistente virtual que analice una app nos podría detectar factores diferenciadores.

Los de Cupertino ejemplifican la situación con diferentes pantallas de sus apps nativas como Apple Store, Recordatorios, Atajos, entre otras. Por ejemplo, el sistema describe a la perfección el contenido de las apps, en el caso de podcasts es una app (de podcasts) donde los usuarios exploran y pueden reproducir contenidos, además de resaltar las opciones de reproducción, descarga y búsqueda.

Ferret-UI describiendo todos los elementos que contiene una app

Si Apple está seguro de subir el nivel, no cabe duda que Siri sería la más beneficiada al tener nuevos poderes. Su conocimiento ya no estaría limitado al internet sino que realizaría acciones inteligentes con base en ese conocimiento. Podríamos ordenarle que haga reservas y compras por nosotros, hasta decirle que pueda explicarnos lo que hace una app totalmente desconocida si es que se nos dificulta utilizar algo nuevo.

Esperemos que los de Cupertino tomen en cuenta esta investigación en el desarrollo de iOS 18, que según informes indican que será la mejor actualización en años debido a un nuevo cambio de interfaz y el inminente uso de IA dentro del iPhone, esto último probablemente para los últimos modelos recientes del dispositivo insignia de la manzana.