Apple y Nvidia están colaborando juntos para mejorar la rapidez de la IA

La inteligencia artificial, especialmente los modelos de lenguaje de gran tamaño (LLM), ha experimentado un crecimiento exponencial en los últimos años. Sin embargo, la generación de texto a partir de estos modelos es un proceso computacionalmente costoso y lento. Para abordar este desafío, Apple y NVIDIA han unido fuerzas para desarrollar una solución innovadora que acelere significativamente la inferencia de los LLM.

La generación de texto en los LLM se basa en un proceso llamado decodificación autorregresiva, que es computacionalmente intensivo. Esto significa que cada palabra generada depende de las palabras anteriores, lo que ralentiza el proceso. Por ejemplo, si le haces una pregunta a un chatbot, este necesita generar una respuesta coherente y relevante. Para ello, utiliza un LLM que procesa tu pregunta y genera una respuesta palabra por palabra.

La solución de Apple y NVIDIA para acelerar las respuestas de los chatbots

Apple presentó Recurrent Drafter (ReDrafter), una técnica que combina la búsqueda para acelerar la generación de texto. Esta técnica ha demostrado ser significativamente más rápida que los métodos tradicionales.

Para llevar esta tecnología al mercado, Apple se asoció con NVIDIA. Juntos, integraron ReDrafter en NVIDIA TensorRT-LLM, un marco de aceleración de inferencia diseñado para optimizar el rendimiento de los LLM en las GPU NVIDIA. Con esta técnica, los usuarios pueden obtener resultados más rápido y con menor consumo de recursos.

• Antes de ReDrafter: cada vez que el LLM generaba una nueva palabra, tenía que considerar todas las palabras anteriores en la oración para asegurar que la siguiente palabra tuviera sentido. Además, cada palabra, el LLM tenía que elegir entre muchas opciones posibles, lo que ralentizaba aún más el proceso.}
• Con ReDrafter y NVIDIA TensorRT-LLM: ReDrafter utiliza una técnica llamada "búsqueda de haces" para explorar múltiples opciones a la vez. Es como si el chatbot pudiera "adivinar" cuáles podrían ser las próximas palabras más probables y enfocarse en ellas. Sería algo así como tener un superordenador dedicado a resolver este rompecabezas lo más rápido posible.

El potencial de esta alianza se puede notar en:

• Respuestas más rápidas: Los chatbots pueden responder a tus preguntas casi al instante.
• Experiencia de usuario mejorada: Las conversaciones con la IA se vuelven más fluidas y naturales.
• Aplicaciones más avanzadas: Esta tecnología permite desarrollar aplicaciones más complejas y sofisticadas, como asistentes

La alianza entre Apple y NVIDIA, que ya ha sucedido en el pasado, ha logrado acelerar significativamente la generación de texto en los LLM al introducir una nueva técnica (ReDrafter) y optimizar su ejecución en hardware especializado (NVIDIA TensorRT-LLM). Esto abre nuevas posibilidades para la inteligencia artificial y nos acerca a un futuro donde las interacciones con estas herramientas sean cada vez más naturales y eficientes.

Puedes seguir a iPadizate en Facebook, WhatsApp, Twitter (X) o consultar nuestro canal de Telegram para estar al día con las últimas noticias de tecnología.