Ejecutando un LLM de 28,9 millones de parámetros en un microcontrolador de 8 dólares.

Este es un modelo de lenguaje con 28,9 millones de parámetros que genera texto en un ESP32-S3, un microcontrolador que cuesta alrededor de 8 dólares. Se ejecuta directamente en el chip, sin enviar datos a un servidor, y escribe cada palabra en una pequeña pantalla conectada al chip a una velocidad aproximada de 9 tokens por segundo. El último modelo de lenguaje que se ejecutó en un chip de este tipo tenía 260.000 parámetros, por lo que este admite aproximadamente cien veces más. Esto se debe a que la mayor parte del modelo reside en la memoria flash en lugar de la RAM, utilizando una idea de los modelos Gemma de Google llamada Per-Layer Embeddings.