A medida que surgen nuevos modelos abiertos, como Llama, cada vez es más atractivo descargar la IA y usarla en local. Un beneficio claro de todo esto es la privacidad: todos los datos e interacciones que se realizan en el mismo ordenador se quedarán ahí y no viajarán a los servidores de una empresa tecnológica. Como contrapunto, no todos los ordenadores disponen de una capacidad de procesamiento y memoria RAM suficientes para ejecutar los modelos más grandes, por lo que no es una solución al alcance de cualquiera. Pero si dispones de un ordenador de gama media, podrás ejecutar algunos modelos pequeños que pueden ayudarte en tareas del día a día.
Para facilitar la tarea existe un software de código abierto, Jan AI, que te permitirá descargar los modelos disponibles en Hugging Face y usarlos en pocos minutos. Con un Macbook M1 del 2020, he podido descargar el modelo pequeño de Llama 3 (de 8B de parámetros) y lo ejecutado sin problemas.
Paso a paso
- Primero debes descargarte el instalador, que de momento está disponible para Windows, Mac y Linux.
- Cuando abras la aplicación, te mostrará una lista de modelos aptos para su descarga en local. Todos ellos son abiertos y no te costará dinero usarlos.
- La aplicación te indica, en base a las capacidades de tu ordenador (CPU, GPU y RAM), los modelos que se van a ejecutar bien, los que lo van a hacer de forma lenta y también aquellos que no van a funcionar correctamente. En mi caso, aunque me advertía de que funcionaría lento, descargué el modelo pequeño de Llama 3 y respondía a mis preguntas en menos de 20 segundos.
- Como los modelos pequeños pesan pocas gigas, tardarán poco tiempo en descargarse.
- Ahora solo hace falta escribir un prompt a través de la aplicación y la IA se ejecutará en local.
Limitaciones
Esta herramienta facilita mucho la ejecución de la IA en local, ya que dispone de una interfaz intuitiva y está conectada a uno de los repositorios más interesantes en la actualidad: Hugging Face. Sin embargo, al tratarse de modelos pequeños, es probable que los resultados no sean tan precisos como los que ofrecen ChatGPT o Claude en la nube. Por eso es una buena herramienta para experimentar y explorar las posibilidades, pero poco efectiva todavía para tareas más exigentes.
Para sobreponerse a las limitaciones, ya es posible añadir una API de otros proveedores, como Mistral, OpenAI, Anthropic o Groq, entre otros. Pero en este caso ya no se ejecutaría en local y, con cada prompt, nuestros datos viajarían hasta el servidor del proveedor.
Toda revolución necesita sus cronistas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
