Hace unos días publicábamos un análisis de Claude 3.5 Sonnet enfocado a las tareas de programación. La nueva funcionalidad que permite previsualizar el código web en tiempo real, ‘Artifacts’, es perfecta para acercar la programación web a principiantes o incluso a quienes no tienen experiencia previa. Y como todo lo que funciona suele copiarse, ya existe una aplicación, LlamaCoder, que vendría a realizar las mismas funciones que Claude pero con los últimos modelo de Meta: Llama 3.1 405B y 70B. También existe la posibilidad de seleccionar Gemma 2 como alternativa.
Su funcionamiento es prácticamente calcado: a partir de un prompt de texto, el modelo pica el código y aparece una ventana para previsualizarlo. Cabe destacar que no se trata de un modelo como Codestral de Mistral, especializado en códigos de programación, sino que es el mismo LLM de propósito general el que genera la aplicación, todo con ‘React’.
Comparación: LlamaCoder contra Claude 3.5 Sonnet
Ponemos a prueba las dos IA para crear una aplicación sencilla a modo de juego para memorizar y encontrar las tarjetas similares. A partir de un primer prompt detallado, el código que genera LlamaCoder no funciona correctamente y, en el momento en el que encuentras una pareja, deja de esconder el resto de tarjetas. Cuando lo intento mejorar, comienzan a acumularse los errores hasta que aparece un mensaje gigante de error.
En la versión generada con LlamaCoder, el juego no funciona y no comprueba correctamente si has acertado. Después de hacer sucesivos cambios en el prompt, no logramos que el código funcione correctamente.
Tras esta decepción, pasamos a Claude 3.5 Sonnet. La IA de Anthropic logra programarlo todo a la primera y el resultado lo adjuntamos a continuación:
AI Memory Game
En conclusión, LlamaCoder todavía tiene camino por recorrer, pero puede es una alternativa de código abierto con potencial para complementar a Claude 3.5 Sonnet. Se tendrá que ver si en las próximas actualizaciones mejora el sistema y llega a la altura de su principal competidor.
