Lo más importante
La fundación Arc Prize, cofundada por el investigador de IA François Chollet, ha lanzado recientemente ARC-AGI-2, una prueba diseñada para evaluar la inteligencia general de los modelos de IA actuales.
ARC-AGI-2 consiste en una serie de rompecabezas que requieren que la IA identifique patrones visuales en cuadrículas de colores y genere la respuesta correcta. Estos problemas están diseñados para obligar a las IA a adaptarse a situaciones novedosas en las que no se han encontrado previamente. En pruebas realizadas a más de 400 participantes humanos, con los mismos rompecabezas, se estableció un punto de referencia en el cual los humanos respondieron un 60% de las preguntas, superando con creces al porcentaje de respuestas correctas de las IA actuales.
Modelos de razonamiento avanzado como el R1 de DeepSeek o el o1 pro de OpenAI, obtuvieron un porcentaje de 1,3% y 1% respectivamente en el ARC-AGI-2. Otros modelos como GPT-4.5, Claude 3.7 Sonnet y Gemini 2.0 Flash rondaron el 1% de aciertos, una puntuación muy inferior a la conseguida por los humanos. Estos rompecabezas evidencian la dificultad de la inteligencia artificial para resolver problemas nuevos que no están basados en datos previamente adquiridos por los chatbots.
Esta nueva versión del ARC-AGI es mucho más fiable que el modelo anterior
François Chollet afirmo en una publicación en X que el nuevo ARC-AGI-2 es una medida mucho más precisa sobre la inteligencia real de un modelo de IA, en comparación al anterior modelo ARC-AGI-1. Esta nueva versión del modelo, impide que los modelos de inteligencia artificial recurran a la fuerza bruta o al uso excesivo de poder computacional para resolver sus problemas. Con este cambió, el creador ha evitado una de las principales críticas sobre su primer modelo.
Today, we’re releasing ARC-AGI-2. It’s an AI benchmark designed to measure general fluid intelligence, not memorized skills – a set of never-seen-before tasks that humans find easy, but current AI struggles with.
It keeps the same format as ARC-AGI-1, while significantly… pic.twitter.com/9mDyu48znp
— François Chollet (@fchollet) March 24, 2025
El que consiga el reto planteado por Arc Prize, se lleva 700.000 dólares
Para fomentar la participación y avances en este campo, la fundación Arc Prize ha lanzado su propio concurso, el Arc Prize 2025. Este concurso busca incentivar la creación de sistemas de IA más eficientes y capaces de adquirir nuevas habilidades de manera efectiva. El concurso desafía a los participantes a llegar a un 85% de respuestas correctas en el rompecabezas ARC-AGI-2, pero con una limitación: el coste para llegar a este 85% de aciertos debe ser inferior a 0,42 dólares por tarea. En su blog, han anunciado que el que consiga este logro obtendrá un premio total de 700.000 dólares.
Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
