La startup Etched ha desarrollado el chip de IA Sohu, que busca redefinir el mercado de procesadores de IA y que podría competir directamente con NVIDIA. Sohu ha sorprendido a la industria con su capacidad de procesamiento sin precedentes. Este chip de IA puede manejar más de 500,000 tokens por segundo utilizando el modelo Llama 70B, lo que lo convierte en el chip más rápido del mundo en su categoría. Esta capacidad permite que un solo servidor equipado con ocho chips Sohu reemplace hasta 160 unidades de procesamiento gráfico (GPUs) NVIDIA H100, que hasta ahora habían sido el estándar de rendimiento en inteligencia artificial.
Este rendimiento extraordinario se traduce en una mejora de hasta 20 veces en comparación con las GPUs H100 de NVIDIA, lo cual es significativo tanto en términos de velocidad como de eficiencia energética. Estas características hacen de Sohu una opción atractiva para centros de datos que requieren un alto poder de cómputo a un costo operativo reducido.
Una de las principales características de Sohu es su diseño como un chip ASIC (circuito integrado de aplicación específica) optimizado exclusivamente para modelos de transformadores. Al estar diseñado específicamente para esta arquitectura, Sohu logra una eficiencia y velocidad superiores a las de los chips de propósito general. En términos técnicos, el chip utiliza más del 90% de sus transistores para cálculos de IA, en comparación con aproximadamente el 30% que suelen utilizar las GPUs. Esto resulta en un aprovechamiento mucho más efectivo de su capacidad de cómputo.
La arquitectura ASIC
Esta noticia sobre una nueva ASIC que mejora sustancialmente el rendimiento de la inferencia tiene una explicación: ¿Recordáis los inicios de la minería ‘cripto’, cuando se minaban los bitcoins con CPU en 2009/2010? Un par de años más tarde, alguien se encargó de convertir el código a OpenCL para que aprovechara la capacidad de computación paralela de las GPUs para minar en GPU, y eso llevó a una ola de compras de tarjetas AMD (que ejecutaban OpenCL mejor que nVIDIA), para minar criptomonedas… No pasó mucho tiempo hasta que se crearon ASICs para minar bitcoins. Los ASICs son (Application Specific Integrated Circuits), en castellano Circuitos Integrados Específicos para una Aplicación.
Los primeros ASICs de minería cripto, sólo minaban bitcoin y las monedas que usaban el mismo algoritmo que bicoin, pero no otras monedas que usaban algoritmos distintos. Luego llegaron otros ASICs para minar esas otras monedas.
Ventajas
La ventaja de los ASICs era y es, en primer lugar el coste (si se fabrica a escala son muy baratos, al tener sólo el hardware necesario para su función específica), en segundo lugar el bajo consumo eléctrico y, en tercero, pero no menos importante, la velocidad de ejecución.
¿Y eso por qué? Pues porque no es más que hardware optimizado y diseñado específicamente para ejecutar un algoritmo determinado, frente a las GPUs y las CPUs, que son hardware de un propósito más general que un ASIC (las GPUs se usan para procesar las operaciones que requieren las aplicaciones gráficas y las CPUs para procesar las operaciones de cualquier tipo de aplicación informática).
Desventajas
¿Qué problema tiene el ASIC? Pues que si cambia el algoritmo, debe reprogramarse, y este proceso no es rápido. Por lo tanto, cuando un algoritmo es muy estable, el paso a ASIC permite unas mejoras sustanciales en tiempo de ejecución y menor consumo energético.
La ventaja de las CPUs y las GPUs está en su versatilidad, y lo fácil que es usar su capacidad de computación para cualquier propósito en tiempo récord.
Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
