Cloudflare, conocido por su plataforma de desarrollo ‘Workers‘, ha dado un paso significativo hacia el futuro de la inteligencia artificial generativa (GenAI) con el lanzamiento de Workers AI, informa Computer Weekly. Esta nueva oferta, presentada en septiembre de 2023, es una plataforma de inferencia de IA como servicio que permite a las organizaciones ejecutar modelos de IA en ubicaciones periféricas con requisitos mínimos de codificación, aprovechando la red global de unidades de procesamiento gráfico (GPU) de Cloudflare.
Cloudflare lanza Workers AI, una plataforma innovadora que facilita el despliegue de cargas de trabajo de Inteligencia Artificial Generativa en el borde de la red, acelerando el procesamiento de datos.
Ricky Robinett, vicepresidente de relaciones con desarrolladores y comunidad en Cloudflare, explicó que Workers AI está diseñada para cargas de trabajo de IA que son demasiado grandes para ejecutarse en un dispositivo, pero no lo suficientemente grandes como para desplegarse en una granja de servidores en la nube. Un ejemplo de uso es un sitio de noticias o contenido que recomienda otros contenidos para leer con un resumen vinculado del contenido.
Cloudflare ha hecho modelos preentrenados como Llama 2 de Meta, Mistral 7B de Mistral AI, Whisper de OpenAI y distilbert-sst-2-int8 de Hugging Face disponibles a través de Workers AI. La compañía planea expandir esta lista y no descarta permitir a los clientes ejecutar sus propios modelos en la plataforma.
Workers AI mantiene la privacidad por defecto, lo que significa que los modelos no se entrenan con datos de clientes. Para que los resultados de los modelos sean significativos y útiles para los usuarios, Cloudflare ha desarrollado una base de datos vectorial llamada Vectorize que las organizaciones pueden usar para almacenar y generar incrustaciones para preguntas de los usuarios.
Para mejorar la resiliencia, escalabilidad y rendimiento de sus aplicaciones de IA, los desarrolladores también pueden aprovechar el AI Gateway de Cloudflare, que ayuda a prevenir la pérdida de datos y permite recurrir a un modelo alternativo para gestionar costos y abordar límites de tasa.
Las GPU empleadas por Workers AI se han desplegado en 100 puntos de presencia en la red de Cloudflare y estarán disponibles en todos sus sitios para finales de 2024. Robinett señaló que la demanda del servicio ha sido impulsada por la escasez de GPU, con desarrolladores buscando ejecutar cargas de trabajo de inferencia de manera más rentable.
Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación. Esta es la de hoy.
