La Ciudad de Nueva York se embarcó en una ambiciosa iniciativa para mejorar los servicios gubernamentales mediante el uso de la inteligencia artificial (IA), presentando un chatbot de IA diseñado para asistir a los residentes y empresarios con información relevante sobre la operación de negocios en la Gran Manzana. Sin embargo, este esfuerzo ha tropezado con serios obstáculos, ya que el chatbot ha estado proporcionando asesoramiento legal inexacto y, en algunos casos, ilegal, sobre leyes de vivienda y laborales, lo que ha encendido las alarmas sobre la fiabilidad de estas tecnologías emergentes.
A pesar de las buenas intenciones detrás de su implementación, el chatbot de IA, impulsado por Microsoft Azure AI, ha fallado en cumplir con su promesa de ser una fuente confiable de información. Desde afirmar falsamente que los propietarios de inmuebles no están obligados a aceptar asistencia de alquiler hasta proporcionar información incorrecta sobre los derechos de los empleados respecto a las propinas, el chatbot ha demostrado ser una fuente de desinformación. Una investigación conjunta ha resaltado la afirmación errónea del chatbot de que los edificios en NYC pueden rechazar los vales de Sección 8, contradiciendo la información oficial del gobierno.
El chatbot de inteligencia artificial de la Ciudad de Nueva York, parte del proyecto MyCity, ha generado preocupación al proporcionar consejos legales incorrectos y potencialmente ilegales a sus usuarios.
Aunque el producto se encuentra en fase «Beta» y viene con advertencias sobre posibles inexactitudes, el chatbot se promociona como un recurso para que los propietarios de negocios naveguen por las regulaciones gubernamentales. Esta situación ha generado preocupación entre expertos y defensores de los derechos civiles, quienes argumentan que la desinformación proporcionada por el chatbot podría tener consecuencias legales reales para los usuarios que actúen basándose en su asesoramiento.
La Oficina de Tecnología e Innovación de NYC ha defendido el chatbot como un piloto que ha servido con precisión a muchos, pero sugiere que los usuarios verifiquen la información proporcionada, especialmente en asuntos legales. Microsoft ha introducido la Detección de Fundamentación para mitigar el problema de la IA que disemina información falsa en tiempo real, y se están planificando mejoras en el chatbot, centrándose en un mayor apoyo para las pequeñas empresas.
La experiencia de NYC con su chatbot de IA resalta los desafíos inherentes al despliegue de tecnologías de IA en el sector público. Mientras la ciudad se esfuerza por mejorar esta herramienta, el caso sirve como un recordatorio crítico de la necesidad de supervisión, pruebas rigurosas y mecanismos de corrección antes de confiar en la IA para proporcionar asesoramiento en asuntos tan sensibles como la ley y la regulación. A medida que avanzamos hacia una mayor integración de la IA en los servicios gubernamentales, la transparencia, la precisión y la responsabilidad deben permanecer como pilares fundamentales para proteger los derechos y la seguridad de los ciudadanos.
Toda revolución necesita sus cronistas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
