En 2017, The Economist declaró que los datos, en lugar del petróleo, se habían convertido en el recurso más valioso del mundo. El estribillo se ha repetido desde entonces. Organizaciones de todos los sectores han estado invirtiendo, y siguen invirtiendo fuertemente, en datos y analítica. Pero, al igual que el petróleo, los datos y la analítica tienen su lado oscuro.
Según el informe State of the CIO 2023 de CIO, el 26% de los líderes de TI afirman que el aprendizaje automático (ML, por sus siglas en inglés) y la inteligencia artificial (IA) impulsarán la mayor parte de la inversión en TI. Y aunque las acciones impulsadas por algoritmos de ML pueden dar a las organizaciones una ventaja competitiva, los errores pueden ser costosos en términos de reputación, ingresos o incluso vidas.
Comprender sus datos y lo que le están diciendo es importante, pero es igualmente vital comprender sus herramientas, conocer sus datos y mantener los valores de su organización firmemente en mente.
He aquí un puñado de meteduras de pata sonadas de la IA en la última década para ilustrar lo que puede salir mal.
McDonald’s pone fin a su experimento de IA tras errores en los pedidos de su autoservicio
Después de trabajar con IBM durante tres años para aprovechar la IA para tomar pedidos en el autoservicio (o McAuto, como se le conoce en España), McDonald’s canceló todo en junio de 2024. ¿El motivo? Una serie de vídeos en las redes sociales que mostraban a clientes confusos y frustrados intentando que la IA entendiera sus pedidos.
Un vídeo de TikTok mostraba a dos personas suplicando repetidamente a la IA que se detuviera mientras seguía añadiendo más McNuggets de pollo a su pedido, llegando finalmente a los 260. En un memorando interno del 13 de junio de 2024, obtenido por la publicación especializada Restaurant Business, McDonald’s anunció que pondría fin a la colaboración con IBM y a las pruebas.
El restaurante había probado la IA en más de 100 autoservicios de Estados Unidos, e indicó que aún veía futuro en una solución de pedidos por voz.
Grok AI acusa a una estrella de la NBA de vandalismo
En una publicación de abril de 2024 en X, Grok, el chatbot de inteligencia artificial de xAI de Elon Musk, acusó falsamente a la estrella de la NBA Klay Thompson de lanzar ladrillos contra las ventanas de varias casas en Sacramento, California.
Algunos comentaristas especularon con la posibilidad de que Grok hubiera alucinado con la historia de vandalismo sobre la estrella de los Golden State Warriors, traspasado a los Dallas Mavericks, después de ingerir mensajes sobre Thompson ‘lanzando ladrillos’, expresión habitual en el baloncesto para referirse a un tiro mal lanzado. En su último partido con los Golden State Warriors, el equipo sufrió una derrota aplastante como parte de la peor actuación de Thompson en la postemporada.
Grok muestra una cláusula de exención de responsabilidad que dice: “Grok es una función nueva y puede cometer errores. Comprueba sus resultados”. Aún así, el incidente plantea cuestiones sobre la responsabilidad cuando un chatbot de IA hace declaraciones falsas y difamatorias.
Un chatbot de IA de Nueva York anima a los empresarios a infringir la ley
En marzo de 2024, The Markup informó de que el chatbot MyCity, impulsado por Microsoft, estaba dando a los empresarios información incorrecta que les llevaría a infringir la ley.
Presentado en octubre de 2024, MyCity pretendía proporcionar a los neoyorquinos información sobre cómo crear y gestionar empresas en la ciudad, así como sobre política de vivienda y derechos de los trabajadores. El único problema es que The Markup descubrió que MyCity afirmaba falsamente que los propietarios de negocios podían quedarse con una parte de las propinas de sus trabajadores, despedir a trabajadores que se quejaran de acoso sexual y servir comida mordisqueada por roedores. También afirmaba que los propietarios podían discriminar en función de la fuente de ingresos.
A raíz del informe, el alcalde imputado de Nueva York, Eric Adams, defendió el proyecto. El chatbot sigue en línea.
Air Canada paga daños y perjuicios por las mentiras de su chatbot
En febrero de 2024, Air Canada fue condenada a pagar daños y perjuicios a un pasajero después de que su asistente virtual le diera información incorrecta en un momento especialmente difícil.
Jake Moffatt consultó al asistente virtual de Air Canada sobre las tarifas por duelo tras la muerte de su abuela en noviembre de 2023. El chatbot le dijo que podía comprar un billete de precio normal de Vancouver a Toronto y solicitar un descuento por duelo en los 90 días siguientes a la compra. Siguiendo este consejo, Moffatt compró un billete de ida a Toronto por 794,98 dólares canadienses y un vuelo de vuelta a Vancouver por 845,38 dólares canadienses.
Pero cuando Moffatt presentó su solicitud de reembolso, la compañía aérea se la denegó, alegando que las tarifas de duelo no pueden reclamarse una vez comprados los billetes.
Moffatt llevó a Air Canada ante un tribunal canadiense, alegando que la aerolínea había sido negligente y había falseado información a través de su asistente virtual. Según Christopher Rivers, miembro del tribunal, Air Canada alegó que no podía ser considerada responsable de la información facilitada por su chatbot.
Rivers negó ese argumento, afirmando que la aerolínea no tuvo “cuidado razonable para asegurarse de que su chatbot era preciso”, por lo que condenó a la aerolínea a pagar a Moffatt 812,02 dólares canadienses, incluidos 650,88 dólares canadienses en concepto de daños y perjuicios.
Sports Illustrated podría haber publicado a escritores generados por IA
En noviembre de 2023, la revista online Futurism afirmó que Sports Illustrated estaba publicando artículos de escritores generados por IA.
Futurism citó fuentes anónimas implicadas en la creación de contenidos y afirmó que la famosa revista deportiva publicaba “muchos” artículos de autores generados por IA.
La revista en línea descubrió que los retratos de los autores en cuestión aparecían en un sitio que vende retratos generados por IA. Futurism se puso entonces en contacto con The Arena Group, editor de Sports Illustrated, y en un comunicado, Arena Group dijo que los artículos en cuestión eran contenido con licencia de un tercero, AdVon Commerce.
“Supervisamos continuamente a nuestros socios y estábamos en medio de una revisión cuando surgieron estas acusaciones”, dijo Arena Group en la declaración proporcionada a Futurism. “AdVon nos ha asegurado que todos los artículos en cuestión fueron escritos y editados por humanos”.
La declaración también dijo que los escritores de AdVon usaron seudónimos en ciertos artículos, señalando que Arena Group no aprueba esas acciones. Posteriormente, Arena Group retiró los artículos en cuestión del sitio web de Sports Illustrated.
En respuesta al artículo de Futurism, el sindicato de Sports Illustrated publicó un comunicado en el que se mostraba horrorizado por las acusaciones y exigía respuestas y transparencia a la dirección de Arena Group.
“De ser ciertas, estas prácticas violan todo aquello en lo que creemos sobre el periodismo”, dijo el Sindicato SI en su declaración. “Deploramos que se nos asocie con algo tan irrespetuoso para nuestros lectores”.
La IA de reclutamiento de iTutor Group rechaza aspirantes por su edad
En agosto de 2023, la empresa de tutoría iTutor Group acordó pagar 365.000 dólares para resolver una demanda presentada por la Comisión para la Igualdad de Oportunidades en el Empleo (EEOC) de Estados Unidos. La agencia federal afirmó que la empresa, que ofrece servicios de tutoría a distancia a estudiantes de China, utilizaba un software de selección de personal basado en inteligencia artificial que rechazaba automáticamente a candidatas de 55 años o más y a candidatos de 60 años o más.
Según la EEOC, el programa rechazó automáticamente a más de 200 candidatos cualificados.
“La discriminación por edad es injusta e ilegal”, afirmó en un comunicado la presidenta de la EEOC, Charlotte Burrows. “Incluso cuando la tecnología automatiza la discriminación, el empleador sigue siendo responsable”.
iTutor Group negó haber cometido infracción alguna, pero decidió llegar a un acuerdo en la demanda. Como parte del acuerdo y del decreto de consentimiento, aceptó adoptar nuevas políticas contra la discriminación.
ChatGPT alucina con los casos judiciales
Los avances logrados en 2023 por los grandes modelos lingüísticos (LLM) han avivado el interés generalizado por el potencial transformador de la IA generativa en casi todos los sectores y rincones de la empresa. ChatGPT de OpenAI ha estado en el centro de esta oleada de interés, pero la tecnología todavía tiene un largo camino por recorrer antes de que pueda hacerse cargo de forma fiable de la mayoría de los procesos, como el abogado Steven Schwartz aprendió cuando se encontró en problemas con el juez de distrito de EE.UU. Kevin Castel en 2023 después de usar ChatGPT para investigar precedentes en una demanda contra la aerolínea colombiana Avianca.
Schwartz, un abogado de Levidow, Levidow & Oberman en Nueva York, utilizó el chatbot de IA generativa de OpenAI para encontrar casos anteriores para apoyar un caso presentado por el empleado de Avianca Roberto Mata por lesiones que sufrió en 2019. Pero al menos seis de los casos presentados en el escrito no existían. En un documento presentado en mayo del año pasado, el juez Castel señaló que los casos presentados por Schwartz incluían nombres y números de expediente falsos, junto con citas internas falsas. El socio de Schwartz, Peter LoDuca, era el abogado de Mata y firmó el escrito, con lo que también se puso en peligro.
En una declaración jurada, Schwartz dijo al tribunal que era la primera vez que utilizaba ChatGPT como fuente de investigación jurídica y que “desconocía la posibilidad de que su contenido pudiera ser falso”. Admitió que no había confirmado las fuentes proporcionadas por el chatbot de IA, y lamentó haber utilizado la IA generativa para complementar su investigación jurídica, añadiendo que nunca lo hará en el futuro sin verificar la autenticidad.
En junio de 2023, el juez Castel impuso una multa de 5.000 dólares a Schwartz y LoDuca, y en otra sentencia de junio, el juez Castel desestimó la demanda de Mata contra Avianca.
Los algoritmos de IA identifican todo menos el COVID-19
Desde que comenzó la pandemia de COVID-19 en 2020, numerosas organizaciones han tratado de aplicar algoritmos de inteligencia artificial para ayudar a los hospitales a diagnosticar o clasificar a los pacientes con mayor rapidez. Pero según el Instituto Turing del Reino Unido, un centro nacional para la ciencia de datos y la IA, las herramientas predictivas hicieron poca o ninguna diferencia.
MIT Technology Review ha descrito una serie de fallos, la mayoría de ellos derivados de errores en la forma en que se entrenaron o probaron las herramientas. El uso de datos mal etiquetados, o procedentes de fuentes desconocidas, fue un culpable habitual.
Derek Driggs, investigador de ML en la Universidad de Cambridge, junto con sus colegas, publicó un artículo en Nature Machine Intelligence que exploraba el uso de modelos de aprendizaje profundo para diagnosticar el virus. El trabajo determinó que la técnica no era apta para uso clínico. Por ejemplo, el grupo de Driggs descubrió que su propio modelo era defectuoso porque fue entrenado en un conjunto de datos que incluía escaneos de pacientes que estaban acostados mientras eran escaneados, y pacientes que estaban de pie. Los pacientes que estaban tumbados tenían muchas más probabilidades de estar gravemente enfermos, por lo que el algoritmo aprendió a identificar el riesgo de COVID en función de la posición de la persona en el escáner.
Un ejemplo similar incluye un algoritmo entrenado con un conjunto de datos con exploraciones de tórax de niños sanos. El algoritmo aprendió a identificar a los niños, no a los pacientes de alto riesgo.
Zillow pierde millones y reduce plantilla por el desastre algorítmico de la compra de viviendas
En noviembre de 2021, el marketplace inmobiliario Zillow comunicó a sus accionistas que reduciría sus operaciones de Zillow Offers y recortaría el 25% de la plantilla de la empresa -unos 2.000 empleados- en los próximos trimestres. Los problemas de la unidad de compraventa de viviendas se debían a la tasa de error del algoritmo ML que utilizaba para predecir los precios de las viviendas.
Zillow Offers era un programa a través del cual la empresa hacía ofertas en efectivo por propiedades basándose en una “estimación Z” del valor de las viviendas derivada de un algoritmo de ML. La idea era renovar las propiedades y venderlas rápidamente. Pero un portavoz de Zillow dijo a la CNN que el algoritmo tenía una tasa de error media del 1,9%, y que podía llegar al 6,9% en el caso de las viviendas fuera de mercado.
CNN informó que Zillow compró 27.000 casas a través de Zillow Offers desde su lanzamiento en abril de 2018, pero sólo vendió 17.000 hasta fines de septiembre de 2021. Eventos de ‘cisne negro’ como la pandemia del COVID-19 y una escasez de mano de obra de renovación de viviendas contribuyeron a los problemas de precisión del algoritmo.
Zillow dijo que el algoritmo lo llevó a comprar involuntariamente casas a precios más altos que sus estimaciones actuales de precios de venta futuros, lo que resultó en una depreciación de inventario de 304 millones de dólares en el tercer trimestre de 2021.
En una conferencia telefónica con inversionistas tras el anuncio, el cofundador y CEO de Zillow, Rich Barton, dijo que podría ser posible ajustar el algoritmo, pero que en última instancia era demasiado arriesgado.
El algoritmo de sanidad no marcó a los pacientes negros
En 2019, un estudio publicado en Science reveló que un algoritmo de predicción de atención médica, utilizado por hospitales y compañías de seguros en todo Estados Unidos para identificar a los pacientes que necesitan programas de gestión de atención de alto riesgo, tenía muchas menos probabilidades de marcar a los pacientes negros.
Los programas de gestión de cuidados de alto riesgo proporcionan personal de enfermería formado y seguimiento de atención primaria a pacientes con enfermedades crónicas, en un esfuerzo por prevenir complicaciones graves. Sin embargo, el algoritmo tenía muchas más probabilidades de recomendar estos programas a pacientes blancos que a negros.
El estudio descubrió que el algoritmo utilizaba el gasto sanitario como indicador para determinar las necesidades sanitarias de una persona. Pero, según Scientific American, los costes sanitarios de los pacientes negros más enfermos estaban a la par con los de los blancos más sanos, lo que significaba que recibían puntuaciones de riesgo más bajas incluso cuando su necesidad era mayor.
Los investigadores del estudio sugirieron que algunos factores podrían haber contribuido a ello. En primer lugar, las personas negras tienen más probabilidades de tener ingresos más bajos, lo que, incluso cuando están aseguradas, puede hacer que tengan menos probabilidades de acceder a la atención médica. Los prejuicios implícitos también pueden hacer que las personas negras reciban una atención de menor calidad.
Aunque en el estudio no se menciona el algoritmo ni su creador, los investigadores declararon a Scientific American que estaban trabajando con él para resolver la situación.
Un conjunto de datos entrenó al chatbot de Microsoft para lanzar tuits racistas
En marzo de 2016, Microsoft aprendió que el uso de interacciones de Twitter como datos de entrenamiento para algoritmos de ML puede tener resultados consternadores.
Microsoft lanzó Tay, un chatbot de IA, en la red social, y la compañía lo describió como un experimento de “comprensión conversacional”. La idea era que el chatbot asumiera la personalidad de una adolescente e interactuara con personas a través de Twitter utilizando una combinación de ML y procesamiento del lenguaje natural. Microsoft lo sembró con datos públicos anónimos y material preescrito por humoristas, y luego lo soltó para que aprendiera y evolucionara a partir de sus interacciones en la red social.
En 16 horas, el chatbot publicó más de 95.000 tuits, que rápidamente se volvieron abiertamente racistas, misóginos y antisemitas. Microsoft suspendió rápidamente el servicio para realizar ajustes y, finalmente, lo desconectó.
“Lamentamos profundamente los tuits ofensivos e hirientes no intencionados de Tay, que no representan lo que somos o lo que defendemos, ni cómo diseñamos Tay”, escribió Peter Lee, vicepresidente corporativo de Microsoft Research & Incubations (entonces vicepresidente corporativo de Microsoft Healthcare), en un post en el blog oficial de Microsoft tras el incidente.
Lee señaló que el predecesor de Tay, Xiaoice, lanzado por Microsoft en China en 2014, había mantenido con éxito conversaciones con más de 40 millones de personas en los dos años anteriores al lanzamiento de Tay. Lo que Microsoft no tuvo en cuenta fue que un grupo de usuarios de Twitter comenzaría inmediatamente a tuitear comentarios racistas y misóginos a Tay. El bot aprendió rápidamente de ese material y lo incorporó a sus propios tuits.
La herramienta de reclutamiento habilitada por IA de Amazon sólo recomendaba hombres
Al igual que muchas grandes empresas, Amazon está ávida de herramientas que puedan ayudar a su función de recursos humanos a filtrar las solicitudes de los mejores candidatos. En 2014, Amazon comenzó a trabajar en un software de reclutamiento impulsado por IA para hacer precisamente eso. Sólo había un problema: el sistema prefería ampliamente a los candidatos masculinos. En 2018, Reuters dio la noticia de que Amazon había desechado el proyecto.
El sistema de Amazon otorgaba a los candidatos calificaciones con estrellas del 1 al 5, pero los modelos de ML en el corazón del sistema fueron entrenados en 10 años de currículos enviados a Amazon, la mayoría de ellos de hombres. Como resultado de esos datos de entrenamiento, el sistema empezó a penalizar las frases de los currículos que incluían la palabra ‘mujeres’ e incluso rebajó la calificación de las candidatas de universidades exclusivamente femeninas.
En ese momento, Amazon dijo que la herramienta nunca fue utilizada por los reclutadores de Amazon para evaluar a los candidatos. La empresa intentó editar la herramienta para que fuera neutral, pero finalmente decidió que no podía garantizar que no aprendiera alguna otra forma discriminatoria de clasificar a los candidatos y puso fin al proyecto.
Read More from This Article: Los 12 desastres más famosos de la IA
Source: News