El profesor canadiense Yoshua Bengio, considerado uno de los padres de la inteligencia artificial, presentó el martes su nueva organización dedicada a la IA responsable, cuyo objetivo es, sobre todo, diseñar software capaz de evitar los abusos de los agentes de IA.
Desde hace varios años, este ganador del Premio Turing (2018), también conocido como el Nobel de la informática, viene advirtiendo de los riesgos asociados al desarrollo de la IA, ya sea en términos de uso malicioso o de que el propio software salga mal.
«Los sistemas más avanzados ya están mostrando signos de autopreservación y comportamiento engañoso», explica el investigador en un comunicado publicado este martes.
«Y esto sólo va a acelerarse a medida que aumenten sus capacidades y autonomía», anuncia.
Su nueva organización sin ánimo de lucro, llamada LawZero, pretende ser «una respuesta a estos retos».
Varios ejemplos recientes han confirmado que la IA ha alcanzado recientemente nuevos niveles de sofisticación, entre ellos un estudio de la start-up Anthropic.
En una simulación, la nueva interfaz de IA generativa de Anthropic, Claude 4, fue advertida de su inminente sustitución por un ingeniero de software.
Acorralada, intentó por iniciativa propia chantajear al ingeniero para disuadirle de deshacerse de ella.
Una de las misiones de LawZero es «proponer una forma de supervisar a los agentes de IA», la nueva generación de modelos generativos de IA capaces de realizar un sinfín de tareas de forma autónoma, desde buscar en Internet hasta llamar a un cliente o escribir un programa en código.
«Uno de los primeros objetivos es desarrollar una forma de IA que pueda utilizarse como salvaguarda para garantizar que la IA se comporta bien», describe Bengio en un vídeo de la web de LawZero.
«La IA puede ser extremadamente beneficiosa si nos aseguramos de que no va a hacer daño a la gente», «ya sea porque esté en las manos equivocadas o de forma autónoma», agrega.
LawZero también quiere trabajar en una IA con autonomía limitada para su uso en investigación científica.
La organización cuenta ya con más de 15 investigadores y ha recibido varias aportaciones económicas, una de ellas de Schmidt Sciences, organización benéfica creada por el ex jefe de Google Eric Schmidt y su esposa Wendy.
LawZero se puso en marcha bajo los auspicios del Instituto de Montreal para el Aprendizaje de Algoritmos (Mila), fundado en 1993 por Bengio.
