El “chatbot” Med-PaLM, una aplicación de inteligencia artificial de Google especializada en medicina, aprobó el examen que permite ejercer como médico en Estados Unidos, aunque sus resultados todavía son inferiores a los de los humanos, según un estudio publicado este miércoles 12 de julio en Nature.
“Si bien Med-PaLM alcanzó un rendimiento de vanguardia en varios puntos de referencia de respuesta a preguntas médicas de opción múltiple, y nuestra evaluación humana muestra que las respuestas se comparan favorablemente con las respuestas de los médicos en varios ejes clínicamente importantes, sabemos que se necesita hacer más trabajo para garantizar que estos modelos se implementen de manera segura y efectiva”, señaló Google en un documento.
EL CHATBOT DE GOOGLE AÚN ES VULNERABLE
Al hablar de las limitaciones, Google mencionó que se tendrá que tener en cuenta el despliegue ético de esta tecnología, incluida una evaluación rigurosa de la calidad en diferentes entornos clínicos con barreras para mitigar los riesgos.
Por ejemplo, los posibles daños de usar un chatbot para diagnosticar o tratar una enfermedad son mucho mayores que el uso de un chatbot para obtener información sobre una enfermedad o medicamento.
“Se necesitarán investigaciones adicionales para evaluar los chatbot utilizados en la atención médica para la homogeneización y amplificación de sesgos y vulnerabilidades de seguridad heredadas de los modelos base”.
Google afirma que Med-PaLM es el primer gran modelo de lenguaje –una técnica de inteligencia artificial entrenada con grandes cantidades de texto producido por humanos– en aprobar el US Medical Licensing Examination (USMLE). Este examen permite ejercer la medicina en Estados Unidos y hay que obtener una puntuación de aproximadamente el 60 por ciento.
LA CALIFICACIÓN DEL CHATBOT
En el nuevo estudio revisado por pares, los investigadores de Google dijeron que Med-PaLM logró el 67.6 por ciento de resultados correctos en las preguntas de opción múltiple de USMLE.
El texto de la revista Nature indica que la medicina es un esfuerzo humano en el que el lenguaje permite interacciones clave entre médicos, investigadores y pacientes. Sin embargo, los modelos de inteligencia artificial (IA) de hoy en día para aplicaciones en medicina y atención médica no han logrado en gran medida utilizar plenamente el lenguaje.
“Estos modelos, aunque útiles, son predominantemente sistemas de una sola tarea (por ejemplo, para clasificación, regresión o segmentación) que carecen de expresividad y capacidades interactivas. Como resultado, hay una discordancia entre lo que los modelos actuales pueden hacer y lo que se puede esperar de ellos en los flujos de trabajo clínicos del mundo real”, señala el estudio. N
