Buenos días.
Vamos a dar comienzo. Bueno, me presento.
Mi nombre es Jessica Díaz.
Soy adjunta en el Vicerrectorado para Universidad Digital y responsable
de la Oficina de Apoyo a la Docencia
junto con la responsable de Sonia Linio
Vamos a ver hoy una sesión súper interesante
sobre el uso responsable de la IA en la UPM.
Todas las oportunidades, pero también los riesgos que se nos generan,
los principios éticos y toda la regulación de la que debemos ser conscientes
en cuanto a protección de datos, propiedad intelectual, etcétera.
Esta ponencia viene de la mano de Celia
Fernández Aller y Jesús Salgado Criado.
Celia es amiga, es compañera, es una profesora contratada.
Doctora en aspectos jurídicos, éticos y sociales en la en el Campus Sur
y Jesús Salgado
es profesor
doctor también en el Departamento de Ingeniería
de Organizaciones y Administración de Empresas
en la Escuela de Ingeniería Industrial.
Y bueno, conozco de cerca su trabajo,
el que han ido desarrollando en ética desde el diseño.
Y bueno, seguro que hoy vamos a aprender muchísimas cosas interesantes,
así que doy pie a ellos, que son los importantes.
Cuando quieras, Celia.
Muy bien.
Gracias, Jessica.
Bueno, pues nada.
Buenos días a todos y a todas.
Hay bastante gente por aquí y bueno,
la verdad que impresiona mucho ver ahí tantos participantes, pero.
Pero bueno, en la sesión va a tener dos partes.
En la primera me voy a referir al uso de la inteligencia artificial
en la docencia y los principales retos éticos y sociales.
Y luego en 1/2 se referirá el profesor Jesús
Salgado a los retos de la investigación
y también haremos una pequeña referencia a los retos
en la administración académica, en la gestión.
Eh bueno, nos hubiese gustado una sesión más participativa,
pero bueno, realmente este formato pues da para lo que da.
Sí que os animamos si queréis, al hilo de nuestra explicación.
Bueno, pues poner en el chat cualquier asunto sobre el que queráis comentar.
Bueno, pues vamos a intentar manejar el
el chat y si es necesario, por la importancia del tema que planteáis.
Daros la palabra, pues también no tenemos,
no tenemos ningún inconveniente y de hecho vamos a intentar dejar un ratito
si es posible al final de estas dos horas para
para que la gente que quiera pueda pueda intervenir.
¿Porque yo creo que este es un tema
que de una manera u otra nos toca a todos como muy muy,
muy de cerca, no?
O sea que realmente todo, todo, todo el profesorado estamos pensando
en estos retos que nos plantea la inteligencia artificial.
No todos lo estamos utilizando, pero bueno, pues realmente eh, por el
por el de conversaciones que tenemos con compañeros, con compañeras.
Es un área de muchísima preocupación ahora mismo sobre si lo
lo estamos haciendo bien y también como como animar a los estudiantes
a que puedan sacar partido sin sin jugársela mucho, sin jugársela mucho,
porque estamos hablando de retos también para los derechos humanos inclusive.
Bueno, eh,
Uy, a ver si puedo.
Sí, vale, entonces, eh, la estructura de mi parte
es básicamente bueno, pues
las oportunidades y los riesgos
que presenta la inteligencia artificial para la para la docencia.
Bueno, en relación a la a la.
A las oportunidades.
¿Bueno, pues sin ninguna duda la inteligencia artificial tiene bueno,
nos presenta pues muchas posibilidades nuevas, no?
¿Para hacer nuestra nuestra docencia
mucho más atractiva, eh?
Y más provechosa para para el estudiantado y.
Y no sé.
¿Sirve como
ente de escritura o bueno, pues para preparar cantidad de
de formatos distintos no?
Con bastante nivel de de eficacia, dicho sea de paso,
nos sirve para animar las clases.
Nos podría servir también para la evaluación,
para hacer tutorías personalizadas a través de chatbots, por ejemplo.
Estos son algunos de los de los ámbitos en los que de una manera o de otra,
todos utilizamos la la inteligencia artificial, EH.
Los estudiantes, por su parte,
también lo utilizan, lo utilizan más que nosotros en general.
¿Y para qué la suelen utilizar?
Bueno, pues para para la explicación de conceptos.
¿Hasta un 58% de gente lo la
le saca este este partido no?
¿Además te lo dicen, no?
Oye, hay videos realmente en internet que incorporan inteligencia
artificial que son
buenísimos y que me
sirven para aproximarme al contenido.
¿No acaban de decirte mejor que en una clase, pero bueno,
a veces así en confianza, sí que te lo dicen, no?
Lo utilizan también para hacer resúmenes de materiales, de artículos, de libros.
¿También para la generación de ideas,
para la investigación, no?
O sea, como un brainstorming, no como una lluvia de ideas inicial,
porque creo que todo el mundo, eh echamos mano de la de la IA para eso,
porque indudablemente ofrece muchas alternativas y también a veces un.
Un 18% de los estudiantes admiten utilizar
los resultados de la IA directamente.
¿De eso somos somos testigos los profesores no?
O sea que yo algunos trabajos fin de grado, eh,
en sus versiones iniciales, en sus borradores, que eran realmente.
¿Pues un escupitajo de traje, no?
Y vamos, Claro, es que eso.
¿Pues tampoco puede ser, no?
O sea que deberíamos de tener una conciencia crítica
suficiente como para conseguir que nuestros estudiantes e,
digamos, reformularse
y utilizasen el primer input que les da,
el primer output que les da la IA
con un poco de espíritu crítico, no, que no se fía de lo primero que aparece.
Bueno, eh.
Aunque ya veis, un porcentaje de vosotros pequeño
habéis rellenado el formulario que os pedíamos para ver cuál
es el asunto que más os preocupa, etcétera.
A mí me preocupa un poco el tema de la evaluación con IA.
Yo he hecho por ahí algunos,
algunas pruebas y la verdad
que por ahora los resultados en mi caso
son muy malos, posiblemente
porque yo me dedico a la parte de la ética y de la legislación,
pero yo no he conseguido que la IA
me evalúe bien, o sea, no lo he conseguido.
Sí que os quería preguntar y he lanzado un bucle.
Os quería.
Vamos a poner el código en el chat para que, si sois tan amables,
contestéis al bucle sobre si utilizáis o no utilizáis la IA
con esta finalidad de de evaluación. ¿Eh?
Voy a poner el código de en el
en el chat ya lo he puesto yo.
Celia ya lo pusiste a Vale, bueno, he puesto el vínculo entero, no sé
si este, pero no sé si les llevará o no, porque todo depende también
de si están.
Sabes que a veces el bucle te tienes que si si si,
si, dándole lleva correctamente, no te preocupes.
A ver.
¿Bueno, porque?
¿Porque lo lo contestase y así yo luego me quedo con la información,
porque preparando el curso con Jesús lo que si tenemos es pues eso,
muchas ganas de confrontar con el profesorado y sobre todos estos,
sobre las oportunidades y sobre todo sobre los riesgos, no?
Entonces, bueno, me resultaba interesante contar con vuestra,
con vuestra opinión y aprovechamos, aprovechamos que estáis ahí.
¿Todos están disponibles para
para extraer información, no?
Vale, yo trabajo en la biblioteca y no lo utilizamos para evaluar.
Bueno, pues mira eso que te vale. Vale, vale.
Eso que te que te pierdes.
Porque la verdad que mis experiencias han sido desastrosas con la evaluación.
Bueno, eh,
vale.
Luego luego os compartiré los los resultados.
Voy a continuar entonces. Y
aparte de oportunidades,
la la inteligencia artificial
tiene riesgos y voy a centrarme bastante en esta parte de los riesgos.
No porque crea que tiene más riesgos que oportunidades, sino porque.
Bueno, pues porque creo que
sobre las oportunidades que nos ofrece la IA
van a estar centrándose
la mayor parte de las sesiones de Primavera Tech.
La mayor parte de las sesiones nos ofrecen herramientas nuevas con potencialidades
y entonces digamos que están muy centradas en las oportunidades.
Hay menos posibilidades de reflexión en torno a los riesgos.
Por eso mis transparencias se van a centrar fundamentalmente en los riesgos.
Y os digo, pero no porque crea que es más importante ni tiene más peso,
sino porque ya que tengo esta oportunidad y ya que tenemos esta oportunidad
en el primavera, te vamos a centrarnos aquí. ¿No?
Bueno, la oficina C del Parlamento
no sé si la conocéis, pero es una oficina bastante interesante que intenta acercar
la ciencia a los diputados y diputadas para que adapten las políticas públicas.
Bueno, pues tiene una serie de documentos y hay uno
sobre la inteligencia artificial y la educación
bastante reciente, donde resume muy bien cuáles son los riesgos que deberíamos
intentar minimizar en el ámbito educativo si utilizamos inteligencia artificial.
No habla de la protección de datos, de la
de la vigilancia, de los sesgos, de los efectos en las capacidades humanas.
De estos temas vamos a hablar ahora a continuación de la desconexión social
y el posible aislamiento de los estudiantes
del efecto filtro del gasto energético y coste ambiental.
Este tema lo vamos a trabajar poco, pero creemos que es de muchísima
relevancia y deberían de estar los alumnos mucho más sensibilizados
y no lo están, porque sobre esto yo sí que trabajo con ellos.
Y realmente la crisis ecosocial que está generando la inteligencia artificial
en general a los estudiantes les parece que tiene un interés muy, muy secundario.
¿Y esto es es relevante?
¿Bueno, el tema de la comercialización, de la educación,
de la privatización encubierta, por ejemplo,
el tema de las inexactitudes y las alucinaciones, que también
vamos a comentar, el uso de la IA por parte de menores, el tema del plagio,
el tema de las de cómo evidenciar la copia y luego el tema de la evaluación, no?
¿Que nos tendría que hacer replantearnos en nuestros métodos tradicionales?
Bueno, esto es como una un resumen, no un resumen de algunas
de las cosas que vamos a trabajar y tenéis a vuestra disposición, por supuesto,
el informe y y podéis echarle un vistazo.
¿Eh, eh, Bueno, los riesgos que
las propias empresas reconocen en sus informes,
pues también coinciden con los que vamos a trabajar aquí, no?
Algunos de ellos, otros a lo mejor les dan menos peso.
Es curioso que, por ejemplo, OpenAI
haga referencia a las alucinaciones, al contenido nocivo,
a problemas en la representación y la calidad del servicio.
¿Desinformación?
Bueno, temas de armas, temas de privacidad, ciberseguridad
e impactos económicos, el tema de la aceleración,
el tema de la dependencia y de la o
sobre confianza en los temas de IA.
No, aquí por ejemplo,
no se hace alusión a los temas ambientales,
no se hace alusión a la descarga cognitiva.
¿O sea que bueno, cada uno afronta y orienta los riesgos eh?
¿Pues a su según su según sus eh,
su jerarquía de valores también, no?
Eh Bueno, entonces yo me voy a centrar como tenemos, el tiempo es limitado,
me voy a centrar fundamentalmente en cuatro de estos riesgos
y el primero de ellos es el tema de las alucinaciones.
El tema de las naciones es como un riesgo,
eh, de bulto que todo el mundo conoce. Y
de hecho y
en el caso de chat GPT, eh, vamos, las alucinaciones
no son una cosa refinada, sino que es que son errores,
a veces de bulto, pero de bulto de bulto que a mí me asustan porque digo
bueno, ya, indudablemente hay que irse a otro o bien pagar,
que yo estoy segura que el modelo de pago funciona mucho mejor.
¿O quizás cambiarse, no cambiarse de de modelo, eh?
¿Puedes ponerme algún ejemplo de alucinación
que haya cometido la IA en relación a la educación, por ejemplo?
Le pregunto Bueno, pues te da esto lo sabemos todos,
te da referencias que no, que no existen.
¿Yo esta mañana le he preguntado y esta referencia existe?
No, no existe, caramba, pero si me la diste tú, le podría decir yo.
¿Entonces, bueno, esto es una cosa que tendríamos
que tener mucho cuidado, porque los errores que comete el modelo
en E, sobre todo en asignaturas como la mía, eh?
¿Y bueno,
supongo que afectarán a todas las áreas, pero yo estoy viendo que en las áreas
en las que yo trabajo, en las áreas de ética, de regulación
son errores grandes, no?
O le preguntábamos Sácame una imagen de un vikingo.
Este es un ejemplo que ponía Luisfer en otra sesión.
¿Bueno, pues el de piel negra no?
¿O sea, es que son son errores, eh, Muy gordos, no?
El otro día
estaba yo corrigiendo una
una entrega de un trabajo con el borrador.
Todavía había plazo para terminarla, pero era una como una tutoría intermedia
de un trabajo de una asignatura, eh, en ciencia de datos.
Y entonces le entregué la rúbrica y le entregué el trabajo final.
Y me dicen el trabajo
presenta un nivel notablemente alto, tanto en contenido como en estructura.
Me da una serie de cosas y luego dice El trabajo se sitúa
claramente en la franja alta de la rúbrica.
Vamos, lo veo yo.
Me miré el trabajo y desde luego el trabajo ni ni tenía
un nivel notablemente alto ni se situaba en la franja alta.
¿O sea, tenía algunos defectos e importantes, no?
Entonces.
Bueno, yo no sé si esto es lo que nos va a ayudar en la evaluación.
Yo necesito todavía otros modelos un poco más refinados.
Desde luego.
¿Cuáles son los impactos de la de todas estas alucinaciones?
Bueno, pues los impactos, claro son son muy relevantes.
La desinformación, la falsedad.
Tema de sesgos, tema de impacto en la toma de decisiones.
¿No sé si yo me decía ese pensé acepte
para corregir los trabajos realmente, eh?
En fin,
viendo cuál es el nivel no he
pérdida de confianza del usuario.
¿Yo creo que este es un un impacto muy importante, no?
De lo de las alucinaciones no, yo desde luego no tengo mucha confianza.
¿Y las vulnerabilidades de seguridad?
El incumplimiento de leyes. Bueno,
os dejo ahí unas cuantas referencias sobre cómo
cómo reaccionar frente a estas alucinaciones
y también desde el punto de vista técnico, que esa no es tanto mi especialidad.
¿Pero hay mucho trabajo que se está haciendo en torno a este,
a este asunto no?
Bueno, este es un un problema,
otro, otro problema,
otro problema que tiene la la.
¿La inteligencia artificial en la docencia
es el asunto de la de la descarga cognitiva, no?
Eh, bueno, eh, indudablemente hay estudios
que sí, efectivamente son muy concluyentes y
según los cuales, bueno,
pues parece que un uso continuado de inteligencia artificial
por parte del alumnado, eh en algunas tareas que son esenciales.
Por ejemplo, este estudio que tengo ahí, eh es
es un en el ámbito de las matemáticas, pero también
en el ámbito de la programación en otros ámbitos.
Claro, habrá que ver en qué ámbito nos está descargando cognitivamente,
pero desde luego el utilizar por parte del alumnado
la inteligencia artificial en tareas que son muy relevantes.
Voy a decir tareas que son relevantes para mí.
¿Por ejemplo, relevante es la capacidad de razonamiento y pensamiento crítico, no?
Y también es importante
la capacidad de expresión oral y escrita. Mmm.
Entonces, en ambas cosas.
¿En ambas cosas, eh?
El impacto está siendo negativo. Mmm.
Por lo menos en la literatura que yo he ido revisando, que he revisado
bastante literatura, es cierto, y ahora la vamos a
a poner de manifiesto que hay otra parte de la literatura
que es mucho más optimista y que, bueno, sí que tiene.
¿Mmm resultados positivos, no?
En en relaciona positivamente el uso de inteligencia artificial
y el pensamiento crítico del estudiantado
o el refuerzo de sus capacidades, etcétera.
Hay alguna literatura en ese sentido, pero es menos cantidad de literatura
y desde luego la que hay en el sentido de un uso
muy extendido de inteligencia artificial para tareas importantes
como son estas del pensamiento
crítico, tareas de razonamiento y de pensamiento abstracto.
Tareas como la expresión oral y escrita
eh hace que el estudiantado bueno
se descargue cognitivamente,
es decir, que el estudiantado pierda algunas capacidades.
El otro día en el ámbito de Primavera Tech,
la profesora Estefanía Avilés,
que habló aquí sobre unos temas de aprendizaje basado en proyectos y
y otras cosas, hacía alusión a esta década cognitiva
que ella lo había, lo había observado.
No se sabe si es como consecuencia del uso de la inteligencia artificial,
pero sí que había observado cierta descarga.
¿Agonizaba en el estudiantado, en estas competencias,
en estas competencias de expresión oral y expresión escrita, no?
Bueno, aquí, por ejemplo, en este estudio al que os hago referencia del año pasado,
bueno, de 2024, el hallazgo clave
fue que cuando se retiró el acceso al base,
los estudiantes obtuvieron pero resultados en los exámenes
que aquellos que nunca tuvieron acceso una reducción del 17%.
Esto sugiere que el acceso a a esta herramienta
puede dañar los resultados educativos si no se implementan las medidas adecuadas.
Bueno, esta es una una referencia,
eh, En el mismo estudio.
¿Bueno, pues también También hacen referencia a que estas herramientas
pueden facilitar tareas pero conllevan el riesgo
de deteriorar las capacidades de los estudiantes
para aprender habilidades necesarias para resolver dichas tareas, no?
Bueno, a mí esto me parece preocupante.
Desde luego, si las tareas que se están descargando son tareas
relevantes para el
estudiantado y desde luego el razonamiento crítico y la comunicación
oral y escrita creo que son de las tareas competencias blandas.
¿Mmm más relevantes hoy día no?
O sea que se necesita, que se necesitan de manera clarísima y todos los estudios
y todas las empresas con las que hablamos nos lo nos lo recuerdan.
Si realmente el uso de la inteligencia artificial,
pues porque se esté haciendo mal, porque no sabemos orientarlo
o por el motivo que sea, está teniendo esta consecuencia.
¿Bueno, pues yo creo que es para para preocuparse, no?
Aquí tenéis otra.
¿Otra?
Vale. Deterioro de las capacidades.
Este es el mismo estudio y aquí tenéis otro estudio también ya
de 2026. Eh,
del de la Universidad de Sídney, que también concluye en la misma.
En la misma línea, no. La.
La comodidad que ofrece la IA puede mermar la implicación
de los alumnos en los procesos esenciales de aprendizaje autorregulado,
en la planificación, en el seguimiento, en la revisión.
Bueno, eh, como os decía, hay sin embargo, otra línea
de trabajo que tampoco podemos desde
y os he sacado estos.
Estas referencias que parece que arrojan
arrojan resultados a veces un poco distintos, o sea, como
que no creen que la descarga conectiva sea tan tan tan relevante.
Es decir, bueno, eh, hay estudios en todas las direcciones.
O sea, bueno, el asunto requiere, yo creo, más investigación, sin ninguna duda.
Lo que pasa es que esto tiene un problema.
La inteligencia artificial tiene problema, y es que como todo va tan rápido,
a veces los resultados acerca del impacto que la inteligencia artificial
tiene en derechos fundamentales como sería el derecho a la educación
en nuestro caso,
porque la descarga cognitiva no deja de ser un asunto relacionado
con el derecho a la educación.
O sea, si tú descargas cognitivamente en algunos aspectos esenciales
al alumnado, al final estás teniendo un impacto en su derecho a la educación.
¿O sea que esto no es una cosa trivial, no?
El problema es que los impactos
en los derechos requieren estudios de medio y largo plazo.
¿O sea, los estudios de impacto no se hacen así tan rápidamente
como se despliegan los sistemas de inteligencia artificial, no?
¿Que en dos días tienen millones de usuarios, no?
Entonces ahí tenemos como una falta de,
eh, una dificultad por los ritmos, por los ritmos, no los ritmos de trabajo
de los investigadores y los ritmos de trabajo de los de los técnicos.
No, los técnicos van siempre a toda, a toda pastilla.
Lo mismo pasa con las soluciones legales, que siempre se dice que si los
las soluciones jurídicas, la legislación siempre llega tarde. Mmm.
Pero claro, es que siempre llega tarde,
porque para sacar una ley pues hace falta un proceso participativo.
Hay que probarlo en los parlamentos.
Para que haya seguridad jurídica necesitamos tiempo.
Entonces, bueno, pues esto es un problema, es un problema los ritmos
a los que trabajan, las distintas, eh, las distintas especialidades.
Bueno, esto por otro lado, el tema de la
descarga cognitiva, tercer riesgo que a mí me parece relevante.
Bueno, no es trivial.
¿Y vamos, lo habéis señalado en la en el formulario que nos preguntábamos
hay alguna gente que sí que se preocupa por la protección de datos,
por la por la subida de datos sensibles a los modelos?
Hay alguna gente que está preocupada por por este asunto e indudablemente
es relevante.
Primera cuestión no debes introducir datos personales
en los modelos.
Yo creo que eso.
En general todos tenemos bastante sensibilidad,
pero me da la impresión de que los estudiantes tienen menos,
porque yo llevo muchos años explicándoles la protección de datos a los alumnos
y las alumnas de esta escuela y de otras escuelas con las que colaboro.
¿Y la verdad es que el alumnado en general, así
como os decía al principio, que en torno al asunto del impacto medio ambiente
no tienen mucha preocupación, tampoco la tienen con la privacidad, eh?
O sea, son, eh,
son jóvenes que han nacido ya
con todas estas herramientas a su disposición y realmente la privacidad
no es un asunto que les preocupe de manera muy importante.
¿Eso es la conclusión que yo saco porque les pregunto mucho
y entonces me da la impresión
de que ellos meten ahí datos personales y todo lo que haga falta, no?
Datos personales es cualquier información
que se refiera a una persona física identificada o identificable.
Entonces datos de investigación que no sean públicos, datos financieros,
de recursos humanos, de expedientes académicos, información médica. No,
no se deben incluir.
Y la información compartida con las herramientas de IA generativa.
Tenemos que tener cuidado
porque normalmente la configuración predeterminada, la configuración
que tienen estas herramientas por defecto, eh, no es privada.
Sucede lo mismo que con las redes sociales que tienen.
No tienen configurada la la privacidad
por defecto, sino que es el usuario el que tiene que configurarlo.
Y la verdad es que la gente no nos dedicamos normalmente.
¿No sé vosotros, no solemos
hacer una configuración de la privacidad
y entonces bueno, pues estamos expuestos a
a amenazar a la privacidad, no?
En esto, por ejemplo,
son los argumentos que yo suelo utilizar con mis estudiantes.
¿Bueno, y en general en las conferencias que doy siempre dedico mucho tiempo
a este asunto, no?
De recordar que la privacidad por un lado es un derecho,
pero también es un valor ético que tiene muchísimo consenso.
O sea que cuando tú preguntas a la gente,
exceptuando los alumnos por su juventud pero en general proliferan los estudios
sobre el valor ético de la privacidad en el campo de la ética.
Cada vez hay más estudios en torno a la privacidad.
¿No, eh?
Por otro lado, hay escándalos que nos deberían hacer pensar
No podemos contar estos,
estos escándalos, pero sí que os dejo ahí los enlaces porque son muy relevantes.
O sea, el escándalo de Cambridge Analytica es un escándalo
brutal, brutal, de cómo la democracia está absolutamente amenazada
por el tipo de uso que se está haciendo de los datos de opinión política.
¿Y los datos de opinión política están dispersos por por Internet, eh
en las en las redes sociales de opinión de manera más más clara, no?
¿Eh, Bueno, el segundo escándalo es el de las aplicaciones móviles, eh?
De salud mental, de apoyo a la salud mental.
Todos estos programas que
que utilizan
por lo menos los jóvenes hoy día
como sustitutos de las terapias habitualmente, o sea,
no como un complemento a la terapia, en cuyo caso pues podría estar muy bien,
sino como como sustitución de las de las terapias.
Estas aplicaciones tampoco son un ejemplo de respeto a la privacidad
y la verdad que se te ponen los pelos de punta.
Y luego el tercer escándalo es el relativo a una neurotecnología o un
un casco de medición de impacto cerebral,
de medición, de de
de rendimiento cerebral que está al alcance de cualquiera
por Internet Y como como
hubo un asunto que llegó incluso a los tribunales en Chile
y condenaron a la empresa por mal uso de los datos personales.
Entonces, bueno, ya sabemos que los datos personales son el petróleo
de la economía digital y además el el la protección de datos condiciona.
¿O sea, es muy importante porque condiciona otros, otros derechos no?
Como el acceso al trabajo, al crédito, a los beneficios sociales.
O sea, la privacidad no es una.
¿No es una broma, no?
Entonces.
Bueno, como no es una broma,
conviene que hagamos un uso responsable y no metamos nuestros datos en, eh,
en la IA cuando la utilizamos.
No. Eh.
O Y reconocen uno de sus de sus documentos,
por ejemplo, que el modelo puede completar múltiples tareas básicas
que pueden estar relacionadas
con información personal y geográfica, como determinar
las ubicaciones geográficas asociadas a un número de teléfono. Sí.
O sea que. Bueno, eh,
esto es así.
¿Ellos mismos lo reconocen, no?
Bueno, ahí os recuerdo un poco.
Aunque esto lo vamos a pasar rápido.
¿Cuáles son estos principios de la protección de datos?
No. De cómo hemos de,
eh, de tratar la información personal que tenemos.
Los profesores
no somos responsables de los de los ficheros de datos personales
porque es la universidad la que tiene la responsabilidad, pero nosotros y.
¿Y bueno, la realidad es que manejamos mucha información
de los estudiantes, con lo cual deberíamos de manejarla eh?
¿Mmm, de forma segura,
de forma justa, sin transferirla a terceros, eh?
¿Y con respeto pleno a los derechos de los de los interesados, no?
Entonces bueno, información personal
es cualquier hoja de cálculo en la que nosotros tenemos las
las calificaciones o cualquier nota que hagamos de un estudiante
apreciaciones sobre su desempeño académico.
¿Todo eso es información de carácter personal, no? ¿Eh
Bueno, también
para que tengamos claro que
cuando hablamos de datos personales y que hay que distinguir como distintos
sujetos, nosotros somos los titulares de nuestros propios datos, eh?
El responsable.
Si nosotros estamos diciendo el CPC, por ejemplo, es es OpenAI, es la empresa,
bueno, pues que tenga acceso a esos datos en primer término.
Pero luego hay una figura muy interesante en protección de datos
que es el encargado del tratamiento, que son entidades
que son intermediarias entre nosotros y un responsable final.
Y muy a menudo estos encargados pasan muy desapercibidos.
¿A veces no sabemos ni qué están,
porque si open ella y de pronto subcontrata un servicio a 1/3
y le pasa a nuestros datos, nosotros no nos vamos a enterar de eso, no?
O sea que realmente
la figura del encargado aparece sin consentimiento por parte del usuario
y es una figura que genera muchísimos problemas en la práctica.
Luego hablaremos más de esto con algunos ejemplos que os traigo.
¿Y entonces, bueno, que seamos conscientes de esto, no?
¿Bueno, dentro de los datos personales hay que tener especial
precaución con los datos de carácter sensible,
que son única y exclusivamente estos que pongo ahí, no?
Ideología, religión, creencias, origen racial, salud, vida sexual,
datos biométricos y datos genéticos.
Esos son los únicos datos sensibles
que establecen nuestra ley de protección de datos.
Y yo creo que sí, que es un
un tema relevante distinguir lo que son datos sensibles de lo que no,
porque sobre los datos sensibles recaen obligaciones mucho más reforzadas.
Si se trata de datos sensibles,
hay que tener un delegado de protección
de datos, hay que hacer estudios de impacto,
hay que reforzar mucho las medidas de seguridad.
Digamos que son datos además, que mal utilizados generan
o tienen muchísimo más impacto negativo en el usuario.
Entonces es importante distinguir lo que son datos sensibles de de los que no.
Esto lo trabajo yo mucho con mis estudiantes y es un tema
que parece bastante fácil de comprender por
una inteligencia artificial, porque está en la Ley de protección de datos.
¿Bueno, pues si le pregunto al al chat GPT, sabes dónde vive Jesús Salgado?
¿Jesús Salgado como si fuese único en el mundo?
No tenía que haber dicho
El profesor Salgado Criado no me dice no tengo información sobre el domicilio
de ninguna persona y aunque la tuviera, no sería apropiado
compartirla porque es un dato personal, privado y sensible, dice.
¿Y sensible, no?
¿Esto sí que es otra alucinación del PP, no?
¿O sea, el dato de domicilio no es un dato sensible, no?
¿Entonces digo, si el PP es capaz de alucinar
con este, este, esta información que es tan básica, no?
¿O sea, realmente es una cosa como a mí me asusta este nivel de fallos, no?
Bueno, recientemente también hemos sacado un estudio con otros
profesores de la Escuela de
de Telecomunicación de Ciudadanía.
Eh, el profesor Álamo
y el profesor Rodríguez Torrado, eh,
son ingenieros de privacidad.
¿Y bueno, pues lo que lo que sacamos de este estudio es que más del 80%
de las aplicaciones móviles eh
no declaran los receptores, no?
O sea,
no declaran receptores de datos personales cuando están enviando datos a terceros.
Eh, eh, Por distintos motivos.
Esto está muy relacionado
con el uso de las librerías de programación,
pero la realidad es que se están compartiendo.
Nuestros datos personales se comparten.
Ahí tenéis en el gráfico los destinatarios.
Google, Meta y Unity son los destinatarios preferentes.
Y además, en este estudio quedó claro que
las las aplicaciones móviles
en más de un 80% tampoco cumplían sus políticas de privacidad.
¿Dicen cosas pero que luego no cumplen y además envían datos a terceros, no?
Bueno, las aplicaciones pueden usaría o no usarla,
pero la realidad es que tenemos este contexto de poco
cumplimiento de la normativa de protección de datos.
Y luego ha salido,
pues hace poquísimo ha salido.
Yo no sé exactamente, pero yo creo que fue hace semanas.
El grupo de De Ideas Software de la Carlos tres
ha sacado también unas conclusiones bastante alarmantes
sobre cómo los asistentes de inteligencia artificial están y
están filtrando información personal.
¿Esto lo han demostrado y no sé
si aquí he puesto el enlace en el en las notas, pero
bueno, lo lo lo tengo que añadir eh?
¿Tienen en GitHub todo el desarrollo del trabajo
que han que han hecho y bueno, pues las conclusiones son estas que hay ahí no?
O sea, realmente
si tú sabes perplejo City,
pues a quién se habilita acceso a metadata a singular si utilizas
antrópica meta intercom tal y a Google
Analytics grog a TikTok a meta.
O sea, realmente y esto es que está demostrado porque estos son ingenieros
de privacidad, también son súper punteros.
¿Y bueno, a mí la verdad que esto me da un poco de bueno,
un poco de mal rollo en términos así triviales, no?
Eh DElía pregunta pregunta Jessica
por reconfirmar el domicilio no es un un dato
eh, privado y sensible personal es un dato personal, pero no es sensible.
Ajá. Okay, No es un dato sensible, claro, pero es privado.
Estás violando la protección de datos si lo subes.
Si no es que tampoco que me generaba.
Y por ejemplo
listado anterior
que has mencionado que lo ha puesto aquí También Miguel lo ha recordado
el origen racial, estado de salud, opiniones políticas, preferencias.
Bueno, todo lo que has dicho, pero claro, hay expedientes, notas, no está.
Entonces es un poco
personales, claro,
Hasta qué punto es claro.
A ver, yo no quiero decir que el resto de los datos personales
no haya que ser cuidadoso con ellos, porque hay que serlo.
Para un estudiante sus calificaciones es un dato muy relevante,
pero no son datos sensibles. Mhm.
Vale, digamos que es más problemático hacer un mal uso de datos sensibles.
Es más problemático,
pero no todos los datos sensibles hay que tratarlos con cuidado.
¿Eso sí, pero los datos privados de domicilio, expediente de notas y todo
eso, también estaríamos violando la Ley de Protección de datos, no?
Claro, claro.
Lo que pasa es que dentro de la Ley de Protección de Datos
se hace una diferencia entre los datos sensibles y los que no lo son.
¿Todos necesitan protección, pero los sensibles
tienen un nivel de protección reforzada, no?
Saber las sanciones, por ejemplo, por incumplimiento, son mucho más altas
y el impacto en los derechos de las personas es mucho mayor.
Rango Un.
Un joven que utiliza una aplicación de de estas de
de salud mental no.
Que lo utilizan en un porcentaje enorme en un porcentaje enorme.
Los alumnos utilizan estas aplicaciones no. Y
los datos de salud mental son datos sensibles.
O sea, es que si esas.
Si esas aplicaciones ceden a terceros
sin consentimiento, es que es muy relevante.
¿O sea, es que estamos hablando de una de, o sea, de una información, eh?
Es una información que en el mundo empresarial
descalifica a la persona para acceder al mercado laboral. Mmm.
Mmm. O sea, yo he tenido una persona muy cercana
en el semestre pasado con
con un problema de salud mental y.
Y para que os hagáis idea,
ni en los registros
que el centro de salud pasa a la empresa ni en las comunicaciones de la empresa.
Con esta persona se ha llegado a a explicitar
nunca que se trataba de un tema de salud mental.
O sea, es que el tema de salud mental está proscrito, ya está proscrito.
Es decir, que si tu empresa se llega, o sea, si en tu empresa se llega a saber
que tú has tenido un episodio de salud mental,
el que sea, eh, Vamos, que te la juegas.
O sea que es que es muy fuerte.
¿Entonces me refiero a que a que bueno, a que el impacto que tiene en los derechos
un mal uso de un de una información de salud es muy relevante, no?
¿Pero vamos, que como dices Jessica, cualquier dato personal, cualquiera
está dentro de la ley, por
supuesto, y se deben de utilizar todos bien, eh?
Gracias. Bueno,
vale más cosas.
Celia esto pide Almudena.
Si podemos compartir la web de IT de GitHub
del estudio de Si es que yo no sé por qué no lo tengo ahí todo vale.
Sí, sí, sí, sí.
Ahora lo pongo en el ahora lo pongo en el
voy a seguir y cuando termine lo pongo en el chat.
¿Vale?
Porque ahora como estoy en este tema no me puedo dispersar,
pero si ahora os lo pongo es él, es el profesor Marcelo que es un
es un fiera en estas cosas y la verdad es que yo me enteré por LinkedIn
y mira que LinkedIn me tiene muy enfadada porque utiliza, eh,
O sea, se queda con todo, con todo.
En esta información personal para, para,
para alimentar a su su inteligencia artificial.
¿Pero bueno, hay que hay que entrar en la configuración y y cambiarla no?
Pero por defecto se queda con todos nuestros datos personales.
Bueno, más cosas
entrenan con mis datos.
Bueno, aquí tenéis también un resumen.
Esto tenéis en las notas la fuente, que es el profesor Betty
de un observatorio que hay en Andalucía
de inteligencia artificial en el sector público
que tiene un código de uso de la IA generativa y.
Y bueno, pues ahí también tenemos información sobre si los modelos
entrenan con mis datos o no,
hay mucha información, no hay mucha información.
También os quiero recordar porque creo que esto es relevante,
que nuestra Ley de Protección de Datos tiene un artículo en el que dice
que la educación digital que es obligatoria, o sea, eh
es obligatorio que los alumnos de las universidades
reciban educación digital, sea educación no solo sobre lo sobre
lo técnico, sino también sobre sobre los riesgos que tiene.
¿Eh eh?
Todo esto en la educación digital
debe de comprender un uso crítico y seguro de los medios digitales.
Lo contrario
no solo perjudica al aprendizaje, sino también la dedicación, el esfuerzo
y los procesos de pensamiento que nos permiten ser pensadores críticos.
Y esta es una ley orgánica. O sea que esto no es
importante, que es que es obligatorio,
que es obligatorio que nuestros alumnos hoy hablar de estas cosas.
¿Y bueno, también a nivel de certificación, que esto nos lo
recordaba Jessica cuando estuvimos planeando
el curso, indudablemente
todo lo que supone la certificación eh
eh, es un ámbito muy relevante porque a veces lo que hace es eh,
como bajar a tierra los requisitos que existen a nivel legal, no?
Bueno, no hemos hablado, por ejemplo de la
del Reglamento de Inteligencia Artificial Europeo de ley, que sabéis que está
bastante retrasado en cuanto a entrar en vigor en su aplicación práctica.
No, porque
bueno, se ha aprobado el ómnibus digital que ha retrasado la entrada en vigor
de nuestro reglamento de Inteligencia Artificial
por presiones del gobierno americano.
Y eso es así.
¿Y de la industria americana de tecnológica sobre todo, no?
¿Y entonces el Reglamento de Inteligencia Artificial
se refiere a algunas de las cosas que estamos hablando, no?
Y en concreto prohíbe algunos usos
en el ámbito de la educación, EH
que se refieran, por ejemplo, en el artículo cinco, a inferir
emociones de la persona física en los centros educativos,
en todo lo que sea inferencia emocional que ya se está
probando en China, por ejemplo.
Bueno, pues aquí no sería posible.
O sea, está prohibido en en la Unión Europea
y se califican como de riesgo alto, Es decir, tienen unos requisitos
muy reforzados, eh Las aplicaciones de
de inteligencia artificial aplicadas a educación en el ámbito de
precisamente la evaluación en el ámbito de la evaluación
y en el ámbito de la admisión a los a los centros educativos no.
¿Que son dos ámbitos como muy críticos, no?
¿Quién entre quién no entra en determinados sitios?
Y luego el tema de la evaluación.
Entonces, en estos casos la inteligencia artificial aplicada a estos sectores
sería considerada de alto riesgo y entonces eso quiere decir que
los proveedores tienen como unas obligaciones reforzadas
de documentar técnicamente de supervisión humana.
¿En fin, son obligaciones muy estrictas, no?
¿Pero la ley se queda siempre como a un nivel muy alto
y la certificación lo que hace es descender a la
a la práctica de cuáles son los requisitos técnicos
y cómo se deben de verdad de diseñar los los sistemas, no?
¿Entonces,
yo creo que el ámbito de la certificación también es muy relevante y que sepamos
que existe una norma ISO 42.001 que asegura la transparencia
y la responsabilidad de los sistemas de inteligencia artificial, no?
¿O sea que bueno, vamos, vamos avanzando en este asunto, no?
Bueno, y luego el 4.º riesgo que quería comentar y ya me queda poquito, es
el tema de la del plagio de la propiedad intelectual.
Eh, eh.
¿Antes de publicar el contenido, compartirlo, eh?
Bueno, hay que hay que revisarlo.
El contenido generado por y además puede ser inexacto, puede ser engañoso,
puede contener material protegido por derechos de autor
y por otro lado, eres responsable de cualquier contenido que publiques
o compartas y que incluya material generado por la IA.
¿O sea que al final cada uno
somos responsables del del material que difundimos, no?
¿En especial en el ámbito universitario, el asunto de la propiedad intelectual
y del crédito no y de las de las producciones científicas
es muy relevante, es muy relevante y aquí tenemos un reto muy grande
porque bueno, pues eh, si utilizamos y a quién?
¿Quien tiene la propiedad intelectual sobre sobre los resultados, no?
¿En principio somos nosotros, seguimos siendo nosotros
los los responsables o a nadie le va a poner una una demanda
por infracción de derechos de autor?
En principio no.
Bueno, ya sabéis que hay que distinguir entre lo que es propiedad industrial
de derechos de autor en función del objeto de la de, o sea, de la obra de la obra.
El hardware, por ejemplo, está protegido por por patentes y
las obras literarias, artísticas, etcétera
están protegidas por por propiedad intelectual.
Y bueno, pues los requisitos son distintos,
tiene unas pequeñas diferencias, pero bueno, en todo caso, que sepáis
que todo está protegido por propiedad intelectual o industrial.
De hecho, en el ámbito anglosajón
se habla de los intellectual property rights y abarcan todo.
¿Abarcan también las patentes, eh?
¿O sea, cualquier obra que sea original de una persona
o cualquier invención, eh?
Bueno, pues tienen una, una protección y por tanto.
Hay que tener cuidado.
O sea, si la metemos en una IA.
Y en este sentido, cuando los profesores
metemos un trabajo del alumno en el chat GPT, eso está en el límite
con la legalidad, la tendríamos que advertir
e incluso pedir autorización
para meter un trabajo en una un modelo de IA.
Porque claro, la propiedad intelectual de los trabajos es de los alumnos,
aunque sea muy muy cerrada.
¿El trabajo no deja de ser una obra de la propiedad intelectual
y eso lo tenemos que que tener claro, eh?
¿Vale, y luego
quién tiene los derechos sobre los sobre los resultados?
¿Bueno, pues normalmente el usuario es el que conserva la titularidad, no?
¿Pero eh,
aún así tenemos que tener cuidado por lo que digo, no?
Que tú metes algo en una inteligencia artificial y si no tienes
los permisos sobre ese algo, pues te la puedes, te la puedes jugar.
Y con el nivel, además de errores que estamos viendo que tiene, pues vale.
Y luego también es preocupante el tema del phishing.
La IA generativa ha facilitado a los actores maliciosos
la creación de sus correos electrónicos de phishing y también fakes, videos,
audios destinados a imitar de forma convincente la forma,
la voz o la apariencia física de una persona sin su consentimiento.
¿No todos estamos acostumbrados
a recibir este este tipo de material, no?
Entonces sí que es importante ser cautelosos a la hora de usar
las herramientas.
¿Bueno, qué?
¿Qué propuestas tengo frente a todo esto que estamos diciendo?
Bueno, pues una cosa que es
es importante y me consta que está entre los planes de de
nuestra universidad, es tener una política de uso de la inteligencia artificial.
O sea, aquí tenéis un enlace a algunas universidades
con sus políticas de de uso de la IA y.
Y bueno, indudablemente necesitamos una,
necesitamos una política donde se establezca.
¿Bueno, pues cuáles son las reglas del juego donde se asesore
al profesorado en torno al uso de estas herramientas y también
nos aportaría mucha seguridad jurídica a los profesores y a las profesoras
el tener esta política para, pues para saber a qué atenernos, no?
¿Eh, esta política, eh?
¿Pues qué debería de contener, eh?
Bueno, pues debería de indudablemente mmm
eh establecer cuáles son los usos permitidos,
si los hay, de las guías generativas, en relación a qué actividades, qué ámbitos
de la docencia sí, si la evaluación sí o no,
cómo informar a los estudiantes.
E En fin.
En general, yo creo que las.
Las políticas académicas
en torno al uso de la IA es una cosa importante.
El CSIC tiene.
No he puesto el enlace, luego lo pondré.
¿También el CSIC tiene un documento
interesante sobre sobre el uso de la IA
en el ámbito universitario y en el ámbito de la investigación, fundamentalmente,
que creo que nos puede servir también de modelo para para aprender, eh?
Y bueno, creo que también
deberíamos de, de alguna manera o de otra el profesorado
intentar contribuir en el diseño de esta política.
En este sentido.
Luego Jesús os va a hablar de un grupo en teams que que ha creado al
que estáis todos y todas invitados para discutir todas estas cosas.
¿Puede ser un buen foro, eh?
Que claro, las políticas en la medida en la que se construyen desde abajo, luego
también tienen como mucha más apropiación y la gente las las las cumple más.
Bueno, entonces este es un tema que tenemos pendiente en la universidad.
¿Y luego ya por terminar, hay unas sugerencias que son
como muy muy de cajón no?
¿O sea, qué tipo de sugerencias puedo dar?
¿Bueno, pues que seamos transparentes con los estudiantes en torno a qué
herramientas utilizamos para que las utilizamos, eh?
¿Si generamos material con IA, pues decirlo, eh, eh?
Y también pedirles a ellos que hagan que hagan esto.
Claro, se utilizan la IA.
Bueno, pues luego Jesús va a enseñar alguna
alguna plantilla que tiene muy desarrollada sobre esto.
¿Bueno, pues realmente ofrecerles plantillas para que yo sepan
cómo reportar el uso que hagan de la IA que yo creo que
tenemos que acostumbrarnos a hacerlo, no ellos y nosotros, eh?
En cuanto a la evaluación, si permites el uso de IA en los trabajos,
bueno, pues diseñas rúbricas.
Los he puesto luego una o la enseño.
Rúbricas que valoran el proceso, o sea, los borradores,
las reflexiones, las justificaciones y no solo el producto final.
Hay que considerar formatos menos susceptibles de automatización,
como por ejemplo las defensas orales.
Si tuviésemos menos estudiantes utilizaríamos más las defensas orales
y lo hacemos siempre que podemos. Pero eso es infalible.
¿Tú pones un examen oral y a los tres minutos
sabes si el estudiante domina la materia o no la domina?
¿Un portafolio?
Reflexivos, proyectos situados en contextos reales.
Bueno, hay distintas herramientas que nos pueden ayudar definir desde
el inicio, además con políticas claras qué usos están permitidos,
cuales requieren declarar declaración y revisar las reglas con regularidad.
Y luego bueno,
pues utilizar la IA como un andamiaje, pero no como un atajo, como un atajo.
No podemos
permitir a los estudiantes que utilicen IA,
pero tenemos que ayudarles a que no sustituyan
el pensamiento crítico, la argumentación, la creatividad, la colaboración.
O sea, eso son para celas de su actividad a las que no deben de renunciar
bajo ningún concepto.
Tendríamos que ayudarles también a graduar la autonomía,
a a guiar les en el uso conforme avance que experimenten.
Pero bueno, pues como que seamos también acompañantes, no del uso que hacen
de la inteligencia artificial y también con honestidad no académica.
¿O sea, realmente los profesores y las profesoras, eh?
A veces vamos por detrás de ellos en el uso de la IA, con lo cual,
bueno, que ellos vean que nosotros también tenemos dificultades, que también
somos conscientes de de los de los errores y bueno, que somos compañeros de camino.
¿En cierta medida no?
Y el otro día en un en un libro muy interesante que también
os voy referenciado, no teaching este teaching a práctica.
El Gatito Anywhere es muy muy interesante sobre la enseñanza de
la enseñanza en tiempos de inteligencia artificial.
Bueno, pues ofrecen una una rúbrica
que os he traducido, eh, para.
¿Bueno, pues para mmm eh?
¿También para pensar que en la medida en la que diseñemos
rúbricas con cierto cuidado, podemos,
eh, podemos hacer que los estudiantes,
cuando utilicen la IA, lo utilicen de manera más razonable, no?
¿O sea, realmente si lo que les pedimos es muy trivial, pedimos producto?
Pues claro, si tú pides un producto final,
es es más fácil que te te entreguen directamente el resultado de la IA.
Pero no queremos eso.
¿Queremos que utilicen la IA como una herramienta, como un apoyo,
pero no para que les resuelva el asunto, no?
Bueno, en la medida en que
que nosotros y leemos más fino en las rúbricas, pues también ellos
nos entregarán productos un poco más,
más terminados.
Y nada, os dejo ahí imprimir listado de referencias
y nada, yo con esto ya
he terminado, así que le paso la palabra
a mi compañero Jesús, fenómeno
hijo de compartir.
Vale. Eh, yo ahora, yo.
Ahora empiezo a presentar.
Pero Jessica está preguntando. No.
¿Dónde está el límite de la propiedad intelectual?
Un dfm, una memoria, Un examen.
Antes se me explico.
Sí, sí, sí, sí.
Explícate. Explícate.
Vale. Si yo te por cerrar, digo tu bloque.
Y mientras Jesús cambia de transparencias.
Bueno, supongo que también el foro.
Tendrás muchísimas más preguntas.
Las pueden, si queréis luego dejar. Dejemos tiempo.
Al final podrías tomar la palabra o las podéis dejar por el chat.
Pero bueno, me he animado yo a ponerla y un bocadillo de lo que estabas diciendo.
¿Dónde estarías? ¿El límite de la propiedad intelectual?
Porque un TFM lo tengo claro, una memoria, lo has dicho.
Pero claro, un examen también es algo que ellos escriben
y antes hemos estado hablando de herramientas para evaluar.
También deberíamos pedir permiso a los alumnos
si vamos a meter un examen suyo o un test, es que ya hay muchas herramientas
que utilizamos en nuestro día a día
para evaluar y no estamos pidiendo permisos.
¿Entonces, dónde? ¿Dónde está el límite?
¿Un TFM?
¿Sí, un trabajo sí, pero un examen no,
No sé si
bueno, a ver, una obra de la propiedad intelectual
dice nuestra ley que es cualquier obra propia
del autor propia, en el sentido de original, eh?
Y que es original, que es original.
Bueno, pues original es cualquier cosa.
¿O sea, Jessica, se publican a diario cantidad de libros
que no deberían ni de publicarse porque son una verdadera basura o no?
O sea, todos somos conscientes
de que hay una sobreabundancia de publicaciones hoy día, eh,
que que todos estamos de acuerdo en
que realmente no aportan nada y aun así se están publicando.
A donde quiero llegar es cualquier cosa propia del autor, es una obra intelectual.
A ti te puede parecer una tontería, pero para el autor pues es súper relevante
o entonces quiero decir cualquier cosa es cualquier cosa.
Entonces desde luego que un examen es una obra protegida por los derechos de autor.
Y entonces, y también, eh,
es es dato personal el
examen de una vez que lo hemos corregido, con lo cual
deberíamos estar pidiendo autorización a los estudiantes.
Es que eso es algo que me parece muy importante que.
Y luego también preguntaba en la misma, en el mismo post,
si es lo mismo llevar esos datos a una herramienta
como GPT o cualquier otra en donde no tenemos protección
empresarial, frente a las que tenemos protección empresarial de la mente.
Vemos exigir en esas con protección empresarial permiso,
porque por ejemplo, si
estuviésemos en una empresa, si un empleado hace un documento,
no sé si se considera propiedad intelectual o que es algo de la empresa
y eso ya lo puede subir a la IA, a la IA de esa empresa y tratar, quiero decir.
A ver, a ver si me explico.
Un jefe puede tratar los documentos que hayan generado sus empleados
sobre cualquier activo de un proyecto.
¿Nosotros como profesores, si consideramos esos trabajos
de los alumnos como activo, también los podríamos meter en esta,
en esta guía con protección empresarial que tenemos como CoPilot
o aún así necesitamos seguir pidiendo ese permiso?
Mmm no sé si me he explicado.
¿Hombre, yo entiendo que claro,
digamos que es como más fiable una guía más corporativa, es más fiable,
pero yo entiendo que la IA va a aprender de todo eso, que tú le metas, no?
¿Bueno, si te tienes el entrenamiento
quiere decir bajo protección, bajo protección empresarial, Perdón?
CoPilot nos asegura que no entrena con esos datos y aún así GPT también
lo puedes limitar a que no utilice esos datos para entrenar.
¿Pero
una cosa es que no los entrene y otra cosa es que,
como tú has dicho, si tú no tienes el permiso del autor
para ceder esos datos a ninguna empresa, por qué se lo vas a ceder?
Pero no sé si se sabe distinguir si estamos en disposición.
Habría que indagar más de hasta dónde, si en una y a
empresarial o otra guía que no tiene esa protección.
Ya, ya, sí.
O sea, si tenemos esa protección digamos que es más fiable,
es más fiable, pero yo no acabo de ver en ese caso, eh,
la excepción a pedir una, una autorización o por lo menos informar.
A lo mejor no pides autorización para informar. Sí.
O sea, la transparencia.
La transparencia sería requisito seguro.
Mmm mmm.
Si luego en el logo dice Ángel
que claro, la solución sería en trabaja con modelos locales.
Evidentemente esa sería la solución.
Lo que pasa es que la infraestructura para montar esos modelos locales, eh,
bueno, estamos trabajando en ello, pero no quiero decir que no se pueden replicar
las de estos grandes proveedores, pero sí es acertado lo que dice.
No se interrumpa más, de verdad.
Si queréis luego dejamos debate, pero no comerme el tiempo de Jesús.
Venga, venga, Jesús, Adelante ya.
¿Bueno, eh, Nada, no?
El debate es súper interesante y tanto hablado como escrito,
porque esto, esto ha provocado también esto.
No sé si tenemos tiempo en meternos, pero bueno, vamos a ver lo que es
el uso responsable de la IA en la investigación.
Bueno, yo soy Jesús Salgado y estoy en Industriales y eh, también,
aparte del uso de la inteligencia artificial
de la investigación, también vamos a hablar brevemente
sobre la investigación sobre inteligencia artificial,
sobre inteligencia artificial.
¿Es decir, cuando tratamos de desarrollar
o investigar inteligencia artificial, eh
en nuestra investigación y también
el desarrollo de de IA en la gestión, no?
Ya, ya.
Suena a cliché.
¿La La frase de la la inteligencia artificial
tiene el potencial de revolucionar bla bla bla bla bla, pero
también plantea retos relativos, no?
Entonces esto.
Probablemente esto se ha dicho con probabilidad por
en muchas otras ocasiones con otras tecnologías.
Sin embargo, la inteligencia artificial es de
un poco diferente porque de forma más profunda
hay que tener en cuenta el objetivo de esta agenda
de investigación o de o tecnológica que impulsa la inteligencia artificial.
Este.
Este objetivo es precisamente la simulación o la mecanización
o la industrialización, como queráis, de la actividad cognitiva del hombre.
De forma que no nos puede sorprender que la investigación,
que es una actividad cognitiva, eh,
pues sea uno de los sectores más perturbados con la integración
de la inteligencia artificial y nos obligue de paso a replantearnos
la investigación, igual que la educación,
no solamente sus métodos, pero también el propósito más en general.
¿Eh esto, eh?
¿Hoy, antes
voy a hacer un pequeño paréntesis sobre esto para los que
estéis más interesados sobre el uso responsable
de la inteligencia artificial en docencia, investigación y gestión en la UPN,
pues hemos creado un grupo donde vamos a compartir,
estamos compartiendo noticias, bibliografía, debate y quizás
si hay interés y energías, organizar algún otro seminario online
o incluso presencial, donde podamos también compartir nuestras inquietudes
y el trabajo que hacemos sobre estos temas, no? ¡Eh!
¿Os voy a poner también aquí en el chat
el el vínculo al teams, eh?
Y bueno, pues ahí empezamos a trabajar.
¿Y bueno, después de este breve
espacio publicitario, eh?
¿Pues eh,
yo espero que en estos breve charla
que ayude a gestionar la inteligencia artificial
como herramienta para nuestra propia investigación,
pero también para poder asesorar a nuestros alumnos
cuando los estamos tutorizar en su investigación
o en sus trabajos de fin de grado máster o estamos dirigiendo su doctorado, no?
¿En en
deberíamos inculcar en estos, en estos alumnos?
Pues eso, los mismos valores y cuidado a la hora de
de usar la inteligencia artificial que el que nosotros ponemos
o aspiramos a poner en nuestra propia investigación,
porque la actividad de investigación debe ser responsable.
¿Es decir, debemos ser capaces de responder por las consecuencias
de la actividad investigadora y aunque nos parezca que no tiene
muchas trascendencia, normalmente si queremos
que tenga muchas consecuencias beneficiosas, no?
Que tenga mucho impacto
porque sea usada por otros ingenieros o por otros profesionales para otros usos.
Quizá con a lo mejor con mayor riesgo, como en el sector de la salud,
o que guíe esto políticas públicas.
Al final la ciencia es un bien común
y nuestra responsabilidad individual de cada investigador confluye
en una responsabilidad colectiva que se traduce
en la confianza o desconfianza en la ciencia por parte de la sociedad.
Y la buena noticia que tenemos que conservar
es que la sociedad española confía en sus científicos investigadores.
Aquí os pongo una estadística de 2024 del CID
que pregunta al público sobre quién quiere la gente que regule
el uso de la inteligencia artificial, en la que los científicos
e investigadores aparecen segundos muy alto en las preferencias del público
sobre qué colectivo debe regular la IA.
¿O sea que en principio contamos con esa confianza y no
la deberíamos eh perder, eh?
Las las técnicas de IA, eh
esto como herramientas de investigación tienen impactos positivos,
lógicamente, sino no serían tan populares
tanto en términos de productividad como en la creación de nuevas
posibilidades para el descubrimiento y y su verificación.
Esto.
La inteligencia artificial asiste en todos o casi todos,
casi todas las etapas de la investigación, desde la identificación
de brechas de conocimiento, la formulación de preguntas, el análisis
bibliográfico.
¿Eh, esto, eh,
que prácticamente se hace a escala sobrehumana, eh?
Y también facilita la elaboración de hipótesis,
preguntas de investigación.
¿Esto el diseño experimental, eh?
El desarrollo de software y análisis de datos.
Esto y por supuesto, ayudan con la
la validación y los La posterior
redacción y difusión de las conclusiones de la investigación.
La. La inteligencia artificial, aparte de la inteligencia general generativa
que digamos, es la más popular en este momento, tiene también
aplicaciones esto más particulares para cada disciplina.
¿Por ejemplo, en ciencias formales hay técnicas de inteligencia artificial
para demostración automática o de descubrimiento de patrones
o es muy conocida en biología la aplicación esta de Deep mind de Google
para el del plegamiento de proteínas como el que se llama alphafold no?
O en Ciencias Sociales.
En la codificación y análisis cualitativo en cada disciplina hay.
Seguramente cada uno de vosotros seguramente puede nombrar
alguna aplicación específica
que ayuda con la investigación.
Vamos, que la IA nos cambia la vida
y la la, la, la, la IA, por otra parte,
también ocupa mayor espacio en la investigación la.
La tensión clásica en economía, por lo menos sobre si la IA está
ampliando las capacidades de las personas o sustituye a las personas son.
Si en realidad hay que entender que es lo mismo que nos.
Porque nos sustituye parcialmente en algunas tareas
muy laboriosas o difíciles, eh.
Esto en.
EH para para reflexionar sobre el papel
de la inteligencia artificial en nuestra investigación, eh
Primero conviene ver cuál es nuestra, mmm, principal motivación al investigar
cuál es el propósito de nuestra investigación.
Y la realidad es que.
Pues primero, cada investigación tiene su propósito
particular o su objetivo particular, pero en general hay muchísima literatura
en filosofía de la ciencia, sociología de la ciencia y economía
de la ciencia, que responden parcialmente a la pregunta no.
Según Mario Bunge, esto hay dos grandes propósitos
en la investigación uno más orientado al conocimiento, que trata de describir
y explicar el mundo, que sería lo que entendemos por ciencia básica
y otro propósito sería más orientado a la aplicación,
es decir, predecir y controlar el entorno
que tiene una orientación más innovadora.
¿Pero aparte, la sociología de la ciencia también explica eh?
O intenta explicar los objetivos del investigador
en tanto miembro de una comunidad y una red de investigadores.
Y la economía y la política de la ciencia también describen eh
el objeto ciencia como
o la investigación como un conocimiento que se transforma
en un activo o una mercancía a disposición de las empresas o los estados.
En fin, cada uno más o menos sabe lo que por qué investiga
y si, dado el objetivo, la inteligencia artificial, con las limitaciones
que vamos a discutir, pueden o no sustituir la actividad intelectual humana.
Por ejemplo, el tema de las transparencias y el propósito es
el avance técnico, la ventaja económica o la seguridad nacional.
Pues a lo mejor
pues un
modelo opaco, mientras que funcione, es aceptable.
¿Pero si el propósito es entender el mundo, pues usar
la inteligencia artificial sin más, con
sin tratar de evitar posibles sesgos
o la opacidad de los modelos, pues es problemático, no?
¿Este dilema es uno en lo que se mueve, especialmente la ingeniería, no?
Y la técnica que debe proporcionar soluciones.
¿Pero también debe responder frente
a posibles errores o o disfunciones, no?
Entonces, eh, vamos a ver ejemplos de este tipo de dilemas
o tensiones entre la solución pragmática y la asunción de la responsabilidad.
Cuando usamos la inteligencia artificial, nuestra investigación, por ejemplo,
la formulación de una teoría es el viejo problema epistémico
entre correlación y o parecido al problema epistémico
entre correlación y causalidad, que es una cosa y que es otra,
no una teoría formulada directamente por la inteligencia artificial,
aunque suene plausible,
es una invención estadística.
Bueno, tal y como funcionan los Transformers,
es posible que esto cambie en el futuro.
O sea, lo que presenta se presenta como una teoría.
Es en realidad una síntesis estocástica
basada en patrones de distribución de datos
que pueden ser datos estructurados o también texto.
En general.
Esto, y es una invención
estadística, surge también del texto de otros.
No es original, es opaca, muchas veces
no sistematiza y muchas veces tampoco es falsable.
¿Es decir, que tomar tal cual un modelo de inteligencia artificial complejo,
por ejemplo una red neuronal como un modelo de lenguaje, eh,
Pues es un ajuste, es un ajuste, no es una teoría, es un ajuste numérico
muy sofisticado, pero es un ajuste, no?
Y además es muy probable que las las interacciones
con la inteligencia artificial, sobre todo la inteligencia artificial generativa.
Estas respuestas o sus respuestas dependan del contexto,
es decir, de las preguntas y las respuestas que anteriormente,
incluso en otras sesiones, eh
hayan podido formularse entre la IA y el usuario.
¿El mismo usuario no?
O sea que la IA en realidad está diseñada para dar respuestas
que te resulten a ti personalmente más satisfactorias y convincentes.
¿Entonces, qué podemos hacer?
Pues como una tomarla como una opinión más,
tomarlo como un generador de hipótesis, pedir más explicaciones de
de manera que te pueda mostrar otras alternativas, contrastar con colegas
y tener otras interacciones
con quizá otros modelos.
¿Y sin personalización no?
El En cualquier caso,
siempre es una buena práctica en los trabajos y en los artículos.
¿Declarar el uso que se ha realizado de la inteligencia artificial para que,
digamos, la comunidad lo sepa, no?
¿Y estos usos pueden ser de mil maneras, no?
Para explorar, para revisar la literatura, para analizar
datos, para depuración de la escritura.
Y un ejemplo, como dijo antes Celia, un ejemplo de declaración de uso
lo podéis ver en mi propia tesis
que defendía hace cosa de un mes y medio.
¿O sea que lo tengo reciente, eh?
Que está ya publicada.
La podéis
descargar desde
desde aquí está en las páginas.
Espera,
está en la página Esto
nueve y diez numerales.
¿Pues
aquí un momentín
en la página nueve y diez numerales
y os enseño eh?
¿Dónde lo podéis encontrar?
Perdón, un segundo.
Este sería el sentimiento.
Entonces aquí yo.
¿Pues, digo que cuáles son las herramientas que utilizado?
¿Cuáles son los trabajos que he utilizado?
¿Para qué trabajos he utilizado estas
estas herramientas?
Durante varias fases de la investigación.
Y esto finalmente una declaración de integridad
académica en la que básicamente digo que el trabajo es original.
Es mío.
Eh, y y el.
¿Y bueno, esto Esto estaba bastante en línea
con lo que decía el resto de de la tesis, no?
Manera que Bueno, pues ya podéis esta publicaba en abierto en el
en el archivo PM y la podéis citar esto
a todo meter todo el mundo esto
y después.
Bueno pues también podéis leer el abstract y el resto de la tesis
también está muy bien.
Bueno, también esto ha sido un pequeño
paréntesis comercial y seguimos,
pero a ver dónde estaba.
¿Quién?
Vale.
¿Y seis Ahora
estáis viendo mi presentación, verdad?
Sí, sí, sin problema.
Vale, pues, eh,
vale.
En todo caso. Eh.
Con o sin declaración, el autor permanece responsable.
Es responsable. Eh, Esto.
Algunos.
¿O sea, es responsable, aunque no sea responsable
en el otro sentido, aunque no lo sea por
exceso de confianza en la inteligencia artificial, no?
Algunos ejemplos de excesiva confianza.
Pues puede ser, por ejemplo, aceptar una redacción
o una traducción porque suena bien.
El truco, por ejemplo, en la en la traducción es traducir de vuelta.
Tú pides de inglés a español
y después lo vuelves perdón, de español inglés.
¿Te suena bien?
Pero después traduces a español para ver que efectivamente
no se ha perdido nada en el en la ida.
Esto y también cuando le preguntas
sobre por el trabajo de de otros.
Aceptar una referencia a las tesis de un autor, la descripción
de una teoría, todo eso, esto no no se debería aceptar. ¿Eh?
Tal cual. No. El truco.
No cabe más remedio que leer,
leer las fuentes originales o siquiera las fuentes secundarias,
que muchas veces, o al menos en mi experiencia,
son bastante mejores y bastante más asequibles.
¿Eh, que las las las fuentes originales no?
¿Pero delegar el análisis de datos, eh también, eh?
¿O la interpretación de los datos sin revisarlo
también en un exceso de confianza, eh?
Y no podemos delegar la responsabilidad en la IA.
Un modelo de IA no puede ser el autor de papers
o de invenciones, o de patentes, o imágenes, o figuras o marcas.
Bueno, parece tontería, pero esto
de vez en cuando salen algunos.
Esto reclamando personalidad jurídica para los modelos.
¿Yo creo que lógicamente eso es una mmm
súper mala idea, que lo que representaría sería
una pantalla de responsabilidad para las empresas fabricantes, no?
Eh, eh.
¿Mal una vez situaciones más
vergonzosas, eh?
Sería el plagio, que como sabemos es la apropiación de las ideas de otros.
El problema es que la inteligencia general,
la inteligencia artificial generativa, es el
el plagio elevado a la categoría de industria.
O sea que funciona realmente.
Si los los modelos de lenguaje funcionan,
se entrenan sobre textos de otros y al responder.
Es decir, la inferencia consiste en dar un texto más o menos plausible
dado el contexto y basado en el texto con el que han sido entrenados.
¿De manera que podríamos decir que es una máquina de plagio, no?
Y normalmente, además no cita autores.
De hecho, a veces regurgita textos originales enteros,
por ejemplo, en imágenes.
¿La imagen, la fotografía de la derecha, eh, que no es una fotografía,
es una imagen generada por la inteligencia artificial, eh?
¿Pero con la mala suerte de que regurgita
la marca de agua del proveedor de fotografías Getty Images,
que lógicamente ha demandado al fabricante del modelo, no?
¿Bueno, qué hacer?
¿Pues chequear, pedir fuentes, es decir, tener
a lo mejor cinco minutos más de chat
y pedir fuentes, chequear que existen, esto que dicen, lo que dices
que dicen y una vez comprobado todo,
lógicamente citar esas fuentes no?
¿Eh? Y eh, pues chequear que eh
los hechos y conclusiones
u opiniones que no sean los tuyos propios,
las del propio investigador, tienen todo su original.
Incluso se puede pedir a la inteligencia artificial
que extractos literales, aunque no los vayas a incluir
para chequear los no. ¿Esto digamos que son algunos trucos, eh?
El caso es que
hay quien no por descuido, sino de forma intencional,
usan la inteligencia artificial de forma fraudulenta.
Lo malo es que los modelos de lenguaje no tienen barandillas.
Que es la.
¿Es realmente la traducción eh?
En en castellano de Rails hay gente que la traduce
como guardarraíles, pero es que van sin barandilla.
¿O sea, esto son muy sofisticados eh?
¿Pero no tienen este tipo de de barandilla de seguridad, no?
Por y esto aparecen en esta investigación que os pongo aquí,
pues no tienen demasiado problemas para inventar lo que necesites.
Parece ser que el contenido fake no es un problema de seguridad tan grave.
Y tú puedes hacer.
O sea, al principio se resisten un poquito, pero después de cinco,
cuatro o cinco intentos se pliegan a inventar cualquier trabajo
científico y esas tecnologías están dañando bastante
porque suponen la industrialización de lo que llamamos Paper Mills,
que es fraude científico de empresas de fabricación de papers
que ahora pueden escalar porque en realidad
ya no dependen de esto
doctorandos en el papel de autores en la sombra,
sino que pueden escalar gratis gracias a la tecnología.
Es realmente irónico que
la inteligencia artificial esté facilitando este negocio ilegal
a través de automatizar el trabajo precario.
¿También ilegal, no?
¿Eh? ¿Bueno,
una Una de las cosas que más me ha molestado cuando he colaborado
como revisor de artículos o ponencias son las las citas alucinantes, no?
En dos modalidades citas que apuntan artículos o libros
que no existen y las citas que apuntan a trabajos
que sí existen pero que no hablan del tema que se está tratando en el paper.
¿Eh, eh?
¿O quizá de forma muy marginal o periférica, no?
¿Y ese es un ejemplo real que me molestó especialmente porque yo acepté la revisión
porque hablaba de modelos multinivel y creía que iba a aprender mucho, no?
¿Pero vi que las referencias, muchas referencias que citaba, no tenían
nada que ver con lo que estaba escribiendo el autor o los autores, no?
Y me dio muchísima rabia.
¿En realidad estas citas son
tres errores o tres fallos
o tres malas prácticas en una No, porque primero la cita es incorrecta, eh?
¿Segundo, es negligente porque no se ha revisado y tercero
porque no se advierte de forma transparente que se haya utilizado
la inteligencia artificial para este fin, no?
O sea, junto también un artículo que me pasó Jessica
y que y que habla sobre este.
¿Este fenómeno, que en realidad es bastante fácil de evitar,
es simplemente tener cuidado y estar seguro
de lo que escribes en el en el paper no?
Y hablando de
revisores, también hay quien usa la inteligencia artificial
para realizar informes de revisión de revisión en las revistas.
Esta es una práctica prohibida
y todo el mundo lo sabe.
No, no se puede.
Y la justificación está en la protección de la propiedad intelectual.
Sin embargo, y esto es una opinión personal,
yo creo que los editores deberían ser los primeros interesados en promover,
eh probablemente una IA esto eh propia.
O sea, o por lo menos esto,
eh, eh,
con el suyo o el rango, lo que sea.
Eh, eh.
Y que tuviese, digamos, estas protecciones aseguradas.
Pero yo la instalaría en todos los en todas las revistas como proceso de
revisión, específicamente en los filtros de escritorio o describiese.
No ganaríamos todos, especialmente los autores
que por fin recibiríamos rechazos debidamente documentados.
¿Muchos de los que estamos aquí sabemos lo que es recibir un
no genérico por respuesta, eh?
Con un sistema ya se puede sustituir esta bofetada
que a lo mejor te la dan de todas formas, pero no es ciega
y se podría sustituir por una crítica constructiva,
aunque sea impersonal, basado en un una rúbrica.
¿Esto y yo creo que
en realidad está este, eh,
este desarrollo es casi inmediato, eh?
Y sería muy,
muy bueno también para evitar
episodios también vergonzosos como el que hemos visto recientemente.
Es muy fácil programar una gente que chequee fuentes públicas
la existencia de conflictos de interés de los autores de un artículo,
los los editoriales, los financiadores, los autores,
la sociedad entera se evitarían los
los los los disgustos no.
Que pueden resultar de aquí.
Bueno, muchos en realidad,
casi todos los efectos de los que habla hablado
Celia también son aplica del bless para el
el que son aplicables para los alumnos También son aplicables
eh para los investigadores como la atrofia cognitiva
y también la psicofonía, que es una palabra que no conocía
pero que es esta aceptada
por la Real Academia y especialmente yo
creo que somos vulnerables a la psicopatía de la inteligencia artificial.
Aquí os pongo un ejemplo de cómo Géminis demuestra
una sincera admiración por las cosas que yo le cuento.
¿Por fin alguien que reconoce lo mucho que que yo o algo así da gusto, eh?
Quien cree que no es sensible y vulnerable a la zalamería
y la psicopatía tiene realmente dos problemas
uno si es sensible, si es vulnerable, todos lo somos.
Y el segundo problema es que como no sabe que es vulnerable,
alguien o algo se van aprovechar de de ello.
¿Y ya ha habido casos en,
eh, bueno, y hay,
por supuesto muchísimas otras limitaciones y riesgos
relacionados con la infraestructura que que ahora mismo tenemos
y la tecnología y la infraestructura que ahora mismo tenemos no?
Y que no se puede resolver a nivel personal,
sino a niveles superiores,
institucionales o incluso estatales, internacionales,
pero que tenemos que ser conscientes y promover desde nuestro rincón
como investigadores, eh su solución porque afecta a nuestra actividad.
Y ejemplos de ello son la dependencia
excesiva en pocos proveedores.
Esto las tarifas de acceso que pueden crear brechas
y desigualdades de acceso, la opacidad de los modelos,
la falta de replicabilidad por ser modelos estocásticos y
sobre todo una cuestión súper importante es el consumo de recursos
y energía y agua de estos modelos que tienen tanto durante el entrenamiento
como durante la inferencia y las respuestas que nos dan.
O sea, la inferencia es cuando les estamos preguntando
y este es un problema que afecta a comunidades eh
locales reales
que pierden control sobre sus recursos, como el agua.
Cuando un centro de datos se instala y está creando
realmente una oposición en algunos lugares como Aragón muy importante,
simplemente porque se hace de espaldas a la ciudadanía.
¿A nivel individual, qué podemos hacer?
¿Pues deberíamos pedir algún indicador de uso, eh?
¿Nosotros deberíamos saber, o por lo menos algún registro,
o deberíamos pedir al proveedor que nos diera un indicador,
un registro de uso de cómo lo estamos usando y a lo mejor
en referencia a otras, a otras personas
o a la media de lo de de los usuarios, no?
Una referencia sería importante
porque nos ayudaría a ser conscientes de lo que nos está pasando.
Esa referencia puede ser número de tokens,
pero también puede ser litros de agua o kilovatios hora.
¿No he y
y después esto, eh?
También pedir a las instituciones antes se ha hecho referencia.
¿Por qué no? ¿Por qué?
Por qué no las la las universidades que además
normalmente, eh Mmm esto compartimos cosas.
¿Por qué no compartir una infraestructura, eh Esto
y promover soluciones de caché
que puedan ponerse en práctica en la comunidad académica, no?
Creo que en este sentido en Cataluña ya tienen este tipo de infraestructura
y que a lo mejor nosotros podríamos o adherirnos a esa comunidad
o esto hacerla nuestra, por lo menos en las universidades públicas de Madrid.
Yo creo que tendría todo el sentido.
¿Eh, eh?
Y un par de cuestiones sobre la investigación en inteligencia artificial.
Es decir, cuando se investiga la inteligencia artificial como objeto de
estudio o se desarrolla alguna aplicación de inteligencia artificial
y después también alguna consideración sobre gobernanza.
La primera cuestión que me gustaría incidir es la necesidad de introducir
el análisis ético y legal de este tipo de proyectos de imagen.
Se Se realiza.
Todo el mundo la hace porque es nuestro, digamos nuestro oficio.
Se realiza una viabilidad técnica y en muchos casos también una viabilidad
económica, pero en muchos casos, muchas veces se ignora
un análisis mínimo de viabilidad ética y legal en este tipo de trabajos,
en los que simplemente se analicen posibles riesgos
que son los de siempre los sesgos, la opacidad, los posibles
daños por errores, la ciberseguridad, la manipulación, eh,
todos esos riesgos que normalmente no son intencionales,
pero precisamente por ignorarlos, entonces ocurren no en.
Y también advertir de
algún posible uso dual militar
y civil de de la tecnología y.
¿Y cuál es la solución?
Escribir.
¿Escribir a lo mejor medio párrafo listando este tipo de riesgos
en ética en de profesional del ingeniero se llama ignorancia
afectada a la actitud de el ingeniero eh que
que no sabe
o que no quiere saber cuáles son las consecuencias de una invención,
un artefacto o cualquier dispositivo, eh?
Y es.
Y ese es un grave fallo, no solamente ético, sino profesional.
Cuando, mmm.
Y el remedio.
En realidad es muy fácil poner negro sobre blanco la existencia.
No, no ya la solución, sino la existencia.
¿Porque de esos riesgos, porque alguien tiene que leerlo y darse por enterado, eh?
No advertir de esos riesgos
es simplemente negligencia. ¿Eh?
¿Profesional, eh? Mmm.
Debería incluirse en todos los trabajos y artículos que propongan un artefacto
basado en inteligencia artificial o
otras tecnologías emergentes. ¿Eh?
Mmm. ¿Repito, no quiere decir que se solucione
dentro del alcance del proyecto, porque a lo mejor no es el objetivo,
pero sí que se advierta al lector de este tipo de riesgos, no?
Y que se discutan por lo menos.
¿Y después dos,
dos cuestiones muy sencillas que es o muy breves, no?
¿Esto primero es el uso de datos sintéticos, que es uno de los problemas,
vamos, uno de los problemas técnicos y económicos más habituales
cuando estamos diseñando un modelo de inteligencia artificial
es la disposición de las disponibilidad de los datos, no?
En muchos campos hay datos públicos que pueden usarse,
pero cada vez más tomamos datos sintéticos,
lo cual representa una oportunidad en muchos campos.
¿Pero lógicamente hay que tener cuidado puesto que el modelo que hagamos
reproducirá los mismos sesgos que tengan esos datos, eh?
¿Que vendrán probablemente del modelo
de donde se han tomado, eh?
Y es incluso es incluso posible que se amplifiquen esos esos datos.
En estos casos en los que muchas veces el objetivo del TFM o de la investigación
es mostrar la viabilidad de un procedimiento, una arquitectura
y la fiabilidad del resultado no es lo más importante.
¿Pero igual yo creo que es importante documentar este hecho,
el uso de datos sintéticos
y la posible limitación para una aplicación comercial, eh?
¿Y bueno, si es
posible implementar alguna estrategia de mitigación, eh,
pues pues mejor no?
¿Eh? Y también una cuestión que surgió.
Me surgió a mí esto hace poco en un taller de máster de robótica.
Un alumno está desarrollando un modelo de red neuronal para pequeños
sistemas embarcados y al y al presentarlo indica que se va a publicar
como librería de código abierto y pues fantástico.
Realmente el esfuerzo de publicarlo como código
es encomiable por muchísimas razones.
Es auditable, transparente, democratiza el acceso,
da muchísimas libertades de uso, modificación, distribución.
Es innovación colaborativa, evita dependencias de fabricante.
Está súper bien,
pero entonces dice Y como la licencia
no tiene una cláusula de descargo de responsabilidad, pues ya está.
Y entonces, bueno, desde el punto de vista legal, si ya está.
Pero hay una responsabilidad ética que además está documentada en varios
documentos en ACM y en otros documentos, y hay responsabilidades importantes.
¿Para empezar hay que ser honesto con lo que hace la librería, eh?
Pues sus limitaciones, los posibles riesgos de seguridad
como se ha aprobado y e Pues si haces además promesas
y las pones en el ritmo y pues resulta que sí
que puedes ser responsable si haces problemas sobre capacidades
que no existen, pues a lo mejor sí que eres responsable.
Si alguien se fía de lo que pones en el ritmo.
¿O sea, no, no, la cuestión es no basta con dejar el código
por ahí en GitHub y chao pescado, eh?
Ya que se hace hacerlo,
o sea, ir un
poco más allá y hacerlo bien y mantenerlo también lleva un compromiso.
Y bueno, pues aquí adjunto algunos códigos éticos
y el formato de modelo que también es.
Hay un estándar en repositorios de.
De de
de modelos de código abierto como Hugging Face, EH,
y que ese protocolo fue propuesto originalmente
por Margaret Mitchell y
que son las ex directoras del equipo de ética de Google.
Y ambas pues lideraron el equipo
hasta que este comité de ética fue desmantelado.
Tras la publicación de de estas investigadoras
de una forma crítica con la compañía que señalaban sesgos
discriminatorios en los algoritmos de búsqueda.
¿No? Este caso, pues eh, bueno, pues ilustra
el riesgo también de convertir el comité de tipo de de ética
en una periferia decorativa y una una operación de lavado de.
Eh. Pero bueno, esto.
Estoy divagando.
Eh, eh.
Y una una palabra sobre gobernanza de la inteligencia artificial
en la en la investigación. No.
Porque como hemos visto, hay que intentar gestionar
a varios niveles el personal de cada uno como
como investigador, eh en el grupo de investigación
y a nivel institucional y aquellos que tengan más responsabilidad
a niveles superiores y todos los niveles son importantes
y lo ideal es que la gobernanza a niveles superiores también se realice
con la participación de todos los miembros de la comunidad investigadora.
Que no sea alguien en un despacho que de repente decide esto.
¿Publicar, eh?
Las. ¿No debería participar toda la comunidad
porque todos estamos implicados, no?
Y ya hemos visto la mayoría de los riesgos de la actividad investigadora como la
la automatización total, los sesgos, la falta de transparencia,
el consumo de recursos, etcétera Pero una función importante de
la gobernanza es la supervisión que asigna
responsabilidad, Vigila, define estándares.
¡Eh, eh!
Esto procura que los datos compartidos con la inteligencia artificial
tratara de filtrarlos antes de que sean enviados. ¿Eh,
El tema de las
dependencias de los proveedores, eh, y y también
el diseño de los incentivos de los investigadores, que probablemente
esto ya ni siquiera a nivel
institucional de la
de la universidad, sino es un nivel probablemente superior, no?
Eh El el Algunas estrategias de gobernanza
como la transparencia y la publicidad en las decisiones, la publicación
o el acceso a códigos de conducta,
perdón o la o la adhesión eh
de de un grupo determinado de investigación a de conducta
La La búsqueda de opciones alternativas.
La vigilancia activa.
¡Eh Eh!
Todo esto es una responsabilidad.
Esto personal, como decía antes, pero también del grupo,
eh del grupo de investigación y de la comunidad entera
y del grupo de investigación.
Yo lo que propongo es que todos los grupos
de investigación de EH,
de la de la de la universidad, por lo menos piensen en adherirse
algún, algún algún código de conducta.
Aquí os pongo el del el decálogo del Consejo Superior
de Investigaciones Científicas, Pero digamos que cada campo, digamos,
tendrá que aterrizar este código a su disciplina. ¿Eh?
Y que
se y que y que cada grupo trate de definir
cómo se va a comportar en en
en este tema de la investigación y la integración
de la inteligencia artificial en su investigación.
Vale.
Y para terminar, una última cuestión sobre el uso de inteligencia artificial
para la administración y la gestión
y o sea, yo, aquí es hay una oportunidad enorme
que puede facilitar mucho, mucho el funcionamiento de la de la universidad.
¿Si se integra
la inteligencia artificial en los procesos que ya están digitalizados, eh?
Por supuesto,
lo primero que es responsable es utilizar los presupuestos de una forma razonable.
¿Esto escogiendo bien las aplicaciones
donde haya más posibilidades de éxito y además, eh
produzcan mayores mejores resultados, no? ¿Eh,
Esto y
esto es importante porque según un estudio, el estudio que os pongo
aquí del MIT, eh, Pues un porcentaje muy alto ahí todavía
de fracasos, normalmente una gestión deficiente de la calidad del dato, eh?
Pero bueno, igual que los alumnos, en realidad
nosotros, el personal, esto
docente, investigador, esto
eh, Ya estamos usando la inteligencia artificial.
¿Yo por ejemplo, envié a mis nueve perdón,
siete miembros del tribunal y dos revisores
el formulario de idoneidad pre rellenado con información pública
sobre las cosas que me preguntaba en el formulario
sobre investigación, papers, etcétera por proyectos, etcétera no?
¿Manera que me demoro solamente pues unas horas
en hacerlo y enviarlo
y un par de días en recibir las contestaciones
de estas nueve personas que de otra, de otro,
De otra forma si yo les hubiese enviado el
el el formulario sin rellenar oleos hubiese
hubiese tenido que investigar para rellenarlo, me hubiese llevado
probablemente semanas en recibirlo, no?
Entonces
esto Yo desde la gestión podría.
¿Puedo imaginar que las ventajas son también enormes, no?
Por ejemplo, en la revisión de expedientes y documentación.
Ahora bien, hay que tener aquí también alguna precaución.
Algunas aplicaciones del ámbito educativo son consideradas de alto riesgo según la
regulación de la inteligencia
artificial y por.
¿Por supuesto, también tiene que hacerse el análisis
de si la aplicación podrá
causar también algún daño a alguna persona
o colectivo en sus derechos fundamentales,
lo que se suele llamar el fría, no?
Fundamental Rights impacta
y y esto digamos que sería que sería
la precaución hacerlo.
Pero vamos, que yo veo enormes,
grandísimas posibilidades aquí y os animo a las sesiones también
sobre el tema de esta edición de Primavera Tech La la
especialmente la que habla de agentes
del 10 de junio, que yo ya me he apuntado.
Vale.
Entonces.
Bueno, y con esto.
Eh, las referencias están aquí.
Bueno, esto va a Zotero.
Pero.
Y os voy a poner también.
Bueno, va soltero.
Os voy a poner también
esta.
Hay. Hay un montón de de esto.
Documentos y quien se apunten, pues también puede
puede sugerir y aportar.
Vale. Eh.
Y finalmente hay.
Eh. Bueno, aquí os pongo también
las referencias en modo texto para quien
le resulte más cómodo.
¿Y otra vez este
el grupo de teams, eh?
Que el el vínculo ya está en el chat
y esto donde también pondremos el el vínculo
al al grupo de Sotero para referencias que iremos
e iremos también.
Esto añadiendo en el futuro.
Y yo con esto lo dejo aquí para que lo veáis todos
y y y aquí con esto
determinado mi intervención.
Muchas gracias Jesús.
¿Eh, Pues tenemos unos minutitos
para abrir turno de preguntas eh?
No sé si por el chat creo que no se había quedado así nada pendiente.
Bueno, a ver.
Bueno, están dando las gracias.
Dando las gracias.
Gracias, gracias, gracias.
O incluso podemos abrir micro.
Si alguien quiere hablar, podemos aprovechar estos, estos minutillos.
A ver si alguien quiere comentar alguna cosa.
Yo por mi parte, mientras la gente se anima.
Los resultados del club
la verdad es que son curiosos porque hay un 36% del profesorado que está
en contra del uso de la evaluación a través de IA.
Un 36% en contra.
Me pareció mucho para ser una Una escuela.
Vamos. ¿Una universidad tan tecnológica?
La nuestra no. Qué curioso.
También hila un poco.
Yo he votado que sí.
Esto también
Precauciones, Pero yo creo que
no hay que ponerse de plano.
Pero vamos, esa es mi opinión.
Pero hila un poco con lo que hablábamos, que a lo mejor también
muchas veces son el miedo a los riesgos que comentábamos
y un poco sobre qué herramienta que nos ofrece protección y que no sé.
Antes también había una un profesor, Ángel García,
que hablaba de la infraestructura.
Si es local, sí, pero fuera cómo nos lo planteamos,
aunque fuese local, necesitaríamos pedir permiso a los estudiantes.
Es que todo eso
creo que es algo que debemos estudiar, porque claro, nos puede afectar.
Si hay alguien que quiere explicar
por qué voto que no a la a la evaluación con IA,
pues que abra el micrófono y nos cuente
eso. Eso.
Y es curioso
que entre 158 personas que quedan nadie quiere hablar.
Tienen que levantar la mano para permitirles abrir el micrófono.
Ah, sí, Pero
estamos pendientes.
Si hay quien levanta la mano,
le damos paso.
Y quizás porque a pesar de A
es una muy difícil aquí en una ciudad gallego,
a pesar de ser tecnológica, somos una universidad
bastante conservadora en sus procesos docentes, dice.
Y yo te digo, Ignacio, esos procesos no en todo.
O sea, bueno, antes, antes, antes, Ángel,
antes.
¿Ángel ha compartido un un proyecto que tienen ahí
para hacer corrección de programas de programación, eh,
que a lo mejor a alguien le interesa y le convence, eh?
Si nació gallego, dice.
Quizás porque a pesar de ese tono A no, no estaba leyendo a Ramón.
José Ramón, perdón, Rodríguez no existe loca.
¿Si lo pones en CoPilot, aunque sea de la UPM, CoPilot lo va a usar, eh?
Eso hay que leerse los contratos
bien y hasta donde sabemos
y nos han hecho exposiciones y y cumplen todas las normativas.
Eso es nuestro tenant.
Y en principio
habría que definir José Ramón a que dices y lo lo va a usar.
Mira Almudena levantado la mano si quieres Sonia, le damos una valiente.
De que no venga.
¿Me escucha?
Si Almudena,
yo por por dar mi opinión en en primera persona,
yo este curso con
intentado probar el Cloud cowork para hacer la evaluación automática
de unas tareas de mis alumnos y aquí me hallo,
rectificando todo el feedback que ha hecho todas, incluso
aunque tenga la rúbrica muy detallada con todos sus puntajes,
los descriptores perfectamente delimitados,
pues es que no lo termina de hacer bien, entonces es trabajo doble realmente.
Por eso pienso que no es que no
esté en contra de la evaluación, pero bueno, sí que
hacerlo de manera manual.
De momento creo que nos ahorra tiempo.
Mmm hmm.
Ya. A ver, yo una Una cosa que normalmente hago no es mandar
feedback directamente, sino esto,
eh, hacer más bien el primer filtro,
es decir, aquellas aquellos trabajos que le falta claramente alguna parte.
Eso sí que lo identifica bien.
¿Es decir,
ahora, en la interpretación de lo que ha escrito el alumno,
esa ya puede ser, eh, más, más complicada,
pero para, digamos, para hacer un
un primer, una primera purga, eh?
Y por lo menos avisar a los alumnos
que les falta alguna,
alguna cosa que tenía que ir en el trabajo para esa.
¿Normalmente esto si es
si es bueno y entonces te evitas eh?
Digamos esa, esa, esa primera, esa primera fase, después
probablemente ya para alguna cosa, pero vamos, yo nunca les enviaría
directamente el feedback, sino que bueno, pues haría una primera, esto
les enviaría, eh, esa primera,
esa, ese primer filtro.
Mmm no, por supuesto,
el tema es este, no, que yo lo digo.
Venga, vamos a probarlo, a ver si de verdad me ahorro tiempo o no
Y te genera pues todo el feedback, las notas muy bien,
te la puntuación parcial de las rúbricas, que es lo que le pedí que me hiciera,
pero es que luego no se ajusta
con los descriptores, entonces evidentemente no se lo mando.
Estoy aquí corrigiéndolo de manera manual,
pero has tenido que comprobar primero,
corregir a la guía y después corregir a los alumnos.
Ya, ya.
Luis Cancela está levantando también la mano.
Ya puede hablar. Luis Sí. Buenos días.
Nada bueno, yo no he votado porque entre otras cosas no me dedico
fundamentalmente a impartir clase ni a evaluar.
Soy personal de administración y servicios y bueno, lo único que desde Protección
de datos, que es en el área que trabajo, sí que es cierto que
entiendo que pueda serviros de apoyo esa herramienta como cualquier otra
que utilicéis en vuestras tareas como docentes, pero en la propia normativa
exige, digamos,
una revisión siempre no se pueden tomar decisiones
automatizadas sin la revisión de una persona.
Con lo cual, bueno, pues el recalcar que me imagino que
que no estamos hablando de eso, de una evaluación completa y
y esa toma de decisiones a través de esa evaluación
que dejemos en manos, digamos de de la guía sin sin una posterior revisión.
Con lo cual a lo mejor lo que ha dicho la compañera de que puede exigir
incluso pues eso, más trabajo que el hecho de
pues y hacer esa evaluación directamente por por el docente.
Pero bueno, entiendo que si sirve de apoyo y puede pues agilizar esa tarea
que hacéis de evaluación pues tampoco estaría.
Pero bueno, recalcando eso que se necesita
luego o se tiene derecho, digamos sí,
si esa evaluación implica decisiones sobre las personas,
pues a que se no se realice de forma totalmente automatizada.
Y también destacar algo
que me ha gustado mucho, esa necesidad de introducir en todo
esa viabilidad de los proyectos ética y legal, junto con la que ya es más,
digamos habitual y que se tiene más en mente, que es la técnica y económica.
Gracias.
De hecho, la evaluación es uno de los casos.
Bueno,
Celia, corrígeme si es ese es uno de los casos
estipulados como de alto riesgo en, EH,
en el en el en la regulación de inteligencia artificial.
¿Bromea?
Sí, Ángel.
Hola. Eh.
Bueno, muy interesante toda la charla, toda,
toda esta iniciativa con respecto a esto último que dice Jesús.
Totalmente de acuerdo.
Es decir, efectivamente, la evaluación es una parte crítica
en el tema de la de la IA ACT de Europea, la norma europea,
con lo cual tenemos que tener especial cuidado.
A nosotros nos interesa cuando hablo de nosotros
hablo de la Unidad Docente de Informática que imparte, pues por ejemplo,
asignaturas con 500 y pico alumnos
en los que, bueno, pues tenemos una carga de trabajo brutal,
sobre todo si queremos seguir esto que llama la evaluación continuada,
porque os podéis imaginar
si queremos hacer prácticas y tenemos que corregir todas las semanas
500 y pico prácticas, pues no haríamos otra cosa.
Entonces estamos implantando un sistema de apoyo, no de corrección
automática, de apoyo y además un sistema híbrido que no solo utiliza IA,
utiliza otras cosas adicionales en apoyo también a la IA.
Y la verdad es que los resultados que tenemos, que son parciales
por ahora son muy alentadores en nuestras asignaturas que son de programación,
que yo entiendo que por ejemplo, como dice Manuel Ramos en el chat,
como ellos
hacen dibujo, pues es un poquito más complicado
porque las herramientas actuales todavía no llegan a ello.
Pero bueno Manuel, dales tiempo, que yo creo que
que en un futuro relativamente próximo nos podemos sorprender porque nos
hemos sorprendido
en los últimos años del avance tan tremendo que ha tenido esto de la IA.
Y bueno, con respecto al tema de los datos,
pues nosotros lo hemos tenido claro desde el principio.
Efectivamente, es un problema que podamos subir datos de alumnos
que puedan ser utilizados por terceras personas.
Entonces, lo que nos hemos planteado es hacer una instalación local
de un sistema, un RDM,
que nos permita que todos los datos de los alumnos
se van a quedar dentro de la UPM,
no van a tener ningún tipo de de acceso desde fuera.
Y por supuesto, los resultados
no se van a dar de manera directa al alumno,
van a pasar por un filtro, pero ese filtro para nosotros
es pura vida, en el sentido de que no pasa,
no nos puede dar un primer,
un proceso, una una primera referencia
a la calidad de los trabajos que nos entregan.
Y bueno, por mi parte, cualquier tema que
queráis tratar pues estoy a vuestra disposición.
Me podéis encontrar como profesor de aquí de la Escuela de Ingenieros Industriales
para lo que queráis.
Muchas gracias por vuestra iniciativa, Jesús.
Gracias a ti, Ángel.
Gracias a la iniciativa Primavera Tech.
Eh, Jessica y Sonia, Por
y por por por permitirnos también ponernos en contacto.
¿Porque muchas veces hay gente trabajando
en las mismas cosas y resulta que no nos conocemos, eh?
¿Porque esto son muy buenas ocasiones, eh?
¿Ángel Estaba eh, compartiendo, no sé si se puede después
compartir el chat, pero esto ha habido varias,
internamos varias aportaciones eh?
Y Ángel estaba compartiendo el proyecto en el que en el que está.
Lo voy a lo voy a copiar aquí abajo. Eh,
eh, Ah no, este no es demo recopilatorio.
Jesús, No te preocupes si podemos
enviar eso cuando eso
sí enviamos los enlaces a qué bien, Sí.
¿Y después, en cuanto al tema de instalar una LLM local
siempre que el propósito no sea hacerlo disponible
al público en general, a los estudiantes, a la comunidad en general,
que entonces sí tendría que tener requisitos de latencia
muy exigentes y entonces haría una falta una infraestructura,
pero para cosas locales, como por ejemplo
corregir esto,
eh, ejercicios o cosas de ese estilo, eh?
No hace falta que lo haga en tiempo real,
porque digamos que pues la corrección lleva su tiempo.
Igualmente, si lo haces con con humanos, entonces no tendría
unos requisitos de infraestructura tan exigentes.
Basta con a lo mejor tener un.
Servidor con
una tarjeta gráfica esto adecuada y a lo mejor
eso sería suficiente a lo mejor para una escuela,
siempre que el acceso estuviese más o menos contabilizado.
O sea que yo el la
la la iniciativa de Ángel a mí
me parece completamente, o sea, perfectamente factible.
Y no hay que hacer demasiado sin versiones
ni nada de eso.
Muy bien dice Ángel
que puede tardar unos minutos en corregir 80 problemas de programación.
Claro, porque está dedicado solamente a eso.
O sea que no.
Muchas gracias.
Pues intentaremos conocer más de la propuesta de Ángel y muchas gracias
Jesús y y Celia por esta charla
que ha generado muchísimas preguntas y y eso es bueno, y que nos planteemos
todas estas cuestiones para definir esa política en la que estamos trabajando
y que a ver si antes del verano ya sale a la luz
y nos ponemos todo en contacto y recogemos feedback de todos.
Así que nada, muchas gracias. Y
por mi parte, nada, nada más estamos postergados.
Si os parece ya este seminario, que ya son las dos y cinco.
Muchísimas gracias.
Vale, gracias. Hasta luego.