Buenos días. Vamos a dar comienzo. Bueno, me presento. Mi nombre es Jessica Díaz. Soy adjunta en el Vicerrectorado para Universidad Digital y responsable de la Oficina de Apoyo a la Docencia junto con la responsable de Sonia Linio Vamos a ver hoy una sesión súper interesante sobre el uso responsable de la IA en la UPM. Todas las oportunidades, pero también los riesgos que se nos generan, los principios éticos y toda la regulación de la que debemos ser conscientes en cuanto a protección de datos, propiedad intelectual, etcétera. Esta ponencia viene de la mano de Celia Fernández Aller y Jesús Salgado Criado. Celia es amiga, es compañera, es una profesora contratada. Doctora en aspectos jurídicos, éticos y sociales en la en el Campus Sur y Jesús Salgado es profesor doctor también en el Departamento de Ingeniería de Organizaciones y Administración de Empresas en la Escuela de Ingeniería Industrial. Y bueno, conozco de cerca su trabajo, el que han ido desarrollando en ética desde el diseño. Y bueno, seguro que hoy vamos a aprender muchísimas cosas interesantes, así que doy pie a ellos, que son los importantes. Cuando quieras, Celia. Muy bien. Gracias, Jessica. Bueno, pues nada. Buenos días a todos y a todas. Hay bastante gente por aquí y bueno, la verdad que impresiona mucho ver ahí tantos participantes, pero. Pero bueno, en la sesión va a tener dos partes. En la primera me voy a referir al uso de la inteligencia artificial en la docencia y los principales retos éticos y sociales. Y luego en 1/2 se referirá el profesor Jesús Salgado a los retos de la investigación y también haremos una pequeña referencia a los retos en la administración académica, en la gestión. Eh bueno, nos hubiese gustado una sesión más participativa, pero bueno, realmente este formato pues da para lo que da. Sí que os animamos si queréis, al hilo de nuestra explicación. Bueno, pues poner en el chat cualquier asunto sobre el que queráis comentar. Bueno, pues vamos a intentar manejar el el chat y si es necesario, por la importancia del tema que planteáis. Daros la palabra, pues también no tenemos, no tenemos ningún inconveniente y de hecho vamos a intentar dejar un ratito si es posible al final de estas dos horas para para que la gente que quiera pueda pueda intervenir. ¿Porque yo creo que este es un tema que de una manera u otra nos toca a todos como muy muy, muy de cerca, no? O sea que realmente todo, todo, todo el profesorado estamos pensando en estos retos que nos plantea la inteligencia artificial. No todos lo estamos utilizando, pero bueno, pues realmente eh, por el por el de conversaciones que tenemos con compañeros, con compañeras. Es un área de muchísima preocupación ahora mismo sobre si lo lo estamos haciendo bien y también como como animar a los estudiantes a que puedan sacar partido sin sin jugársela mucho, sin jugársela mucho, porque estamos hablando de retos también para los derechos humanos inclusive. Bueno, eh, Uy, a ver si puedo. Sí, vale, entonces, eh, la estructura de mi parte es básicamente bueno, pues las oportunidades y los riesgos que presenta la inteligencia artificial para la para la docencia. Bueno, en relación a la a la. A las oportunidades. ¿Bueno, pues sin ninguna duda la inteligencia artificial tiene bueno, nos presenta pues muchas posibilidades nuevas, no? ¿Para hacer nuestra nuestra docencia mucho más atractiva, eh? Y más provechosa para para el estudiantado y. Y no sé. ¿Sirve como ente de escritura o bueno, pues para preparar cantidad de de formatos distintos no? Con bastante nivel de de eficacia, dicho sea de paso, nos sirve para animar las clases. Nos podría servir también para la evaluación, para hacer tutorías personalizadas a través de chatbots, por ejemplo. Estos son algunos de los de los ámbitos en los que de una manera o de otra, todos utilizamos la la inteligencia artificial, EH. Los estudiantes, por su parte, también lo utilizan, lo utilizan más que nosotros en general. ¿Y para qué la suelen utilizar? Bueno, pues para para la explicación de conceptos. ¿Hasta un 58% de gente lo la le saca este este partido no? ¿Además te lo dicen, no? Oye, hay videos realmente en internet que incorporan inteligencia artificial que son buenísimos y que me sirven para aproximarme al contenido. ¿No acaban de decirte mejor que en una clase, pero bueno, a veces así en confianza, sí que te lo dicen, no? Lo utilizan también para hacer resúmenes de materiales, de artículos, de libros. ¿También para la generación de ideas, para la investigación, no? O sea, como un brainstorming, no como una lluvia de ideas inicial, porque creo que todo el mundo, eh echamos mano de la de la IA para eso, porque indudablemente ofrece muchas alternativas y también a veces un. Un 18% de los estudiantes admiten utilizar los resultados de la IA directamente. ¿De eso somos somos testigos los profesores no? O sea que yo algunos trabajos fin de grado, eh, en sus versiones iniciales, en sus borradores, que eran realmente. ¿Pues un escupitajo de traje, no? Y vamos, Claro, es que eso. ¿Pues tampoco puede ser, no? O sea que deberíamos de tener una conciencia crítica suficiente como para conseguir que nuestros estudiantes e, digamos, reformularse y utilizasen el primer input que les da, el primer output que les da la IA con un poco de espíritu crítico, no, que no se fía de lo primero que aparece. Bueno, eh. Aunque ya veis, un porcentaje de vosotros pequeño habéis rellenado el formulario que os pedíamos para ver cuál es el asunto que más os preocupa, etcétera. A mí me preocupa un poco el tema de la evaluación con IA. Yo he hecho por ahí algunos, algunas pruebas y la verdad que por ahora los resultados en mi caso son muy malos, posiblemente porque yo me dedico a la parte de la ética y de la legislación, pero yo no he conseguido que la IA me evalúe bien, o sea, no lo he conseguido. Sí que os quería preguntar y he lanzado un bucle. Os quería. Vamos a poner el código en el chat para que, si sois tan amables, contestéis al bucle sobre si utilizáis o no utilizáis la IA con esta finalidad de de evaluación. ¿Eh? Voy a poner el código de en el en el chat ya lo he puesto yo. Celia ya lo pusiste a Vale, bueno, he puesto el vínculo entero, no sé si este, pero no sé si les llevará o no, porque todo depende también de si están. Sabes que a veces el bucle te tienes que si si si, si, dándole lleva correctamente, no te preocupes. A ver. ¿Bueno, porque? ¿Porque lo lo contestase y así yo luego me quedo con la información, porque preparando el curso con Jesús lo que si tenemos es pues eso, muchas ganas de confrontar con el profesorado y sobre todos estos, sobre las oportunidades y sobre todo sobre los riesgos, no? Entonces, bueno, me resultaba interesante contar con vuestra, con vuestra opinión y aprovechamos, aprovechamos que estáis ahí. ¿Todos están disponibles para para extraer información, no? Vale, yo trabajo en la biblioteca y no lo utilizamos para evaluar. Bueno, pues mira eso que te vale. Vale, vale. Eso que te que te pierdes. Porque la verdad que mis experiencias han sido desastrosas con la evaluación. Bueno, eh, vale. Luego luego os compartiré los los resultados. Voy a continuar entonces. Y aparte de oportunidades, la la inteligencia artificial tiene riesgos y voy a centrarme bastante en esta parte de los riesgos. No porque crea que tiene más riesgos que oportunidades, sino porque. Bueno, pues porque creo que sobre las oportunidades que nos ofrece la IA van a estar centrándose la mayor parte de las sesiones de Primavera Tech. La mayor parte de las sesiones nos ofrecen herramientas nuevas con potencialidades y entonces digamos que están muy centradas en las oportunidades. Hay menos posibilidades de reflexión en torno a los riesgos. Por eso mis transparencias se van a centrar fundamentalmente en los riesgos. Y os digo, pero no porque crea que es más importante ni tiene más peso, sino porque ya que tengo esta oportunidad y ya que tenemos esta oportunidad en el primavera, te vamos a centrarnos aquí. ¿No? Bueno, la oficina C del Parlamento no sé si la conocéis, pero es una oficina bastante interesante que intenta acercar la ciencia a los diputados y diputadas para que adapten las políticas públicas. Bueno, pues tiene una serie de documentos y hay uno sobre la inteligencia artificial y la educación bastante reciente, donde resume muy bien cuáles son los riesgos que deberíamos intentar minimizar en el ámbito educativo si utilizamos inteligencia artificial. No habla de la protección de datos, de la de la vigilancia, de los sesgos, de los efectos en las capacidades humanas. De estos temas vamos a hablar ahora a continuación de la desconexión social y el posible aislamiento de los estudiantes del efecto filtro del gasto energético y coste ambiental. Este tema lo vamos a trabajar poco, pero creemos que es de muchísima relevancia y deberían de estar los alumnos mucho más sensibilizados y no lo están, porque sobre esto yo sí que trabajo con ellos. Y realmente la crisis ecosocial que está generando la inteligencia artificial en general a los estudiantes les parece que tiene un interés muy, muy secundario. ¿Y esto es es relevante? ¿Bueno, el tema de la comercialización, de la educación, de la privatización encubierta, por ejemplo, el tema de las inexactitudes y las alucinaciones, que también vamos a comentar, el uso de la IA por parte de menores, el tema del plagio, el tema de las de cómo evidenciar la copia y luego el tema de la evaluación, no? ¿Que nos tendría que hacer replantearnos en nuestros métodos tradicionales? Bueno, esto es como una un resumen, no un resumen de algunas de las cosas que vamos a trabajar y tenéis a vuestra disposición, por supuesto, el informe y y podéis echarle un vistazo. ¿Eh, eh, Bueno, los riesgos que las propias empresas reconocen en sus informes, pues también coinciden con los que vamos a trabajar aquí, no? Algunos de ellos, otros a lo mejor les dan menos peso. Es curioso que, por ejemplo, OpenAI haga referencia a las alucinaciones, al contenido nocivo, a problemas en la representación y la calidad del servicio. ¿Desinformación? Bueno, temas de armas, temas de privacidad, ciberseguridad e impactos económicos, el tema de la aceleración, el tema de la dependencia y de la o sobre confianza en los temas de IA. No, aquí por ejemplo, no se hace alusión a los temas ambientales, no se hace alusión a la descarga cognitiva. ¿O sea que bueno, cada uno afronta y orienta los riesgos eh? ¿Pues a su según su según sus eh, su jerarquía de valores también, no? Eh Bueno, entonces yo me voy a centrar como tenemos, el tiempo es limitado, me voy a centrar fundamentalmente en cuatro de estos riesgos y el primero de ellos es el tema de las alucinaciones. El tema de las naciones es como un riesgo, eh, de bulto que todo el mundo conoce. Y de hecho y en el caso de chat GPT, eh, vamos, las alucinaciones no son una cosa refinada, sino que es que son errores, a veces de bulto, pero de bulto de bulto que a mí me asustan porque digo bueno, ya, indudablemente hay que irse a otro o bien pagar, que yo estoy segura que el modelo de pago funciona mucho mejor. ¿O quizás cambiarse, no cambiarse de de modelo, eh? ¿Puedes ponerme algún ejemplo de alucinación que haya cometido la IA en relación a la educación, por ejemplo? Le pregunto Bueno, pues te da esto lo sabemos todos, te da referencias que no, que no existen. ¿Yo esta mañana le he preguntado y esta referencia existe? No, no existe, caramba, pero si me la diste tú, le podría decir yo. ¿Entonces, bueno, esto es una cosa que tendríamos que tener mucho cuidado, porque los errores que comete el modelo en E, sobre todo en asignaturas como la mía, eh? ¿Y bueno, supongo que afectarán a todas las áreas, pero yo estoy viendo que en las áreas en las que yo trabajo, en las áreas de ética, de regulación son errores grandes, no? O le preguntábamos Sácame una imagen de un vikingo. Este es un ejemplo que ponía Luisfer en otra sesión. ¿Bueno, pues el de piel negra no? ¿O sea, es que son son errores, eh, Muy gordos, no? El otro día estaba yo corrigiendo una una entrega de un trabajo con el borrador. Todavía había plazo para terminarla, pero era una como una tutoría intermedia de un trabajo de una asignatura, eh, en ciencia de datos. Y entonces le entregué la rúbrica y le entregué el trabajo final. Y me dicen el trabajo presenta un nivel notablemente alto, tanto en contenido como en estructura. Me da una serie de cosas y luego dice El trabajo se sitúa claramente en la franja alta de la rúbrica. Vamos, lo veo yo. Me miré el trabajo y desde luego el trabajo ni ni tenía un nivel notablemente alto ni se situaba en la franja alta. ¿O sea, tenía algunos defectos e importantes, no? Entonces. Bueno, yo no sé si esto es lo que nos va a ayudar en la evaluación. Yo necesito todavía otros modelos un poco más refinados. Desde luego. ¿Cuáles son los impactos de la de todas estas alucinaciones? Bueno, pues los impactos, claro son son muy relevantes. La desinformación, la falsedad. Tema de sesgos, tema de impacto en la toma de decisiones. ¿No sé si yo me decía ese pensé acepte para corregir los trabajos realmente, eh? En fin, viendo cuál es el nivel no he pérdida de confianza del usuario. ¿Yo creo que este es un un impacto muy importante, no? De lo de las alucinaciones no, yo desde luego no tengo mucha confianza. ¿Y las vulnerabilidades de seguridad? El incumplimiento de leyes. Bueno, os dejo ahí unas cuantas referencias sobre cómo cómo reaccionar frente a estas alucinaciones y también desde el punto de vista técnico, que esa no es tanto mi especialidad. ¿Pero hay mucho trabajo que se está haciendo en torno a este, a este asunto no? Bueno, este es un un problema, otro, otro problema, otro problema que tiene la la. ¿La inteligencia artificial en la docencia es el asunto de la de la descarga cognitiva, no? Eh, bueno, eh, indudablemente hay estudios que sí, efectivamente son muy concluyentes y según los cuales, bueno, pues parece que un uso continuado de inteligencia artificial por parte del alumnado, eh en algunas tareas que son esenciales. Por ejemplo, este estudio que tengo ahí, eh es es un en el ámbito de las matemáticas, pero también en el ámbito de la programación en otros ámbitos. Claro, habrá que ver en qué ámbito nos está descargando cognitivamente, pero desde luego el utilizar por parte del alumnado la inteligencia artificial en tareas que son muy relevantes. Voy a decir tareas que son relevantes para mí. ¿Por ejemplo, relevante es la capacidad de razonamiento y pensamiento crítico, no? Y también es importante la capacidad de expresión oral y escrita. Mmm. Entonces, en ambas cosas. ¿En ambas cosas, eh? El impacto está siendo negativo. Mmm. Por lo menos en la literatura que yo he ido revisando, que he revisado bastante literatura, es cierto, y ahora la vamos a a poner de manifiesto que hay otra parte de la literatura que es mucho más optimista y que, bueno, sí que tiene. ¿Mmm resultados positivos, no? En en relaciona positivamente el uso de inteligencia artificial y el pensamiento crítico del estudiantado o el refuerzo de sus capacidades, etcétera. Hay alguna literatura en ese sentido, pero es menos cantidad de literatura y desde luego la que hay en el sentido de un uso muy extendido de inteligencia artificial para tareas importantes como son estas del pensamiento crítico, tareas de razonamiento y de pensamiento abstracto. Tareas como la expresión oral y escrita eh hace que el estudiantado bueno se descargue cognitivamente, es decir, que el estudiantado pierda algunas capacidades. El otro día en el ámbito de Primavera Tech, la profesora Estefanía Avilés, que habló aquí sobre unos temas de aprendizaje basado en proyectos y y otras cosas, hacía alusión a esta década cognitiva que ella lo había, lo había observado. No se sabe si es como consecuencia del uso de la inteligencia artificial, pero sí que había observado cierta descarga. ¿Agonizaba en el estudiantado, en estas competencias, en estas competencias de expresión oral y expresión escrita, no? Bueno, aquí, por ejemplo, en este estudio al que os hago referencia del año pasado, bueno, de 2024, el hallazgo clave fue que cuando se retiró el acceso al base, los estudiantes obtuvieron pero resultados en los exámenes que aquellos que nunca tuvieron acceso una reducción del 17%. Esto sugiere que el acceso a a esta herramienta puede dañar los resultados educativos si no se implementan las medidas adecuadas. Bueno, esta es una una referencia, eh, En el mismo estudio. ¿Bueno, pues también También hacen referencia a que estas herramientas pueden facilitar tareas pero conllevan el riesgo de deteriorar las capacidades de los estudiantes para aprender habilidades necesarias para resolver dichas tareas, no? Bueno, a mí esto me parece preocupante. Desde luego, si las tareas que se están descargando son tareas relevantes para el estudiantado y desde luego el razonamiento crítico y la comunicación oral y escrita creo que son de las tareas competencias blandas. ¿Mmm más relevantes hoy día no? O sea que se necesita, que se necesitan de manera clarísima y todos los estudios y todas las empresas con las que hablamos nos lo nos lo recuerdan. Si realmente el uso de la inteligencia artificial, pues porque se esté haciendo mal, porque no sabemos orientarlo o por el motivo que sea, está teniendo esta consecuencia. ¿Bueno, pues yo creo que es para para preocuparse, no? Aquí tenéis otra. ¿Otra? Vale. Deterioro de las capacidades. Este es el mismo estudio y aquí tenéis otro estudio también ya de 2026. Eh, del de la Universidad de Sídney, que también concluye en la misma. En la misma línea, no. La. La comodidad que ofrece la IA puede mermar la implicación de los alumnos en los procesos esenciales de aprendizaje autorregulado, en la planificación, en el seguimiento, en la revisión. Bueno, eh, como os decía, hay sin embargo, otra línea de trabajo que tampoco podemos desde y os he sacado estos. Estas referencias que parece que arrojan arrojan resultados a veces un poco distintos, o sea, como que no creen que la descarga conectiva sea tan tan tan relevante. Es decir, bueno, eh, hay estudios en todas las direcciones. O sea, bueno, el asunto requiere, yo creo, más investigación, sin ninguna duda. Lo que pasa es que esto tiene un problema. La inteligencia artificial tiene problema, y es que como todo va tan rápido, a veces los resultados acerca del impacto que la inteligencia artificial tiene en derechos fundamentales como sería el derecho a la educación en nuestro caso, porque la descarga cognitiva no deja de ser un asunto relacionado con el derecho a la educación. O sea, si tú descargas cognitivamente en algunos aspectos esenciales al alumnado, al final estás teniendo un impacto en su derecho a la educación. ¿O sea que esto no es una cosa trivial, no? El problema es que los impactos en los derechos requieren estudios de medio y largo plazo. ¿O sea, los estudios de impacto no se hacen así tan rápidamente como se despliegan los sistemas de inteligencia artificial, no? ¿Que en dos días tienen millones de usuarios, no? Entonces ahí tenemos como una falta de, eh, una dificultad por los ritmos, por los ritmos, no los ritmos de trabajo de los investigadores y los ritmos de trabajo de los de los técnicos. No, los técnicos van siempre a toda, a toda pastilla. Lo mismo pasa con las soluciones legales, que siempre se dice que si los las soluciones jurídicas, la legislación siempre llega tarde. Mmm. Pero claro, es que siempre llega tarde, porque para sacar una ley pues hace falta un proceso participativo. Hay que probarlo en los parlamentos. Para que haya seguridad jurídica necesitamos tiempo. Entonces, bueno, pues esto es un problema, es un problema los ritmos a los que trabajan, las distintas, eh, las distintas especialidades. Bueno, esto por otro lado, el tema de la descarga cognitiva, tercer riesgo que a mí me parece relevante. Bueno, no es trivial. ¿Y vamos, lo habéis señalado en la en el formulario que nos preguntábamos hay alguna gente que sí que se preocupa por la protección de datos, por la por la subida de datos sensibles a los modelos? Hay alguna gente que está preocupada por por este asunto e indudablemente es relevante. Primera cuestión no debes introducir datos personales en los modelos. Yo creo que eso. En general todos tenemos bastante sensibilidad, pero me da la impresión de que los estudiantes tienen menos, porque yo llevo muchos años explicándoles la protección de datos a los alumnos y las alumnas de esta escuela y de otras escuelas con las que colaboro. ¿Y la verdad es que el alumnado en general, así como os decía al principio, que en torno al asunto del impacto medio ambiente no tienen mucha preocupación, tampoco la tienen con la privacidad, eh? O sea, son, eh, son jóvenes que han nacido ya con todas estas herramientas a su disposición y realmente la privacidad no es un asunto que les preocupe de manera muy importante. ¿Eso es la conclusión que yo saco porque les pregunto mucho y entonces me da la impresión de que ellos meten ahí datos personales y todo lo que haga falta, no? Datos personales es cualquier información que se refiera a una persona física identificada o identificable. Entonces datos de investigación que no sean públicos, datos financieros, de recursos humanos, de expedientes académicos, información médica. No, no se deben incluir. Y la información compartida con las herramientas de IA generativa. Tenemos que tener cuidado porque normalmente la configuración predeterminada, la configuración que tienen estas herramientas por defecto, eh, no es privada. Sucede lo mismo que con las redes sociales que tienen. No tienen configurada la la privacidad por defecto, sino que es el usuario el que tiene que configurarlo. Y la verdad es que la gente no nos dedicamos normalmente. ¿No sé vosotros, no solemos hacer una configuración de la privacidad y entonces bueno, pues estamos expuestos a a amenazar a la privacidad, no? En esto, por ejemplo, son los argumentos que yo suelo utilizar con mis estudiantes. ¿Bueno, y en general en las conferencias que doy siempre dedico mucho tiempo a este asunto, no? De recordar que la privacidad por un lado es un derecho, pero también es un valor ético que tiene muchísimo consenso. O sea que cuando tú preguntas a la gente, exceptuando los alumnos por su juventud pero en general proliferan los estudios sobre el valor ético de la privacidad en el campo de la ética. Cada vez hay más estudios en torno a la privacidad. ¿No, eh? Por otro lado, hay escándalos que nos deberían hacer pensar No podemos contar estos, estos escándalos, pero sí que os dejo ahí los enlaces porque son muy relevantes. O sea, el escándalo de Cambridge Analytica es un escándalo brutal, brutal, de cómo la democracia está absolutamente amenazada por el tipo de uso que se está haciendo de los datos de opinión política. ¿Y los datos de opinión política están dispersos por por Internet, eh en las en las redes sociales de opinión de manera más más clara, no? ¿Eh, Bueno, el segundo escándalo es el de las aplicaciones móviles, eh? De salud mental, de apoyo a la salud mental. Todos estos programas que que utilizan por lo menos los jóvenes hoy día como sustitutos de las terapias habitualmente, o sea, no como un complemento a la terapia, en cuyo caso pues podría estar muy bien, sino como como sustitución de las de las terapias. Estas aplicaciones tampoco son un ejemplo de respeto a la privacidad y la verdad que se te ponen los pelos de punta. Y luego el tercer escándalo es el relativo a una neurotecnología o un un casco de medición de impacto cerebral, de medición, de de de rendimiento cerebral que está al alcance de cualquiera por Internet Y como como hubo un asunto que llegó incluso a los tribunales en Chile y condenaron a la empresa por mal uso de los datos personales. Entonces, bueno, ya sabemos que los datos personales son el petróleo de la economía digital y además el el la protección de datos condiciona. ¿O sea, es muy importante porque condiciona otros, otros derechos no? Como el acceso al trabajo, al crédito, a los beneficios sociales. O sea, la privacidad no es una. ¿No es una broma, no? Entonces. Bueno, como no es una broma, conviene que hagamos un uso responsable y no metamos nuestros datos en, eh, en la IA cuando la utilizamos. No. Eh. O Y reconocen uno de sus de sus documentos, por ejemplo, que el modelo puede completar múltiples tareas básicas que pueden estar relacionadas con información personal y geográfica, como determinar las ubicaciones geográficas asociadas a un número de teléfono. Sí. O sea que. Bueno, eh, esto es así. ¿Ellos mismos lo reconocen, no? Bueno, ahí os recuerdo un poco. Aunque esto lo vamos a pasar rápido. ¿Cuáles son estos principios de la protección de datos? No. De cómo hemos de, eh, de tratar la información personal que tenemos. Los profesores no somos responsables de los de los ficheros de datos personales porque es la universidad la que tiene la responsabilidad, pero nosotros y. ¿Y bueno, la realidad es que manejamos mucha información de los estudiantes, con lo cual deberíamos de manejarla eh? ¿Mmm, de forma segura, de forma justa, sin transferirla a terceros, eh? ¿Y con respeto pleno a los derechos de los de los interesados, no? Entonces bueno, información personal es cualquier hoja de cálculo en la que nosotros tenemos las las calificaciones o cualquier nota que hagamos de un estudiante apreciaciones sobre su desempeño académico. ¿Todo eso es información de carácter personal, no? ¿Eh Bueno, también para que tengamos claro que cuando hablamos de datos personales y que hay que distinguir como distintos sujetos, nosotros somos los titulares de nuestros propios datos, eh? El responsable. Si nosotros estamos diciendo el CPC, por ejemplo, es es OpenAI, es la empresa, bueno, pues que tenga acceso a esos datos en primer término. Pero luego hay una figura muy interesante en protección de datos que es el encargado del tratamiento, que son entidades que son intermediarias entre nosotros y un responsable final. Y muy a menudo estos encargados pasan muy desapercibidos. ¿A veces no sabemos ni qué están, porque si open ella y de pronto subcontrata un servicio a 1/3 y le pasa a nuestros datos, nosotros no nos vamos a enterar de eso, no? O sea que realmente la figura del encargado aparece sin consentimiento por parte del usuario y es una figura que genera muchísimos problemas en la práctica. Luego hablaremos más de esto con algunos ejemplos que os traigo. ¿Y entonces, bueno, que seamos conscientes de esto, no? ¿Bueno, dentro de los datos personales hay que tener especial precaución con los datos de carácter sensible, que son única y exclusivamente estos que pongo ahí, no? Ideología, religión, creencias, origen racial, salud, vida sexual, datos biométricos y datos genéticos. Esos son los únicos datos sensibles que establecen nuestra ley de protección de datos. Y yo creo que sí, que es un un tema relevante distinguir lo que son datos sensibles de lo que no, porque sobre los datos sensibles recaen obligaciones mucho más reforzadas. Si se trata de datos sensibles, hay que tener un delegado de protección de datos, hay que hacer estudios de impacto, hay que reforzar mucho las medidas de seguridad. Digamos que son datos además, que mal utilizados generan o tienen muchísimo más impacto negativo en el usuario. Entonces es importante distinguir lo que son datos sensibles de de los que no. Esto lo trabajo yo mucho con mis estudiantes y es un tema que parece bastante fácil de comprender por una inteligencia artificial, porque está en la Ley de protección de datos. ¿Bueno, pues si le pregunto al al chat GPT, sabes dónde vive Jesús Salgado? ¿Jesús Salgado como si fuese único en el mundo? No tenía que haber dicho El profesor Salgado Criado no me dice no tengo información sobre el domicilio de ninguna persona y aunque la tuviera, no sería apropiado compartirla porque es un dato personal, privado y sensible, dice. ¿Y sensible, no? ¿Esto sí que es otra alucinación del PP, no? ¿O sea, el dato de domicilio no es un dato sensible, no? ¿Entonces digo, si el PP es capaz de alucinar con este, este, esta información que es tan básica, no? ¿O sea, realmente es una cosa como a mí me asusta este nivel de fallos, no? Bueno, recientemente también hemos sacado un estudio con otros profesores de la Escuela de de Telecomunicación de Ciudadanía. Eh, el profesor Álamo y el profesor Rodríguez Torrado, eh, son ingenieros de privacidad. ¿Y bueno, pues lo que lo que sacamos de este estudio es que más del 80% de las aplicaciones móviles eh no declaran los receptores, no? O sea, no declaran receptores de datos personales cuando están enviando datos a terceros. Eh, eh, Por distintos motivos. Esto está muy relacionado con el uso de las librerías de programación, pero la realidad es que se están compartiendo. Nuestros datos personales se comparten. Ahí tenéis en el gráfico los destinatarios. Google, Meta y Unity son los destinatarios preferentes. Y además, en este estudio quedó claro que las las aplicaciones móviles en más de un 80% tampoco cumplían sus políticas de privacidad. ¿Dicen cosas pero que luego no cumplen y además envían datos a terceros, no? Bueno, las aplicaciones pueden usaría o no usarla, pero la realidad es que tenemos este contexto de poco cumplimiento de la normativa de protección de datos. Y luego ha salido, pues hace poquísimo ha salido. Yo no sé exactamente, pero yo creo que fue hace semanas. El grupo de De Ideas Software de la Carlos tres ha sacado también unas conclusiones bastante alarmantes sobre cómo los asistentes de inteligencia artificial están y están filtrando información personal. ¿Esto lo han demostrado y no sé si aquí he puesto el enlace en el en las notas, pero bueno, lo lo lo tengo que añadir eh? ¿Tienen en GitHub todo el desarrollo del trabajo que han que han hecho y bueno, pues las conclusiones son estas que hay ahí no? O sea, realmente si tú sabes perplejo City, pues a quién se habilita acceso a metadata a singular si utilizas antrópica meta intercom tal y a Google Analytics grog a TikTok a meta. O sea, realmente y esto es que está demostrado porque estos son ingenieros de privacidad, también son súper punteros. ¿Y bueno, a mí la verdad que esto me da un poco de bueno, un poco de mal rollo en términos así triviales, no? Eh DElía pregunta pregunta Jessica por reconfirmar el domicilio no es un un dato eh, privado y sensible personal es un dato personal, pero no es sensible. Ajá. Okay, No es un dato sensible, claro, pero es privado. Estás violando la protección de datos si lo subes. Si no es que tampoco que me generaba. Y por ejemplo listado anterior que has mencionado que lo ha puesto aquí También Miguel lo ha recordado el origen racial, estado de salud, opiniones políticas, preferencias. Bueno, todo lo que has dicho, pero claro, hay expedientes, notas, no está. Entonces es un poco personales, claro, Hasta qué punto es claro. A ver, yo no quiero decir que el resto de los datos personales no haya que ser cuidadoso con ellos, porque hay que serlo. Para un estudiante sus calificaciones es un dato muy relevante, pero no son datos sensibles. Mhm. Vale, digamos que es más problemático hacer un mal uso de datos sensibles. Es más problemático, pero no todos los datos sensibles hay que tratarlos con cuidado. ¿Eso sí, pero los datos privados de domicilio, expediente de notas y todo eso, también estaríamos violando la Ley de Protección de datos, no? Claro, claro. Lo que pasa es que dentro de la Ley de Protección de Datos se hace una diferencia entre los datos sensibles y los que no lo son. ¿Todos necesitan protección, pero los sensibles tienen un nivel de protección reforzada, no? Saber las sanciones, por ejemplo, por incumplimiento, son mucho más altas y el impacto en los derechos de las personas es mucho mayor. Rango Un. Un joven que utiliza una aplicación de de estas de de salud mental no. Que lo utilizan en un porcentaje enorme en un porcentaje enorme. Los alumnos utilizan estas aplicaciones no. Y los datos de salud mental son datos sensibles. O sea, es que si esas. Si esas aplicaciones ceden a terceros sin consentimiento, es que es muy relevante. ¿O sea, es que estamos hablando de una de, o sea, de una información, eh? Es una información que en el mundo empresarial descalifica a la persona para acceder al mercado laboral. Mmm. Mmm. O sea, yo he tenido una persona muy cercana en el semestre pasado con con un problema de salud mental y. Y para que os hagáis idea, ni en los registros que el centro de salud pasa a la empresa ni en las comunicaciones de la empresa. Con esta persona se ha llegado a a explicitar nunca que se trataba de un tema de salud mental. O sea, es que el tema de salud mental está proscrito, ya está proscrito. Es decir, que si tu empresa se llega, o sea, si en tu empresa se llega a saber que tú has tenido un episodio de salud mental, el que sea, eh, Vamos, que te la juegas. O sea que es que es muy fuerte. ¿Entonces me refiero a que a que bueno, a que el impacto que tiene en los derechos un mal uso de un de una información de salud es muy relevante, no? ¿Pero vamos, que como dices Jessica, cualquier dato personal, cualquiera está dentro de la ley, por supuesto, y se deben de utilizar todos bien, eh? Gracias. Bueno, vale más cosas. Celia esto pide Almudena. Si podemos compartir la web de IT de GitHub del estudio de Si es que yo no sé por qué no lo tengo ahí todo vale. Sí, sí, sí, sí. Ahora lo pongo en el ahora lo pongo en el voy a seguir y cuando termine lo pongo en el chat. ¿Vale? Porque ahora como estoy en este tema no me puedo dispersar, pero si ahora os lo pongo es él, es el profesor Marcelo que es un es un fiera en estas cosas y la verdad es que yo me enteré por LinkedIn y mira que LinkedIn me tiene muy enfadada porque utiliza, eh, O sea, se queda con todo, con todo. En esta información personal para, para, para alimentar a su su inteligencia artificial. ¿Pero bueno, hay que hay que entrar en la configuración y y cambiarla no? Pero por defecto se queda con todos nuestros datos personales. Bueno, más cosas entrenan con mis datos. Bueno, aquí tenéis también un resumen. Esto tenéis en las notas la fuente, que es el profesor Betty de un observatorio que hay en Andalucía de inteligencia artificial en el sector público que tiene un código de uso de la IA generativa y. Y bueno, pues ahí también tenemos información sobre si los modelos entrenan con mis datos o no, hay mucha información, no hay mucha información. También os quiero recordar porque creo que esto es relevante, que nuestra Ley de Protección de Datos tiene un artículo en el que dice que la educación digital que es obligatoria, o sea, eh es obligatorio que los alumnos de las universidades reciban educación digital, sea educación no solo sobre lo sobre lo técnico, sino también sobre sobre los riesgos que tiene. ¿Eh eh? Todo esto en la educación digital debe de comprender un uso crítico y seguro de los medios digitales. Lo contrario no solo perjudica al aprendizaje, sino también la dedicación, el esfuerzo y los procesos de pensamiento que nos permiten ser pensadores críticos. Y esta es una ley orgánica. O sea que esto no es importante, que es que es obligatorio, que es obligatorio que nuestros alumnos hoy hablar de estas cosas. ¿Y bueno, también a nivel de certificación, que esto nos lo recordaba Jessica cuando estuvimos planeando el curso, indudablemente todo lo que supone la certificación eh eh, es un ámbito muy relevante porque a veces lo que hace es eh, como bajar a tierra los requisitos que existen a nivel legal, no? Bueno, no hemos hablado, por ejemplo de la del Reglamento de Inteligencia Artificial Europeo de ley, que sabéis que está bastante retrasado en cuanto a entrar en vigor en su aplicación práctica. No, porque bueno, se ha aprobado el ómnibus digital que ha retrasado la entrada en vigor de nuestro reglamento de Inteligencia Artificial por presiones del gobierno americano. Y eso es así. ¿Y de la industria americana de tecnológica sobre todo, no? ¿Y entonces el Reglamento de Inteligencia Artificial se refiere a algunas de las cosas que estamos hablando, no? Y en concreto prohíbe algunos usos en el ámbito de la educación, EH que se refieran, por ejemplo, en el artículo cinco, a inferir emociones de la persona física en los centros educativos, en todo lo que sea inferencia emocional que ya se está probando en China, por ejemplo. Bueno, pues aquí no sería posible. O sea, está prohibido en en la Unión Europea y se califican como de riesgo alto, Es decir, tienen unos requisitos muy reforzados, eh Las aplicaciones de de inteligencia artificial aplicadas a educación en el ámbito de precisamente la evaluación en el ámbito de la evaluación y en el ámbito de la admisión a los a los centros educativos no. ¿Que son dos ámbitos como muy críticos, no? ¿Quién entre quién no entra en determinados sitios? Y luego el tema de la evaluación. Entonces, en estos casos la inteligencia artificial aplicada a estos sectores sería considerada de alto riesgo y entonces eso quiere decir que los proveedores tienen como unas obligaciones reforzadas de documentar técnicamente de supervisión humana. ¿En fin, son obligaciones muy estrictas, no? ¿Pero la ley se queda siempre como a un nivel muy alto y la certificación lo que hace es descender a la a la práctica de cuáles son los requisitos técnicos y cómo se deben de verdad de diseñar los los sistemas, no? ¿Entonces, yo creo que el ámbito de la certificación también es muy relevante y que sepamos que existe una norma ISO 42.001 que asegura la transparencia y la responsabilidad de los sistemas de inteligencia artificial, no? ¿O sea que bueno, vamos, vamos avanzando en este asunto, no? Bueno, y luego el 4.º riesgo que quería comentar y ya me queda poquito, es el tema de la del plagio de la propiedad intelectual. Eh, eh. ¿Antes de publicar el contenido, compartirlo, eh? Bueno, hay que hay que revisarlo. El contenido generado por y además puede ser inexacto, puede ser engañoso, puede contener material protegido por derechos de autor y por otro lado, eres responsable de cualquier contenido que publiques o compartas y que incluya material generado por la IA. ¿O sea que al final cada uno somos responsables del del material que difundimos, no? ¿En especial en el ámbito universitario, el asunto de la propiedad intelectual y del crédito no y de las de las producciones científicas es muy relevante, es muy relevante y aquí tenemos un reto muy grande porque bueno, pues eh, si utilizamos y a quién? ¿Quien tiene la propiedad intelectual sobre sobre los resultados, no? ¿En principio somos nosotros, seguimos siendo nosotros los los responsables o a nadie le va a poner una una demanda por infracción de derechos de autor? En principio no. Bueno, ya sabéis que hay que distinguir entre lo que es propiedad industrial de derechos de autor en función del objeto de la de, o sea, de la obra de la obra. El hardware, por ejemplo, está protegido por por patentes y las obras literarias, artísticas, etcétera están protegidas por por propiedad intelectual. Y bueno, pues los requisitos son distintos, tiene unas pequeñas diferencias, pero bueno, en todo caso, que sepáis que todo está protegido por propiedad intelectual o industrial. De hecho, en el ámbito anglosajón se habla de los intellectual property rights y abarcan todo. ¿Abarcan también las patentes, eh? ¿O sea, cualquier obra que sea original de una persona o cualquier invención, eh? Bueno, pues tienen una, una protección y por tanto. Hay que tener cuidado. O sea, si la metemos en una IA. Y en este sentido, cuando los profesores metemos un trabajo del alumno en el chat GPT, eso está en el límite con la legalidad, la tendríamos que advertir e incluso pedir autorización para meter un trabajo en una un modelo de IA. Porque claro, la propiedad intelectual de los trabajos es de los alumnos, aunque sea muy muy cerrada. ¿El trabajo no deja de ser una obra de la propiedad intelectual y eso lo tenemos que que tener claro, eh? ¿Vale, y luego quién tiene los derechos sobre los sobre los resultados? ¿Bueno, pues normalmente el usuario es el que conserva la titularidad, no? ¿Pero eh, aún así tenemos que tener cuidado por lo que digo, no? Que tú metes algo en una inteligencia artificial y si no tienes los permisos sobre ese algo, pues te la puedes, te la puedes jugar. Y con el nivel, además de errores que estamos viendo que tiene, pues vale. Y luego también es preocupante el tema del phishing. La IA generativa ha facilitado a los actores maliciosos la creación de sus correos electrónicos de phishing y también fakes, videos, audios destinados a imitar de forma convincente la forma, la voz o la apariencia física de una persona sin su consentimiento. ¿No todos estamos acostumbrados a recibir este este tipo de material, no? Entonces sí que es importante ser cautelosos a la hora de usar las herramientas. ¿Bueno, qué? ¿Qué propuestas tengo frente a todo esto que estamos diciendo? Bueno, pues una cosa que es es importante y me consta que está entre los planes de de nuestra universidad, es tener una política de uso de la inteligencia artificial. O sea, aquí tenéis un enlace a algunas universidades con sus políticas de de uso de la IA y. Y bueno, indudablemente necesitamos una, necesitamos una política donde se establezca. ¿Bueno, pues cuáles son las reglas del juego donde se asesore al profesorado en torno al uso de estas herramientas y también nos aportaría mucha seguridad jurídica a los profesores y a las profesoras el tener esta política para, pues para saber a qué atenernos, no? ¿Eh, esta política, eh? ¿Pues qué debería de contener, eh? Bueno, pues debería de indudablemente mmm eh establecer cuáles son los usos permitidos, si los hay, de las guías generativas, en relación a qué actividades, qué ámbitos de la docencia sí, si la evaluación sí o no, cómo informar a los estudiantes. E En fin. En general, yo creo que las. Las políticas académicas en torno al uso de la IA es una cosa importante. El CSIC tiene. No he puesto el enlace, luego lo pondré. ¿También el CSIC tiene un documento interesante sobre sobre el uso de la IA en el ámbito universitario y en el ámbito de la investigación, fundamentalmente, que creo que nos puede servir también de modelo para para aprender, eh? Y bueno, creo que también deberíamos de, de alguna manera o de otra el profesorado intentar contribuir en el diseño de esta política. En este sentido. Luego Jesús os va a hablar de un grupo en teams que que ha creado al que estáis todos y todas invitados para discutir todas estas cosas. ¿Puede ser un buen foro, eh? Que claro, las políticas en la medida en la que se construyen desde abajo, luego también tienen como mucha más apropiación y la gente las las las cumple más. Bueno, entonces este es un tema que tenemos pendiente en la universidad. ¿Y luego ya por terminar, hay unas sugerencias que son como muy muy de cajón no? ¿O sea, qué tipo de sugerencias puedo dar? ¿Bueno, pues que seamos transparentes con los estudiantes en torno a qué herramientas utilizamos para que las utilizamos, eh? ¿Si generamos material con IA, pues decirlo, eh, eh? Y también pedirles a ellos que hagan que hagan esto. Claro, se utilizan la IA. Bueno, pues luego Jesús va a enseñar alguna alguna plantilla que tiene muy desarrollada sobre esto. ¿Bueno, pues realmente ofrecerles plantillas para que yo sepan cómo reportar el uso que hagan de la IA que yo creo que tenemos que acostumbrarnos a hacerlo, no ellos y nosotros, eh? En cuanto a la evaluación, si permites el uso de IA en los trabajos, bueno, pues diseñas rúbricas. Los he puesto luego una o la enseño. Rúbricas que valoran el proceso, o sea, los borradores, las reflexiones, las justificaciones y no solo el producto final. Hay que considerar formatos menos susceptibles de automatización, como por ejemplo las defensas orales. Si tuviésemos menos estudiantes utilizaríamos más las defensas orales y lo hacemos siempre que podemos. Pero eso es infalible. ¿Tú pones un examen oral y a los tres minutos sabes si el estudiante domina la materia o no la domina? ¿Un portafolio? Reflexivos, proyectos situados en contextos reales. Bueno, hay distintas herramientas que nos pueden ayudar definir desde el inicio, además con políticas claras qué usos están permitidos, cuales requieren declarar declaración y revisar las reglas con regularidad. Y luego bueno, pues utilizar la IA como un andamiaje, pero no como un atajo, como un atajo. No podemos permitir a los estudiantes que utilicen IA, pero tenemos que ayudarles a que no sustituyan el pensamiento crítico, la argumentación, la creatividad, la colaboración. O sea, eso son para celas de su actividad a las que no deben de renunciar bajo ningún concepto. Tendríamos que ayudarles también a graduar la autonomía, a a guiar les en el uso conforme avance que experimenten. Pero bueno, pues como que seamos también acompañantes, no del uso que hacen de la inteligencia artificial y también con honestidad no académica. ¿O sea, realmente los profesores y las profesoras, eh? A veces vamos por detrás de ellos en el uso de la IA, con lo cual, bueno, que ellos vean que nosotros también tenemos dificultades, que también somos conscientes de de los de los errores y bueno, que somos compañeros de camino. ¿En cierta medida no? Y el otro día en un en un libro muy interesante que también os voy referenciado, no teaching este teaching a práctica. El Gatito Anywhere es muy muy interesante sobre la enseñanza de la enseñanza en tiempos de inteligencia artificial. Bueno, pues ofrecen una una rúbrica que os he traducido, eh, para. ¿Bueno, pues para mmm eh? ¿También para pensar que en la medida en la que diseñemos rúbricas con cierto cuidado, podemos, eh, podemos hacer que los estudiantes, cuando utilicen la IA, lo utilicen de manera más razonable, no? ¿O sea, realmente si lo que les pedimos es muy trivial, pedimos producto? Pues claro, si tú pides un producto final, es es más fácil que te te entreguen directamente el resultado de la IA. Pero no queremos eso. ¿Queremos que utilicen la IA como una herramienta, como un apoyo, pero no para que les resuelva el asunto, no? Bueno, en la medida en que que nosotros y leemos más fino en las rúbricas, pues también ellos nos entregarán productos un poco más, más terminados. Y nada, os dejo ahí imprimir listado de referencias y nada, yo con esto ya he terminado, así que le paso la palabra a mi compañero Jesús, fenómeno hijo de compartir. Vale. Eh, yo ahora, yo. Ahora empiezo a presentar. Pero Jessica está preguntando. No. ¿Dónde está el límite de la propiedad intelectual? Un dfm, una memoria, Un examen. Antes se me explico. Sí, sí, sí, sí. Explícate. Explícate. Vale. Si yo te por cerrar, digo tu bloque. Y mientras Jesús cambia de transparencias. Bueno, supongo que también el foro. Tendrás muchísimas más preguntas. Las pueden, si queréis luego dejar. Dejemos tiempo. Al final podrías tomar la palabra o las podéis dejar por el chat. Pero bueno, me he animado yo a ponerla y un bocadillo de lo que estabas diciendo. ¿Dónde estarías? ¿El límite de la propiedad intelectual? Porque un TFM lo tengo claro, una memoria, lo has dicho. Pero claro, un examen también es algo que ellos escriben y antes hemos estado hablando de herramientas para evaluar. También deberíamos pedir permiso a los alumnos si vamos a meter un examen suyo o un test, es que ya hay muchas herramientas que utilizamos en nuestro día a día para evaluar y no estamos pidiendo permisos. ¿Entonces, dónde? ¿Dónde está el límite? ¿Un TFM? ¿Sí, un trabajo sí, pero un examen no, No sé si bueno, a ver, una obra de la propiedad intelectual dice nuestra ley que es cualquier obra propia del autor propia, en el sentido de original, eh? Y que es original, que es original. Bueno, pues original es cualquier cosa. ¿O sea, Jessica, se publican a diario cantidad de libros que no deberían ni de publicarse porque son una verdadera basura o no? O sea, todos somos conscientes de que hay una sobreabundancia de publicaciones hoy día, eh, que que todos estamos de acuerdo en que realmente no aportan nada y aun así se están publicando. A donde quiero llegar es cualquier cosa propia del autor, es una obra intelectual. A ti te puede parecer una tontería, pero para el autor pues es súper relevante o entonces quiero decir cualquier cosa es cualquier cosa. Entonces desde luego que un examen es una obra protegida por los derechos de autor. Y entonces, y también, eh, es es dato personal el examen de una vez que lo hemos corregido, con lo cual deberíamos estar pidiendo autorización a los estudiantes. Es que eso es algo que me parece muy importante que. Y luego también preguntaba en la misma, en el mismo post, si es lo mismo llevar esos datos a una herramienta como GPT o cualquier otra en donde no tenemos protección empresarial, frente a las que tenemos protección empresarial de la mente. Vemos exigir en esas con protección empresarial permiso, porque por ejemplo, si estuviésemos en una empresa, si un empleado hace un documento, no sé si se considera propiedad intelectual o que es algo de la empresa y eso ya lo puede subir a la IA, a la IA de esa empresa y tratar, quiero decir. A ver, a ver si me explico. Un jefe puede tratar los documentos que hayan generado sus empleados sobre cualquier activo de un proyecto. ¿Nosotros como profesores, si consideramos esos trabajos de los alumnos como activo, también los podríamos meter en esta, en esta guía con protección empresarial que tenemos como CoPilot o aún así necesitamos seguir pidiendo ese permiso? Mmm no sé si me he explicado. ¿Hombre, yo entiendo que claro, digamos que es como más fiable una guía más corporativa, es más fiable, pero yo entiendo que la IA va a aprender de todo eso, que tú le metas, no? ¿Bueno, si te tienes el entrenamiento quiere decir bajo protección, bajo protección empresarial, Perdón? CoPilot nos asegura que no entrena con esos datos y aún así GPT también lo puedes limitar a que no utilice esos datos para entrenar. ¿Pero una cosa es que no los entrene y otra cosa es que, como tú has dicho, si tú no tienes el permiso del autor para ceder esos datos a ninguna empresa, por qué se lo vas a ceder? Pero no sé si se sabe distinguir si estamos en disposición. Habría que indagar más de hasta dónde, si en una y a empresarial o otra guía que no tiene esa protección. Ya, ya, sí. O sea, si tenemos esa protección digamos que es más fiable, es más fiable, pero yo no acabo de ver en ese caso, eh, la excepción a pedir una, una autorización o por lo menos informar. A lo mejor no pides autorización para informar. Sí. O sea, la transparencia. La transparencia sería requisito seguro. Mmm mmm. Si luego en el logo dice Ángel que claro, la solución sería en trabaja con modelos locales. Evidentemente esa sería la solución. Lo que pasa es que la infraestructura para montar esos modelos locales, eh, bueno, estamos trabajando en ello, pero no quiero decir que no se pueden replicar las de estos grandes proveedores, pero sí es acertado lo que dice. No se interrumpa más, de verdad. Si queréis luego dejamos debate, pero no comerme el tiempo de Jesús. Venga, venga, Jesús, Adelante ya. ¿Bueno, eh, Nada, no? El debate es súper interesante y tanto hablado como escrito, porque esto, esto ha provocado también esto. No sé si tenemos tiempo en meternos, pero bueno, vamos a ver lo que es el uso responsable de la IA en la investigación. Bueno, yo soy Jesús Salgado y estoy en Industriales y eh, también, aparte del uso de la inteligencia artificial de la investigación, también vamos a hablar brevemente sobre la investigación sobre inteligencia artificial, sobre inteligencia artificial. ¿Es decir, cuando tratamos de desarrollar o investigar inteligencia artificial, eh en nuestra investigación y también el desarrollo de de IA en la gestión, no? Ya, ya. Suena a cliché. ¿La La frase de la la inteligencia artificial tiene el potencial de revolucionar bla bla bla bla bla, pero también plantea retos relativos, no? Entonces esto. Probablemente esto se ha dicho con probabilidad por en muchas otras ocasiones con otras tecnologías. Sin embargo, la inteligencia artificial es de un poco diferente porque de forma más profunda hay que tener en cuenta el objetivo de esta agenda de investigación o de o tecnológica que impulsa la inteligencia artificial. Este. Este objetivo es precisamente la simulación o la mecanización o la industrialización, como queráis, de la actividad cognitiva del hombre. De forma que no nos puede sorprender que la investigación, que es una actividad cognitiva, eh, pues sea uno de los sectores más perturbados con la integración de la inteligencia artificial y nos obligue de paso a replantearnos la investigación, igual que la educación, no solamente sus métodos, pero también el propósito más en general. ¿Eh esto, eh? ¿Hoy, antes voy a hacer un pequeño paréntesis sobre esto para los que estéis más interesados sobre el uso responsable de la inteligencia artificial en docencia, investigación y gestión en la UPN, pues hemos creado un grupo donde vamos a compartir, estamos compartiendo noticias, bibliografía, debate y quizás si hay interés y energías, organizar algún otro seminario online o incluso presencial, donde podamos también compartir nuestras inquietudes y el trabajo que hacemos sobre estos temas, no? ¡Eh! ¿Os voy a poner también aquí en el chat el el vínculo al teams, eh? Y bueno, pues ahí empezamos a trabajar. ¿Y bueno, después de este breve espacio publicitario, eh? ¿Pues eh, yo espero que en estos breve charla que ayude a gestionar la inteligencia artificial como herramienta para nuestra propia investigación, pero también para poder asesorar a nuestros alumnos cuando los estamos tutorizar en su investigación o en sus trabajos de fin de grado máster o estamos dirigiendo su doctorado, no? ¿En en deberíamos inculcar en estos, en estos alumnos? Pues eso, los mismos valores y cuidado a la hora de de usar la inteligencia artificial que el que nosotros ponemos o aspiramos a poner en nuestra propia investigación, porque la actividad de investigación debe ser responsable. ¿Es decir, debemos ser capaces de responder por las consecuencias de la actividad investigadora y aunque nos parezca que no tiene muchas trascendencia, normalmente si queremos que tenga muchas consecuencias beneficiosas, no? Que tenga mucho impacto porque sea usada por otros ingenieros o por otros profesionales para otros usos. Quizá con a lo mejor con mayor riesgo, como en el sector de la salud, o que guíe esto políticas públicas. Al final la ciencia es un bien común y nuestra responsabilidad individual de cada investigador confluye en una responsabilidad colectiva que se traduce en la confianza o desconfianza en la ciencia por parte de la sociedad. Y la buena noticia que tenemos que conservar es que la sociedad española confía en sus científicos investigadores. Aquí os pongo una estadística de 2024 del CID que pregunta al público sobre quién quiere la gente que regule el uso de la inteligencia artificial, en la que los científicos e investigadores aparecen segundos muy alto en las preferencias del público sobre qué colectivo debe regular la IA. ¿O sea que en principio contamos con esa confianza y no la deberíamos eh perder, eh? Las las técnicas de IA, eh esto como herramientas de investigación tienen impactos positivos, lógicamente, sino no serían tan populares tanto en términos de productividad como en la creación de nuevas posibilidades para el descubrimiento y y su verificación. Esto. La inteligencia artificial asiste en todos o casi todos, casi todas las etapas de la investigación, desde la identificación de brechas de conocimiento, la formulación de preguntas, el análisis bibliográfico. ¿Eh, esto, eh, que prácticamente se hace a escala sobrehumana, eh? Y también facilita la elaboración de hipótesis, preguntas de investigación. ¿Esto el diseño experimental, eh? El desarrollo de software y análisis de datos. Esto y por supuesto, ayudan con la la validación y los La posterior redacción y difusión de las conclusiones de la investigación. La. La inteligencia artificial, aparte de la inteligencia general generativa que digamos, es la más popular en este momento, tiene también aplicaciones esto más particulares para cada disciplina. ¿Por ejemplo, en ciencias formales hay técnicas de inteligencia artificial para demostración automática o de descubrimiento de patrones o es muy conocida en biología la aplicación esta de Deep mind de Google para el del plegamiento de proteínas como el que se llama alphafold no? O en Ciencias Sociales. En la codificación y análisis cualitativo en cada disciplina hay. Seguramente cada uno de vosotros seguramente puede nombrar alguna aplicación específica que ayuda con la investigación. Vamos, que la IA nos cambia la vida y la la, la, la, la IA, por otra parte, también ocupa mayor espacio en la investigación la. La tensión clásica en economía, por lo menos sobre si la IA está ampliando las capacidades de las personas o sustituye a las personas son. Si en realidad hay que entender que es lo mismo que nos. Porque nos sustituye parcialmente en algunas tareas muy laboriosas o difíciles, eh. Esto en. EH para para reflexionar sobre el papel de la inteligencia artificial en nuestra investigación, eh Primero conviene ver cuál es nuestra, mmm, principal motivación al investigar cuál es el propósito de nuestra investigación. Y la realidad es que. Pues primero, cada investigación tiene su propósito particular o su objetivo particular, pero en general hay muchísima literatura en filosofía de la ciencia, sociología de la ciencia y economía de la ciencia, que responden parcialmente a la pregunta no. Según Mario Bunge, esto hay dos grandes propósitos en la investigación uno más orientado al conocimiento, que trata de describir y explicar el mundo, que sería lo que entendemos por ciencia básica y otro propósito sería más orientado a la aplicación, es decir, predecir y controlar el entorno que tiene una orientación más innovadora. ¿Pero aparte, la sociología de la ciencia también explica eh? O intenta explicar los objetivos del investigador en tanto miembro de una comunidad y una red de investigadores. Y la economía y la política de la ciencia también describen eh el objeto ciencia como o la investigación como un conocimiento que se transforma en un activo o una mercancía a disposición de las empresas o los estados. En fin, cada uno más o menos sabe lo que por qué investiga y si, dado el objetivo, la inteligencia artificial, con las limitaciones que vamos a discutir, pueden o no sustituir la actividad intelectual humana. Por ejemplo, el tema de las transparencias y el propósito es el avance técnico, la ventaja económica o la seguridad nacional. Pues a lo mejor pues un modelo opaco, mientras que funcione, es aceptable. ¿Pero si el propósito es entender el mundo, pues usar la inteligencia artificial sin más, con sin tratar de evitar posibles sesgos o la opacidad de los modelos, pues es problemático, no? ¿Este dilema es uno en lo que se mueve, especialmente la ingeniería, no? Y la técnica que debe proporcionar soluciones. ¿Pero también debe responder frente a posibles errores o o disfunciones, no? Entonces, eh, vamos a ver ejemplos de este tipo de dilemas o tensiones entre la solución pragmática y la asunción de la responsabilidad. Cuando usamos la inteligencia artificial, nuestra investigación, por ejemplo, la formulación de una teoría es el viejo problema epistémico entre correlación y o parecido al problema epistémico entre correlación y causalidad, que es una cosa y que es otra, no una teoría formulada directamente por la inteligencia artificial, aunque suene plausible, es una invención estadística. Bueno, tal y como funcionan los Transformers, es posible que esto cambie en el futuro. O sea, lo que presenta se presenta como una teoría. Es en realidad una síntesis estocástica basada en patrones de distribución de datos que pueden ser datos estructurados o también texto. En general. Esto, y es una invención estadística, surge también del texto de otros. No es original, es opaca, muchas veces no sistematiza y muchas veces tampoco es falsable. ¿Es decir, que tomar tal cual un modelo de inteligencia artificial complejo, por ejemplo una red neuronal como un modelo de lenguaje, eh, Pues es un ajuste, es un ajuste, no es una teoría, es un ajuste numérico muy sofisticado, pero es un ajuste, no? Y además es muy probable que las las interacciones con la inteligencia artificial, sobre todo la inteligencia artificial generativa. Estas respuestas o sus respuestas dependan del contexto, es decir, de las preguntas y las respuestas que anteriormente, incluso en otras sesiones, eh hayan podido formularse entre la IA y el usuario. ¿El mismo usuario no? O sea que la IA en realidad está diseñada para dar respuestas que te resulten a ti personalmente más satisfactorias y convincentes. ¿Entonces, qué podemos hacer? Pues como una tomarla como una opinión más, tomarlo como un generador de hipótesis, pedir más explicaciones de de manera que te pueda mostrar otras alternativas, contrastar con colegas y tener otras interacciones con quizá otros modelos. ¿Y sin personalización no? El En cualquier caso, siempre es una buena práctica en los trabajos y en los artículos. ¿Declarar el uso que se ha realizado de la inteligencia artificial para que, digamos, la comunidad lo sepa, no? ¿Y estos usos pueden ser de mil maneras, no? Para explorar, para revisar la literatura, para analizar datos, para depuración de la escritura. Y un ejemplo, como dijo antes Celia, un ejemplo de declaración de uso lo podéis ver en mi propia tesis que defendía hace cosa de un mes y medio. ¿O sea que lo tengo reciente, eh? Que está ya publicada. La podéis descargar desde desde aquí está en las páginas. Espera, está en la página Esto nueve y diez numerales. ¿Pues aquí un momentín en la página nueve y diez numerales y os enseño eh? ¿Dónde lo podéis encontrar? Perdón, un segundo. Este sería el sentimiento. Entonces aquí yo. ¿Pues, digo que cuáles son las herramientas que utilizado? ¿Cuáles son los trabajos que he utilizado? ¿Para qué trabajos he utilizado estas estas herramientas? Durante varias fases de la investigación. Y esto finalmente una declaración de integridad académica en la que básicamente digo que el trabajo es original. Es mío. Eh, y y el. ¿Y bueno, esto Esto estaba bastante en línea con lo que decía el resto de de la tesis, no? Manera que Bueno, pues ya podéis esta publicaba en abierto en el en el archivo PM y la podéis citar esto a todo meter todo el mundo esto y después. Bueno pues también podéis leer el abstract y el resto de la tesis también está muy bien. Bueno, también esto ha sido un pequeño paréntesis comercial y seguimos, pero a ver dónde estaba. ¿Quién? Vale. ¿Y seis Ahora estáis viendo mi presentación, verdad? Sí, sí, sin problema. Vale, pues, eh, vale. En todo caso. Eh. Con o sin declaración, el autor permanece responsable. Es responsable. Eh, Esto. Algunos. ¿O sea, es responsable, aunque no sea responsable en el otro sentido, aunque no lo sea por exceso de confianza en la inteligencia artificial, no? Algunos ejemplos de excesiva confianza. Pues puede ser, por ejemplo, aceptar una redacción o una traducción porque suena bien. El truco, por ejemplo, en la en la traducción es traducir de vuelta. Tú pides de inglés a español y después lo vuelves perdón, de español inglés. ¿Te suena bien? Pero después traduces a español para ver que efectivamente no se ha perdido nada en el en la ida. Esto y también cuando le preguntas sobre por el trabajo de de otros. Aceptar una referencia a las tesis de un autor, la descripción de una teoría, todo eso, esto no no se debería aceptar. ¿Eh? Tal cual. No. El truco. No cabe más remedio que leer, leer las fuentes originales o siquiera las fuentes secundarias, que muchas veces, o al menos en mi experiencia, son bastante mejores y bastante más asequibles. ¿Eh, que las las las fuentes originales no? ¿Pero delegar el análisis de datos, eh también, eh? ¿O la interpretación de los datos sin revisarlo también en un exceso de confianza, eh? Y no podemos delegar la responsabilidad en la IA. Un modelo de IA no puede ser el autor de papers o de invenciones, o de patentes, o imágenes, o figuras o marcas. Bueno, parece tontería, pero esto de vez en cuando salen algunos. Esto reclamando personalidad jurídica para los modelos. ¿Yo creo que lógicamente eso es una mmm súper mala idea, que lo que representaría sería una pantalla de responsabilidad para las empresas fabricantes, no? Eh, eh. ¿Mal una vez situaciones más vergonzosas, eh? Sería el plagio, que como sabemos es la apropiación de las ideas de otros. El problema es que la inteligencia general, la inteligencia artificial generativa, es el el plagio elevado a la categoría de industria. O sea que funciona realmente. Si los los modelos de lenguaje funcionan, se entrenan sobre textos de otros y al responder. Es decir, la inferencia consiste en dar un texto más o menos plausible dado el contexto y basado en el texto con el que han sido entrenados. ¿De manera que podríamos decir que es una máquina de plagio, no? Y normalmente, además no cita autores. De hecho, a veces regurgita textos originales enteros, por ejemplo, en imágenes. ¿La imagen, la fotografía de la derecha, eh, que no es una fotografía, es una imagen generada por la inteligencia artificial, eh? ¿Pero con la mala suerte de que regurgita la marca de agua del proveedor de fotografías Getty Images, que lógicamente ha demandado al fabricante del modelo, no? ¿Bueno, qué hacer? ¿Pues chequear, pedir fuentes, es decir, tener a lo mejor cinco minutos más de chat y pedir fuentes, chequear que existen, esto que dicen, lo que dices que dicen y una vez comprobado todo, lógicamente citar esas fuentes no? ¿Eh? Y eh, pues chequear que eh los hechos y conclusiones u opiniones que no sean los tuyos propios, las del propio investigador, tienen todo su original. Incluso se puede pedir a la inteligencia artificial que extractos literales, aunque no los vayas a incluir para chequear los no. ¿Esto digamos que son algunos trucos, eh? El caso es que hay quien no por descuido, sino de forma intencional, usan la inteligencia artificial de forma fraudulenta. Lo malo es que los modelos de lenguaje no tienen barandillas. Que es la. ¿Es realmente la traducción eh? En en castellano de Rails hay gente que la traduce como guardarraíles, pero es que van sin barandilla. ¿O sea, esto son muy sofisticados eh? ¿Pero no tienen este tipo de de barandilla de seguridad, no? Por y esto aparecen en esta investigación que os pongo aquí, pues no tienen demasiado problemas para inventar lo que necesites. Parece ser que el contenido fake no es un problema de seguridad tan grave. Y tú puedes hacer. O sea, al principio se resisten un poquito, pero después de cinco, cuatro o cinco intentos se pliegan a inventar cualquier trabajo científico y esas tecnologías están dañando bastante porque suponen la industrialización de lo que llamamos Paper Mills, que es fraude científico de empresas de fabricación de papers que ahora pueden escalar porque en realidad ya no dependen de esto doctorandos en el papel de autores en la sombra, sino que pueden escalar gratis gracias a la tecnología. Es realmente irónico que la inteligencia artificial esté facilitando este negocio ilegal a través de automatizar el trabajo precario. ¿También ilegal, no? ¿Eh? ¿Bueno, una Una de las cosas que más me ha molestado cuando he colaborado como revisor de artículos o ponencias son las las citas alucinantes, no? En dos modalidades citas que apuntan artículos o libros que no existen y las citas que apuntan a trabajos que sí existen pero que no hablan del tema que se está tratando en el paper. ¿Eh, eh? ¿O quizá de forma muy marginal o periférica, no? ¿Y ese es un ejemplo real que me molestó especialmente porque yo acepté la revisión porque hablaba de modelos multinivel y creía que iba a aprender mucho, no? ¿Pero vi que las referencias, muchas referencias que citaba, no tenían nada que ver con lo que estaba escribiendo el autor o los autores, no? Y me dio muchísima rabia. ¿En realidad estas citas son tres errores o tres fallos o tres malas prácticas en una No, porque primero la cita es incorrecta, eh? ¿Segundo, es negligente porque no se ha revisado y tercero porque no se advierte de forma transparente que se haya utilizado la inteligencia artificial para este fin, no? O sea, junto también un artículo que me pasó Jessica y que y que habla sobre este. ¿Este fenómeno, que en realidad es bastante fácil de evitar, es simplemente tener cuidado y estar seguro de lo que escribes en el en el paper no? Y hablando de revisores, también hay quien usa la inteligencia artificial para realizar informes de revisión de revisión en las revistas. Esta es una práctica prohibida y todo el mundo lo sabe. No, no se puede. Y la justificación está en la protección de la propiedad intelectual. Sin embargo, y esto es una opinión personal, yo creo que los editores deberían ser los primeros interesados en promover, eh probablemente una IA esto eh propia. O sea, o por lo menos esto, eh, eh, con el suyo o el rango, lo que sea. Eh, eh. Y que tuviese, digamos, estas protecciones aseguradas. Pero yo la instalaría en todos los en todas las revistas como proceso de revisión, específicamente en los filtros de escritorio o describiese. No ganaríamos todos, especialmente los autores que por fin recibiríamos rechazos debidamente documentados. ¿Muchos de los que estamos aquí sabemos lo que es recibir un no genérico por respuesta, eh? Con un sistema ya se puede sustituir esta bofetada que a lo mejor te la dan de todas formas, pero no es ciega y se podría sustituir por una crítica constructiva, aunque sea impersonal, basado en un una rúbrica. ¿Esto y yo creo que en realidad está este, eh, este desarrollo es casi inmediato, eh? Y sería muy, muy bueno también para evitar episodios también vergonzosos como el que hemos visto recientemente. Es muy fácil programar una gente que chequee fuentes públicas la existencia de conflictos de interés de los autores de un artículo, los los editoriales, los financiadores, los autores, la sociedad entera se evitarían los los los los disgustos no. Que pueden resultar de aquí. Bueno, muchos en realidad, casi todos los efectos de los que habla hablado Celia también son aplica del bless para el el que son aplicables para los alumnos También son aplicables eh para los investigadores como la atrofia cognitiva y también la psicofonía, que es una palabra que no conocía pero que es esta aceptada por la Real Academia y especialmente yo creo que somos vulnerables a la psicopatía de la inteligencia artificial. Aquí os pongo un ejemplo de cómo Géminis demuestra una sincera admiración por las cosas que yo le cuento. ¿Por fin alguien que reconoce lo mucho que que yo o algo así da gusto, eh? Quien cree que no es sensible y vulnerable a la zalamería y la psicopatía tiene realmente dos problemas uno si es sensible, si es vulnerable, todos lo somos. Y el segundo problema es que como no sabe que es vulnerable, alguien o algo se van aprovechar de de ello. ¿Y ya ha habido casos en, eh, bueno, y hay, por supuesto muchísimas otras limitaciones y riesgos relacionados con la infraestructura que que ahora mismo tenemos y la tecnología y la infraestructura que ahora mismo tenemos no? Y que no se puede resolver a nivel personal, sino a niveles superiores, institucionales o incluso estatales, internacionales, pero que tenemos que ser conscientes y promover desde nuestro rincón como investigadores, eh su solución porque afecta a nuestra actividad. Y ejemplos de ello son la dependencia excesiva en pocos proveedores. Esto las tarifas de acceso que pueden crear brechas y desigualdades de acceso, la opacidad de los modelos, la falta de replicabilidad por ser modelos estocásticos y sobre todo una cuestión súper importante es el consumo de recursos y energía y agua de estos modelos que tienen tanto durante el entrenamiento como durante la inferencia y las respuestas que nos dan. O sea, la inferencia es cuando les estamos preguntando y este es un problema que afecta a comunidades eh locales reales que pierden control sobre sus recursos, como el agua. Cuando un centro de datos se instala y está creando realmente una oposición en algunos lugares como Aragón muy importante, simplemente porque se hace de espaldas a la ciudadanía. ¿A nivel individual, qué podemos hacer? ¿Pues deberíamos pedir algún indicador de uso, eh? ¿Nosotros deberíamos saber, o por lo menos algún registro, o deberíamos pedir al proveedor que nos diera un indicador, un registro de uso de cómo lo estamos usando y a lo mejor en referencia a otras, a otras personas o a la media de lo de de los usuarios, no? Una referencia sería importante porque nos ayudaría a ser conscientes de lo que nos está pasando. Esa referencia puede ser número de tokens, pero también puede ser litros de agua o kilovatios hora. ¿No he y y después esto, eh? También pedir a las instituciones antes se ha hecho referencia. ¿Por qué no? ¿Por qué? Por qué no las la las universidades que además normalmente, eh Mmm esto compartimos cosas. ¿Por qué no compartir una infraestructura, eh Esto y promover soluciones de caché que puedan ponerse en práctica en la comunidad académica, no? Creo que en este sentido en Cataluña ya tienen este tipo de infraestructura y que a lo mejor nosotros podríamos o adherirnos a esa comunidad o esto hacerla nuestra, por lo menos en las universidades públicas de Madrid. Yo creo que tendría todo el sentido. ¿Eh, eh? Y un par de cuestiones sobre la investigación en inteligencia artificial. Es decir, cuando se investiga la inteligencia artificial como objeto de estudio o se desarrolla alguna aplicación de inteligencia artificial y después también alguna consideración sobre gobernanza. La primera cuestión que me gustaría incidir es la necesidad de introducir el análisis ético y legal de este tipo de proyectos de imagen. Se Se realiza. Todo el mundo la hace porque es nuestro, digamos nuestro oficio. Se realiza una viabilidad técnica y en muchos casos también una viabilidad económica, pero en muchos casos, muchas veces se ignora un análisis mínimo de viabilidad ética y legal en este tipo de trabajos, en los que simplemente se analicen posibles riesgos que son los de siempre los sesgos, la opacidad, los posibles daños por errores, la ciberseguridad, la manipulación, eh, todos esos riesgos que normalmente no son intencionales, pero precisamente por ignorarlos, entonces ocurren no en. Y también advertir de algún posible uso dual militar y civil de de la tecnología y. ¿Y cuál es la solución? Escribir. ¿Escribir a lo mejor medio párrafo listando este tipo de riesgos en ética en de profesional del ingeniero se llama ignorancia afectada a la actitud de el ingeniero eh que que no sabe o que no quiere saber cuáles son las consecuencias de una invención, un artefacto o cualquier dispositivo, eh? Y es. Y ese es un grave fallo, no solamente ético, sino profesional. Cuando, mmm. Y el remedio. En realidad es muy fácil poner negro sobre blanco la existencia. No, no ya la solución, sino la existencia. ¿Porque de esos riesgos, porque alguien tiene que leerlo y darse por enterado, eh? No advertir de esos riesgos es simplemente negligencia. ¿Eh? ¿Profesional, eh? Mmm. Debería incluirse en todos los trabajos y artículos que propongan un artefacto basado en inteligencia artificial o otras tecnologías emergentes. ¿Eh? Mmm. ¿Repito, no quiere decir que se solucione dentro del alcance del proyecto, porque a lo mejor no es el objetivo, pero sí que se advierta al lector de este tipo de riesgos, no? Y que se discutan por lo menos. ¿Y después dos, dos cuestiones muy sencillas que es o muy breves, no? ¿Esto primero es el uso de datos sintéticos, que es uno de los problemas, vamos, uno de los problemas técnicos y económicos más habituales cuando estamos diseñando un modelo de inteligencia artificial es la disposición de las disponibilidad de los datos, no? En muchos campos hay datos públicos que pueden usarse, pero cada vez más tomamos datos sintéticos, lo cual representa una oportunidad en muchos campos. ¿Pero lógicamente hay que tener cuidado puesto que el modelo que hagamos reproducirá los mismos sesgos que tengan esos datos, eh? ¿Que vendrán probablemente del modelo de donde se han tomado, eh? Y es incluso es incluso posible que se amplifiquen esos esos datos. En estos casos en los que muchas veces el objetivo del TFM o de la investigación es mostrar la viabilidad de un procedimiento, una arquitectura y la fiabilidad del resultado no es lo más importante. ¿Pero igual yo creo que es importante documentar este hecho, el uso de datos sintéticos y la posible limitación para una aplicación comercial, eh? ¿Y bueno, si es posible implementar alguna estrategia de mitigación, eh, pues pues mejor no? ¿Eh? Y también una cuestión que surgió. Me surgió a mí esto hace poco en un taller de máster de robótica. Un alumno está desarrollando un modelo de red neuronal para pequeños sistemas embarcados y al y al presentarlo indica que se va a publicar como librería de código abierto y pues fantástico. Realmente el esfuerzo de publicarlo como código es encomiable por muchísimas razones. Es auditable, transparente, democratiza el acceso, da muchísimas libertades de uso, modificación, distribución. Es innovación colaborativa, evita dependencias de fabricante. Está súper bien, pero entonces dice Y como la licencia no tiene una cláusula de descargo de responsabilidad, pues ya está. Y entonces, bueno, desde el punto de vista legal, si ya está. Pero hay una responsabilidad ética que además está documentada en varios documentos en ACM y en otros documentos, y hay responsabilidades importantes. ¿Para empezar hay que ser honesto con lo que hace la librería, eh? Pues sus limitaciones, los posibles riesgos de seguridad como se ha aprobado y e Pues si haces además promesas y las pones en el ritmo y pues resulta que sí que puedes ser responsable si haces problemas sobre capacidades que no existen, pues a lo mejor sí que eres responsable. Si alguien se fía de lo que pones en el ritmo. ¿O sea, no, no, la cuestión es no basta con dejar el código por ahí en GitHub y chao pescado, eh? Ya que se hace hacerlo, o sea, ir un poco más allá y hacerlo bien y mantenerlo también lleva un compromiso. Y bueno, pues aquí adjunto algunos códigos éticos y el formato de modelo que también es. Hay un estándar en repositorios de. De de de modelos de código abierto como Hugging Face, EH, y que ese protocolo fue propuesto originalmente por Margaret Mitchell y que son las ex directoras del equipo de ética de Google. Y ambas pues lideraron el equipo hasta que este comité de ética fue desmantelado. Tras la publicación de de estas investigadoras de una forma crítica con la compañía que señalaban sesgos discriminatorios en los algoritmos de búsqueda. ¿No? Este caso, pues eh, bueno, pues ilustra el riesgo también de convertir el comité de tipo de de ética en una periferia decorativa y una una operación de lavado de. Eh. Pero bueno, esto. Estoy divagando. Eh, eh. Y una una palabra sobre gobernanza de la inteligencia artificial en la en la investigación. No. Porque como hemos visto, hay que intentar gestionar a varios niveles el personal de cada uno como como investigador, eh en el grupo de investigación y a nivel institucional y aquellos que tengan más responsabilidad a niveles superiores y todos los niveles son importantes y lo ideal es que la gobernanza a niveles superiores también se realice con la participación de todos los miembros de la comunidad investigadora. Que no sea alguien en un despacho que de repente decide esto. ¿Publicar, eh? Las. ¿No debería participar toda la comunidad porque todos estamos implicados, no? Y ya hemos visto la mayoría de los riesgos de la actividad investigadora como la la automatización total, los sesgos, la falta de transparencia, el consumo de recursos, etcétera Pero una función importante de la gobernanza es la supervisión que asigna responsabilidad, Vigila, define estándares. ¡Eh, eh! Esto procura que los datos compartidos con la inteligencia artificial tratara de filtrarlos antes de que sean enviados. ¿Eh, El tema de las dependencias de los proveedores, eh, y y también el diseño de los incentivos de los investigadores, que probablemente esto ya ni siquiera a nivel institucional de la de la universidad, sino es un nivel probablemente superior, no? Eh El el Algunas estrategias de gobernanza como la transparencia y la publicidad en las decisiones, la publicación o el acceso a códigos de conducta, perdón o la o la adhesión eh de de un grupo determinado de investigación a de conducta La La búsqueda de opciones alternativas. La vigilancia activa. ¡Eh Eh! Todo esto es una responsabilidad. Esto personal, como decía antes, pero también del grupo, eh del grupo de investigación y de la comunidad entera y del grupo de investigación. Yo lo que propongo es que todos los grupos de investigación de EH, de la de la de la universidad, por lo menos piensen en adherirse algún, algún algún código de conducta. Aquí os pongo el del el decálogo del Consejo Superior de Investigaciones Científicas, Pero digamos que cada campo, digamos, tendrá que aterrizar este código a su disciplina. ¿Eh? Y que se y que y que cada grupo trate de definir cómo se va a comportar en en en este tema de la investigación y la integración de la inteligencia artificial en su investigación. Vale. Y para terminar, una última cuestión sobre el uso de inteligencia artificial para la administración y la gestión y o sea, yo, aquí es hay una oportunidad enorme que puede facilitar mucho, mucho el funcionamiento de la de la universidad. ¿Si se integra la inteligencia artificial en los procesos que ya están digitalizados, eh? Por supuesto, lo primero que es responsable es utilizar los presupuestos de una forma razonable. ¿Esto escogiendo bien las aplicaciones donde haya más posibilidades de éxito y además, eh produzcan mayores mejores resultados, no? ¿Eh, Esto y esto es importante porque según un estudio, el estudio que os pongo aquí del MIT, eh, Pues un porcentaje muy alto ahí todavía de fracasos, normalmente una gestión deficiente de la calidad del dato, eh? Pero bueno, igual que los alumnos, en realidad nosotros, el personal, esto docente, investigador, esto eh, Ya estamos usando la inteligencia artificial. ¿Yo por ejemplo, envié a mis nueve perdón, siete miembros del tribunal y dos revisores el formulario de idoneidad pre rellenado con información pública sobre las cosas que me preguntaba en el formulario sobre investigación, papers, etcétera por proyectos, etcétera no? ¿Manera que me demoro solamente pues unas horas en hacerlo y enviarlo y un par de días en recibir las contestaciones de estas nueve personas que de otra, de otro, De otra forma si yo les hubiese enviado el el el formulario sin rellenar oleos hubiese hubiese tenido que investigar para rellenarlo, me hubiese llevado probablemente semanas en recibirlo, no? Entonces esto Yo desde la gestión podría. ¿Puedo imaginar que las ventajas son también enormes, no? Por ejemplo, en la revisión de expedientes y documentación. Ahora bien, hay que tener aquí también alguna precaución. Algunas aplicaciones del ámbito educativo son consideradas de alto riesgo según la regulación de la inteligencia artificial y por. ¿Por supuesto, también tiene que hacerse el análisis de si la aplicación podrá causar también algún daño a alguna persona o colectivo en sus derechos fundamentales, lo que se suele llamar el fría, no? Fundamental Rights impacta y y esto digamos que sería que sería la precaución hacerlo. Pero vamos, que yo veo enormes, grandísimas posibilidades aquí y os animo a las sesiones también sobre el tema de esta edición de Primavera Tech La la especialmente la que habla de agentes del 10 de junio, que yo ya me he apuntado. Vale. Entonces. Bueno, y con esto. Eh, las referencias están aquí. Bueno, esto va a Zotero. Pero. Y os voy a poner también. Bueno, va soltero. Os voy a poner también esta. Hay. Hay un montón de de esto. Documentos y quien se apunten, pues también puede puede sugerir y aportar. Vale. Eh. Y finalmente hay. Eh. Bueno, aquí os pongo también las referencias en modo texto para quien le resulte más cómodo. ¿Y otra vez este el grupo de teams, eh? Que el el vínculo ya está en el chat y esto donde también pondremos el el vínculo al al grupo de Sotero para referencias que iremos e iremos también. Esto añadiendo en el futuro. Y yo con esto lo dejo aquí para que lo veáis todos y y y aquí con esto determinado mi intervención. Muchas gracias Jesús. ¿Eh, Pues tenemos unos minutitos para abrir turno de preguntas eh? No sé si por el chat creo que no se había quedado así nada pendiente. Bueno, a ver. Bueno, están dando las gracias. Dando las gracias. Gracias, gracias, gracias. O incluso podemos abrir micro. Si alguien quiere hablar, podemos aprovechar estos, estos minutillos. A ver si alguien quiere comentar alguna cosa. Yo por mi parte, mientras la gente se anima. Los resultados del club la verdad es que son curiosos porque hay un 36% del profesorado que está en contra del uso de la evaluación a través de IA. Un 36% en contra. Me pareció mucho para ser una Una escuela. Vamos. ¿Una universidad tan tecnológica? La nuestra no. Qué curioso. También hila un poco. Yo he votado que sí. Esto también Precauciones, Pero yo creo que no hay que ponerse de plano. Pero vamos, esa es mi opinión. Pero hila un poco con lo que hablábamos, que a lo mejor también muchas veces son el miedo a los riesgos que comentábamos y un poco sobre qué herramienta que nos ofrece protección y que no sé. Antes también había una un profesor, Ángel García, que hablaba de la infraestructura. Si es local, sí, pero fuera cómo nos lo planteamos, aunque fuese local, necesitaríamos pedir permiso a los estudiantes. Es que todo eso creo que es algo que debemos estudiar, porque claro, nos puede afectar. Si hay alguien que quiere explicar por qué voto que no a la a la evaluación con IA, pues que abra el micrófono y nos cuente eso. Eso. Y es curioso que entre 158 personas que quedan nadie quiere hablar. Tienen que levantar la mano para permitirles abrir el micrófono. Ah, sí, Pero estamos pendientes. Si hay quien levanta la mano, le damos paso. Y quizás porque a pesar de A es una muy difícil aquí en una ciudad gallego, a pesar de ser tecnológica, somos una universidad bastante conservadora en sus procesos docentes, dice. Y yo te digo, Ignacio, esos procesos no en todo. O sea, bueno, antes, antes, antes, Ángel, antes. ¿Ángel ha compartido un un proyecto que tienen ahí para hacer corrección de programas de programación, eh, que a lo mejor a alguien le interesa y le convence, eh? Si nació gallego, dice. Quizás porque a pesar de ese tono A no, no estaba leyendo a Ramón. José Ramón, perdón, Rodríguez no existe loca. ¿Si lo pones en CoPilot, aunque sea de la UPM, CoPilot lo va a usar, eh? Eso hay que leerse los contratos bien y hasta donde sabemos y nos han hecho exposiciones y y cumplen todas las normativas. Eso es nuestro tenant. Y en principio habría que definir José Ramón a que dices y lo lo va a usar. Mira Almudena levantado la mano si quieres Sonia, le damos una valiente. De que no venga. ¿Me escucha? Si Almudena, yo por por dar mi opinión en en primera persona, yo este curso con intentado probar el Cloud cowork para hacer la evaluación automática de unas tareas de mis alumnos y aquí me hallo, rectificando todo el feedback que ha hecho todas, incluso aunque tenga la rúbrica muy detallada con todos sus puntajes, los descriptores perfectamente delimitados, pues es que no lo termina de hacer bien, entonces es trabajo doble realmente. Por eso pienso que no es que no esté en contra de la evaluación, pero bueno, sí que hacerlo de manera manual. De momento creo que nos ahorra tiempo. Mmm hmm. Ya. A ver, yo una Una cosa que normalmente hago no es mandar feedback directamente, sino esto, eh, hacer más bien el primer filtro, es decir, aquellas aquellos trabajos que le falta claramente alguna parte. Eso sí que lo identifica bien. ¿Es decir, ahora, en la interpretación de lo que ha escrito el alumno, esa ya puede ser, eh, más, más complicada, pero para, digamos, para hacer un un primer, una primera purga, eh? Y por lo menos avisar a los alumnos que les falta alguna, alguna cosa que tenía que ir en el trabajo para esa. ¿Normalmente esto si es si es bueno y entonces te evitas eh? Digamos esa, esa, esa primera, esa primera fase, después probablemente ya para alguna cosa, pero vamos, yo nunca les enviaría directamente el feedback, sino que bueno, pues haría una primera, esto les enviaría, eh, esa primera, esa, ese primer filtro. Mmm no, por supuesto, el tema es este, no, que yo lo digo. Venga, vamos a probarlo, a ver si de verdad me ahorro tiempo o no Y te genera pues todo el feedback, las notas muy bien, te la puntuación parcial de las rúbricas, que es lo que le pedí que me hiciera, pero es que luego no se ajusta con los descriptores, entonces evidentemente no se lo mando. Estoy aquí corrigiéndolo de manera manual, pero has tenido que comprobar primero, corregir a la guía y después corregir a los alumnos. Ya, ya. Luis Cancela está levantando también la mano. Ya puede hablar. Luis Sí. Buenos días. Nada bueno, yo no he votado porque entre otras cosas no me dedico fundamentalmente a impartir clase ni a evaluar. Soy personal de administración y servicios y bueno, lo único que desde Protección de datos, que es en el área que trabajo, sí que es cierto que entiendo que pueda serviros de apoyo esa herramienta como cualquier otra que utilicéis en vuestras tareas como docentes, pero en la propia normativa exige, digamos, una revisión siempre no se pueden tomar decisiones automatizadas sin la revisión de una persona. Con lo cual, bueno, pues el recalcar que me imagino que que no estamos hablando de eso, de una evaluación completa y y esa toma de decisiones a través de esa evaluación que dejemos en manos, digamos de de la guía sin sin una posterior revisión. Con lo cual a lo mejor lo que ha dicho la compañera de que puede exigir incluso pues eso, más trabajo que el hecho de pues y hacer esa evaluación directamente por por el docente. Pero bueno, entiendo que si sirve de apoyo y puede pues agilizar esa tarea que hacéis de evaluación pues tampoco estaría. Pero bueno, recalcando eso que se necesita luego o se tiene derecho, digamos sí, si esa evaluación implica decisiones sobre las personas, pues a que se no se realice de forma totalmente automatizada. Y también destacar algo que me ha gustado mucho, esa necesidad de introducir en todo esa viabilidad de los proyectos ética y legal, junto con la que ya es más, digamos habitual y que se tiene más en mente, que es la técnica y económica. Gracias. De hecho, la evaluación es uno de los casos. Bueno, Celia, corrígeme si es ese es uno de los casos estipulados como de alto riesgo en, EH, en el en el en la regulación de inteligencia artificial. ¿Bromea? Sí, Ángel. Hola. Eh. Bueno, muy interesante toda la charla, toda, toda esta iniciativa con respecto a esto último que dice Jesús. Totalmente de acuerdo. Es decir, efectivamente, la evaluación es una parte crítica en el tema de la de la IA ACT de Europea, la norma europea, con lo cual tenemos que tener especial cuidado. A nosotros nos interesa cuando hablo de nosotros hablo de la Unidad Docente de Informática que imparte, pues por ejemplo, asignaturas con 500 y pico alumnos en los que, bueno, pues tenemos una carga de trabajo brutal, sobre todo si queremos seguir esto que llama la evaluación continuada, porque os podéis imaginar si queremos hacer prácticas y tenemos que corregir todas las semanas 500 y pico prácticas, pues no haríamos otra cosa. Entonces estamos implantando un sistema de apoyo, no de corrección automática, de apoyo y además un sistema híbrido que no solo utiliza IA, utiliza otras cosas adicionales en apoyo también a la IA. Y la verdad es que los resultados que tenemos, que son parciales por ahora son muy alentadores en nuestras asignaturas que son de programación, que yo entiendo que por ejemplo, como dice Manuel Ramos en el chat, como ellos hacen dibujo, pues es un poquito más complicado porque las herramientas actuales todavía no llegan a ello. Pero bueno Manuel, dales tiempo, que yo creo que que en un futuro relativamente próximo nos podemos sorprender porque nos hemos sorprendido en los últimos años del avance tan tremendo que ha tenido esto de la IA. Y bueno, con respecto al tema de los datos, pues nosotros lo hemos tenido claro desde el principio. Efectivamente, es un problema que podamos subir datos de alumnos que puedan ser utilizados por terceras personas. Entonces, lo que nos hemos planteado es hacer una instalación local de un sistema, un RDM, que nos permita que todos los datos de los alumnos se van a quedar dentro de la UPM, no van a tener ningún tipo de de acceso desde fuera. Y por supuesto, los resultados no se van a dar de manera directa al alumno, van a pasar por un filtro, pero ese filtro para nosotros es pura vida, en el sentido de que no pasa, no nos puede dar un primer, un proceso, una una primera referencia a la calidad de los trabajos que nos entregan. Y bueno, por mi parte, cualquier tema que queráis tratar pues estoy a vuestra disposición. Me podéis encontrar como profesor de aquí de la Escuela de Ingenieros Industriales para lo que queráis. Muchas gracias por vuestra iniciativa, Jesús. Gracias a ti, Ángel. Gracias a la iniciativa Primavera Tech. Eh, Jessica y Sonia, Por y por por por permitirnos también ponernos en contacto. ¿Porque muchas veces hay gente trabajando en las mismas cosas y resulta que no nos conocemos, eh? ¿Porque esto son muy buenas ocasiones, eh? ¿Ángel Estaba eh, compartiendo, no sé si se puede después compartir el chat, pero esto ha habido varias, internamos varias aportaciones eh? Y Ángel estaba compartiendo el proyecto en el que en el que está. Lo voy a lo voy a copiar aquí abajo. Eh, eh, Ah no, este no es demo recopilatorio. Jesús, No te preocupes si podemos enviar eso cuando eso sí enviamos los enlaces a qué bien, Sí. ¿Y después, en cuanto al tema de instalar una LLM local siempre que el propósito no sea hacerlo disponible al público en general, a los estudiantes, a la comunidad en general, que entonces sí tendría que tener requisitos de latencia muy exigentes y entonces haría una falta una infraestructura, pero para cosas locales, como por ejemplo corregir esto, eh, ejercicios o cosas de ese estilo, eh? No hace falta que lo haga en tiempo real, porque digamos que pues la corrección lleva su tiempo. Igualmente, si lo haces con con humanos, entonces no tendría unos requisitos de infraestructura tan exigentes. Basta con a lo mejor tener un. Servidor con una tarjeta gráfica esto adecuada y a lo mejor eso sería suficiente a lo mejor para una escuela, siempre que el acceso estuviese más o menos contabilizado. O sea que yo el la la la iniciativa de Ángel a mí me parece completamente, o sea, perfectamente factible. Y no hay que hacer demasiado sin versiones ni nada de eso. Muy bien dice Ángel que puede tardar unos minutos en corregir 80 problemas de programación. Claro, porque está dedicado solamente a eso. O sea que no. Muchas gracias. Pues intentaremos conocer más de la propuesta de Ángel y muchas gracias Jesús y y Celia por esta charla que ha generado muchísimas preguntas y y eso es bueno, y que nos planteemos todas estas cuestiones para definir esa política en la que estamos trabajando y que a ver si antes del verano ya sale a la luz y nos ponemos todo en contacto y recogemos feedback de todos. Así que nada, muchas gracias. Y por mi parte, nada, nada más estamos postergados. Si os parece ya este seminario, que ya son las dos y cinco. Muchísimas gracias. Vale, gracias. Hasta luego.