Bueno, lo
primero y realmente lo más importante.
Formar, formar, formar y formar a la gente.
Si no conoces es imposible que apliques, es imposible que sepas
que es lo que están haciendo otros.
Así que el primer mensaje a trasladaros es vamos a formar todo lo que podamos.
Lo estamos haciendo con las jornadas online.
Creemos que están teniendo cierto éxito, pero tenemos que hacer mucho más
y tenemos que, los profesores, el PTGAS,
los investigadores, tienen que conocer, porque si no conoces es imposible
todo lo demás.
Lo segundo que creo que creemos que tenemos que hacer
y esta jornada está en esa línea, es compartir, compartir.
Aquí las metodologías docentes cambian la forma de trabajar.
También hay algunas personas que ya llevan una experiencia,
otros estamos empezando, algunos todavía no han empezado.
Tenemos que compartir para ver cómo otros hacen cosas para ver si podemos.
Y esta jornada tiene ese objetivo y también queremos compartir.
Hay una encuesta que hemos hecho pública que probablemente
vosotros la, la la conocéis para ir recopilando experiencias.
Luego, en la mesa redonda
que presentaré, hablaré un poco de los resultados de esa encuesta.
Creo que es muy importante que compartamos y que sepamos lo que estamos haciendo.
En ese sentido, queremos hacer un cierto catálogo de experiencias.
Desde el Rectorado tenemos, queremos pilotar cosas,
queremos hacer proyectos piloto para, digamos, ver cosas que
a día de hoy todavía son una cierta incertidumbre, costes, temas legales.
Entonces estamos pilotando muchas experiencias, vamos a hacer más vale.
Estamos recibiendo aluviones de verdad, Son aluviones de gente
que está haciendo cosas
y que nos dice nos gustaría que la universidad nos hiciera X
Bueno, estamos pilotando ejemplos, los compartiremos
y en una segunda jornada abierta pues probablemente os podremos dar resultados.
Estamos haciendo todo lo posible para dar herramientas, herramientas
para que digamos lo que se haga con la IA esté, digamos, sectorizado,
que no salgan datos de la universidad sensibles fuera de la universidad,
que me imagino que no digo nada que no sepáis.
El coste de estas cosas no es pequeño, pero estamos haciendo todo lo posible
para que tengáis las herramientas, técnicas, información de las herramientas.
No vamos a poder tenerlas todas, pero bueno, haremos todo lo posible para
para facilitar o que las tengáis
o que las podáis adquirir, que es otra cosa que tampoco es sencilla.
Estamos haciendo acuerdos con empresas para que el que tenga capacidad
para adquirir, porque tenga un proyecto, porque su departamento lo necesita,
porque tiene lo que sea,
pues pueda adquirir herramientas que a día de hoy son difíciles de comprar.
Y por último, y con esto ya acabó,
estamos empezando a preparar documentos de buenas prácticas.
O sea que pensamos que está bien hacer, que pensamos que no se debe hacer,
porque evidentemente hay que dar guías, hay que dar guías
a los profesores, a todos los colectivos.
En este sentido, os animo a que si alguno de vosotros le apetece formar
parte de los grupos de trabajo que estamos organizando,
pues estáis más que invitados.
Y el objeto aquí, ya digo, es escribir documentos, documentos
que tendrán una vida de tres meses porque quedarán obsoletos en tres meses.
Pero creemos que tenemos que dar guías a las, al
a la comunidad de qué cosas hacer y qué cosas no hacer.
Y creo que me he entretenido un poco más de lo que quería, pero nada agradeceros
una vez más y bueno, espero que que sacáis mucho provecho de la jornada.
Bueno, muchas gracias Fernando y buenos días a todos.
Muy breve por mi parte.
Primero agradeceros que estéis aquí para para dedicar una jornada.
Yo hoy discrepo con Fernando, digo buenas,
aunque es viernes y hace mucho calor fuera.
Que mejor que dedicar la mañana
aquí a pensar en nuestro oficio, a ver cómo mejorar,
digamos a compartir experiencias y encima con aire acondicionado.
O sea, no, no creo que haya una alternativa mejor.
Bueno, gracias por estar aquí.
Gracias, por supuesto, a Fernando y a su vicerrectorado y a las personas
que habéis estado involucradas en generar esta jornada que es.
No es que sea útil, es que creo que es más que necesaria
y espero que sea seguramente la primera de una serie, porque nos hace falta
aprender, conocer para calibrar y valorar lo que lo que se nos viene.
Yo creo que lo estamos todos, lo vemos así, un momento singular.
Cuando hablas a veces con algunas personas
del entorno nuestro
te dicen
bueno, esto es como una revolución, como como fue la revolución industrial,
donde las máquinas empezaron a sustituir la fuerza bruta del ser humano
y o incluso también me dicen la calculadora, antes
sabíamos sumar, hacer raíces cuadradas y tal y ahora no usamos la calculadora.
Yo creo que es algo más, sinceramente.
¿Es verdad que es una revolución y puede tener similitudes,
pero creo que estamos ante un cambio de nuestros, de nuestro ecosistema, no?
Es un momento tremendamente difícil para todos y para la universidad.
De mi punto de vista, todavía más.
Antes el conocimiento estaba en los docentes, en los libros, en los apuntes.
Ahora el conocimiento ahí sigue estando.
Pero hay otros sitios mucho más rápidos de conseguir y muy, muy eficientes.
Entonces tenemos que pensar, como digo, hablar y compartir experiencias.
Y creo que la conclusión de todo esto que no se puede sacar hoy, pero sí que
como consecuencia de estas jornadas seguramente podremos seguir llegando a
eso, es que creo que tenemos que repensar nuestro modelo educativo.
Clarísimamente.
Creo que no podemos seguir, digamos bueno,
si esto ha llegado, vamos, lo incorporo en mi asignatura de alguna manera.
Yo creo que hay que seguramente cambiar la manera
en que hacemos las cosas como docentes y no solo como docentes, sino también
reorganizar los servicios de nuestra universidad,
la investigación, etcétera No es realmente un momento.
Por un lado apasionante, porque creo yo lo veo así,
pero por otro lado también muy, muy delicado.
Ayer estuve en la reunión del Patronato de la Fundación Universidad,
empresa a la cual la Politécnica pertenece y bueno, a petición
de algunos de nosotros, han hecho un estudio que ayer
nos presentaron las primeras conclusiones y no son demasiado buenas.
La primera conclusión es que había decaído o ya consecuencia de la IA,
consecuencia directa de la IA había caído un 13%.
La contratación de estudiantes en prácticas,
lo cual, pues bueno, pues es que es así.
Es verdad que seguramente aparecerán otras alternativas,
otras digamos trabajos, pero la primera consecuencia
es que está habiendo un impacto claramente en la contratación
y estamos en los albores.
Ahí ponían la serie de tareas que les que normalmente les
les encargaban a los estudiantes en prácticas que van a esas empresas.
Pues os podéis imaginar recopilación de datos, estudio de casos
previos, etcétera, etcétera.
Pues ahora casi todo eso lo hace la IA con el soporte de alguien.
Pero claro, menos personas de las que había antes.
¿Entonces creo que todo esto nos
tiene que hacer pensar cómo enseñamos que enseñamos, eh?
Qué énfasis ponemos en cada cosa.
Y bueno, pues esta esta jornada del primavera tech,
pues nos puede ayudar un poquito a ir
encaminando como nos posicionamos como universidad,
que creo que tenemos que hacerlo sin ninguna duda.
Así que bueno, pues repito, muchas gracias por estar aquí, por hacer esta jornada
que es Primavera Tec, pero el domingo empieza el el verano.
Que habrá que hacer un verano tec si es que hacemos más jornadas en estos días.
Bueno, muchas gracias.
Bueno, pues si os parece empezamos directamente con el programa.
Bueno, no se ve muy bien, pero está proyectado.
Bueno, vamos a empezar con una ponencia breve. ¿Eh?
Porque es indistinto de lo que vamos a hacer después, que son mesas
redondas, hemos invitado a Joaquín Muñoz.
Vale, ahora os lo presentaré porque, digamos, vemos un agujero en
nuestra comunidad que es muy tecnológica, vemos un agujero en la parte legal, vale.
¿Entonces hemos dicho bueno,
vamos a invitar a alguien que sepa de estas cosas
y que nos hable un poco de la parte legal,
la parte ética, la parte jurídica que hay detrás de todo esto, no?
Entonces, sin más, os lo presento.
¿Y luego ya
Joaquín se incorpora a la mesa redonda que vamos a hablar de todas estas cosas, eh?
Bueno, permitidme que lo lea.
Bueno, Joaquín Muñoz es abogado
especializado en derecho de la privacidad y de las tecnologías,
Cuenta con experiencia asesorando empresas en el cumplimiento
de la normativa de protección de datos, ciberseguridad e inteligencia artificial.
Fue uno de los abogados de Mario Costa
en el proceso en el procedimiento de Google, en el que
el Tribunal de Justicia de la Unión
Europea falló a su favor, reconociendo su derecho al olvido
y este caso es considerado uno de los más importantes en materia de privacidad.
EH Bueno, participo habitualmente como ponente
en universidades conferencias, escuelas de negocio EH
y desarrollando temas fundamentalmente relacionados con el derecho tecnológico.
Muchas gracias Joaquín.
Sé que te vas de viaje en un rato, así que gracias dobles
por aprovechar este ratito.
Y pues nada, estamos interesadísimo en saber la parte legal
de todo esto, Así que nada, muchas gracias.
Bueno, pues nada, buenos días y al revés.
Muchas gracias Fernando
y a la universidad, en especial a Jessica por por invitarme.
Como como decía Fernando, yo
soy seguramente el menos técnico de la sala, pero no os preocupéis,
que no voy a hablar de leyes, ni de artículos ni nada así.
¿Se trata un poco de contaros, eh?
¿Pues de alguna forma mi experiencia ayudando a empresas, a instituciones,
un poco al al cumplimiento en materia de inteligencia artificial, no?
Y sobre todo mandar algunos mensajes o algunas recomendaciones
que como justo como estaban diciendo, como justo
estaban diciendo ahora, pues
creo que es importante tener tener en cuenta,
pues a la hora de los usos que estamos haciendo todos en el día a día,
seguro que ya todos hemos jugado con algunas ideas, otros
la hemos usado ya en modo real en el día a día.
Y es verdad que esto pues es una tecnología que tiene
pues una gran un gran impacto sobre todo en la eficiencia,
en hacernos hacer las cosas más rápido, mejor, etcétera, etcétera
Poder llegar a hacer más cosas.
Pero también tiene algunas cuestiones que tenemos que tener en cuenta
para no meternos en líos nosotros,
para no meter en líos a la universidad, para que los alumnos no nos metan en líos,
etcétera No es un poco es de lo que se trata hoy. ¿No?
Voy a ir.
La presentación es bastante extensa, pero la ha hecho así para que luego,
si la queréis compartir pues podáis tener algo de material.
Pero voy a ir bastante rápido con las diapositivas.
La normativa de inteligencia artificial.
Esto viene dentro de un paquete que no es solo que al final no sé si estáis
un poco al tanto, pero en los últimos años la unión Europea está
hiper regulando todo lo que
hay alrededor de tecnología, ciberseguridad,
temas de datos, temas de secreto empresarial, temas de IA
y ahora también desde hace desde hace poco también la inteligencia,
la inteligencia artificial.
Comentábamos justo antes que en esos, en esas conversaciones en torno de la
Unión Europea, precisamente el tema legal fue uno de los primeros
que se puso encima de la mesa por el impacto que puede tener en las
en las personas que como veo yo.
¿Y bueno, un poco la idea es que cada uno ya
veis lo que estoy contando a vuestro día a día, no?
¿Cuál es el contexto?
Pues un poco en la en el ámbito universitario, pues al final
supongo que la estaréis usando, pues para preparar las sesiones
para la investigación, para incluso corrección de.
¿Los trabajos que os entreguen en los exámenes
generar de alguna forma, incluso en el ámbito de la
de la coordinación o de la gestión académica
o incluso usarla como predicción de oye que viene, que podemos ofrecer?
¿Cómo podemos hacer un mejor servicio a nuestros a nuestros alumnos?
Hay un montón de usos muy claros
y todos muy interesantes y muy beneficiosos.
¿Por qué importa o por qué Creo que me habéis invitado hoy?
¿Porque por qué tiene esto una derivada jurídica?
Pues oye,
el uso de la IA al final
lo que tenemos es es una herramienta
y como una herramienta, pero muy potente.
Justo estabais, estaban comentando justo en la introducción que esto no es
algo como lo que hemos vivido anteriormente.
No va mucho más allá
y teniendo en cuenta toda esa potencia, esa potencia viene asociado también
unas posibles riesgos, unas posibles consecuencias, principalmente
porque los derechos de los alumnos pueden verse afectados si la utilizamos.
Imaginad, por ejemplo, para hacer la selección de
alumnos para unos determinados cursos para determinadas, tal
porque los derechos de los profesores pueden también ser
puede estar también en juego en caso de que lo utilicemos,
pues para determinar determinadas asignaciones, etcétera, etcétera.
Bueno, muchas cuestiones en las
que al final este uso de la tecnología puede tener un puede tener un impacto.
Y aquí es
donde entran pues
estos algunos de estos riesgos que que veis ahí.
Como digo antes, os lo dejo porque entiendo los unos casos de uso
que se me han ocurrido a mí, pero que seguramente no aplican a todos vosotros.
¿Pero por ejemplo, si utilizamos IA para la evaluación, admisión
y perfilado de estudiantes, pues a lo mejor en un momento determinado
la IA puede determinar algunos sesgos, puede dar más preponderancia
a unas circunstancias que a otras y al final,
bueno, pues tener una
un impacto en la decisión, no?
¿En qué?
A ver, aquí un poco adelante.
¿En qué afecta esto?
Pues principalmente en que en el ámbito.
Cuando usemos la IA en el ámbito universitario,
la IA no va a sustituir nuestra responsabilidad.
No vale con decir yo esto lo he hecho con IA.
Es lo que me dijo la IA y ya está.
¿Y como estoy usando además el último modelo de
IA que todo el mundo dice que es superpotente, pues
me remito a lo que ha dicho la IA, no?
Llega un momento en el que esa responsabilidad, de alguna forma
se redistribuye.
Sí, del mismo, del mismo.
Del mismo modo que si yo tengo un ayudante.
En mi caso hablábamos justo ahora con Jorge.
En mi caso, yo tengo en el despacho
abogados en mi equipo que tiene más o menos experiencia.
En el momento que yo recibo una ayuda
de un abogado junior o con menos experiencia
y me la creo o la entrego
directamente al cliente, pues el que está asumiendo la responsabilidad soy yo.
Del mismo modo sucede con la IA.
Si yo recibo un determinado mensaje de la inteligencia artificial
y no lo cuestiono, me lo creo directamente y lo entrego directamente,
pues el que está asumiendo la responsabilidad soy yo.
Ha habido un caso reciente en
una aerolínea canadiense, por ejemplo,
que ha puesto un chatbot de IA a gestionar reclamaciones de usuarios
y le ha dado todo el poder, entre comillas, al chatbot.
¿No ha confiado mucho en la tecnología al lado del poder, al chat
o se ha dado cuenta que el saludo estaba fallando?
Estaba dando compensaciones cuando no tocaba y
ha intentado recular y decir oye, nada más que se ha equivocado el chatbot.
¿Lo que le han dicho los tribunales es oye, ok, pero la culpa la
tienes tú por poner A1A una IA sin vigilar o sin revisión, no?
Entonces aquí pasa lo mismo.
Sí, si nos fiamos demasiado, le damos esa,
esa, ese poder o esa potestad a la IA sin revisión, pues podemos.
La responsabilidad al final va a ser nuestra.
¿Si finalmente se demuestra que el fallo
efectivamente es de la IA en una determinada función, pues podemos
a lo mejor reclamar esa responsabilidad al al fabricante,
pero en principio la la responsabilidad es de quien?
¿De quien utiliza esto no?
¿Entonces a que aquí?
¿A que es a lo que vamos?
Pues vamos a un marco en el que yo os voy a hablar ahora
del Reglamento de Inteligencia Artificial.
Pero no es solo el Reglamento de Inteligencia Artificial
lo que tenemos que tener en cuenta.
Tenemos que tener en cuenta y lo hablaremos después en la mesa
temas de seguridad informática, temas de datos, temas de
de otros, de otros ámbitos o seguramente en las futuras
normativas específicas del sector educativo.
Seguramente haya referencias de casos en los que se nos haría casos en los que
no se duda que la IA tiene que estar supervisada, etcétera, etcétera.
Bueno, os dejo esto un poco en la línea de lo que
de lo que decíamos en sobre todo.
Todo va o todo va a ir muy enfocado
a un entorno en el que en el que la IA se pueda auditar.
Es decir, que el Mi principal mensaje hoy es,
por supuesto, usad la inteligencia artificial
al máximo todo lo que podáis,
pero tenemos que intentar primero entender qué es lo que tenemos entre manos.
Es fundamental que si vamos a utilizar una herramienta de inteligencia artificial
y más en un entorno técnico como el que estamos hoy,
por lo menos entendamos qué es lo que tengo entre manos que
como funciona esa herramienta.
Determinadas cuestiones que voy a contar después, como funciona
y qué cuestiones o qué riesgos puede haber asociados,
no que podamos auditar qué es lo que tenemos
y decidir en algunos casos como, como, como es la mejor forma de usarla.
Justo estaba estaban comentando antes el rector y el vicerrector, pues
probablemente desde la universidad se nos van a ayudar con guías,
con recomendaciones, con políticas, etcétera, etcétera
Pero bueno, cuando cuando eso llegue pues tendremos una referencia,
pero al final se trata de sentido común, entender que es la herramienta
que tengo entre manos y los riesgos que puede tener
asociados.
Entonces, cuando desde la universidad nos planteamos tener
o desarrollar desde cero un sistema de IA, o bien implementar una IA de terceros,
o bien cuando nosotros en nuestro ámbito privado decidimos
instalar una aplicación de IA en el móvil o en el ordenador para Para usarla,
pues tenemos que tener en cuenta
ciertas ciertas cuestiones que básicamente va en la línea de lo que os decía
antes de entender qué es lo que tengo, qué es lo que tengo entre manos.
Hay muchas cuestiones.
Os lo dejo aquí para que tengáis una guía un poco donde mirar
los términos y condiciones de lo que estoy contratando.
¿Qué es lo que yo os recomiendo?
Que reviséis, pero me voy a centrar en tres cosas que creo que son
las más más relevantes que es importante entender cuando usamos una IA.
La primera es cómo se ha entrenado la IA, es decir,
tengo que entender cómo el sistema que yo tengo entre manos
ha sido entrenado,
porque desde el punto de vista jurídico esto puede tener mucho impacto.
Si al final estoy utilizando una IA que no me garantiza que ha sido
entrenada con con fuentes legítimas, es decir, que ha pedido permiso
para toda la información, que la he metido como base de entrenamiento al modelo.
Puedo estar indirectamente incumpliendo derechos de derechos de terceros.
Vale, si tengo entre manos una IA que lo que me dice es que básicamente
lo que hace es scraping de todo lo que hay en internet,
pues probablemente me está dando una pista de
que si luego yo voy a utilizar ese resultado,
a lo mejor voy a estar infringiendo
derechos de terceros a los que no les han pedido permiso
y de ahí han venido prácticamente todos los pleitos que hay hoy en día.
En en el ámbito de inteligencia artificial, precisamente
han venido de titulares de esos derechos que saben que se ha entrenado.
Es así, es con sus con sus bases de datos
y no se les ha compensado, no se les ha pedido permiso ni nada.
Pero también es importante entender qué pasa con
con los datos que yo voy a meter ahí.
Si la IA va a seguir entrenando con los datos que yo meto.
Y esto es una de las cosas más importantes, sobre todo a este nivel
académico, porque en un momento determinado
podemos perder el control de lo que nosotros metamos como input.
Es decir, si la IA que estoy utilizando no es poner un ejemplo, no me garantiza
que que que no va a entrenar el modelo con esos datos.
En realidad lo que me está diciendo es todo lo que tú me das aquí
lo voy a usar para mi propio, para mi propia finalidad.
No sé si me explico.
Al final, si meto datos personales, si meto un proyecto confidencial
en el que estoy trabajando, si meto
determinados papers,
si estoy usando una IA que me dice que va a usar eso
para entrenar,
seguir entrenando su modelo, al final estoy perdiendo el control sobre eso.
Entonces eso es una de las principales cuestiones.
Una, la que pasa con el input con la que metemos los datos de entrenamiento.
La segunda es qué pasa o que puedo hacer yo con ese contenido generado
por la inteligencia artificial
que me dice el proveedor de IA que me dice el sistema que voy a poder hacer
con lo que me entrega, si puedo usarlo con fines académicos,
si lo puedo usar con fines comerciales, si lo puedo usar
para lo que yo para el interés que yo que yo tengo.
¿Entonces, qué pasa con entender bien qué pasa con el input,
qué puedo hacer con el output?
Y por último, en casos en los que haya decisiones automatizadas,
en el caso en el que estoy utilizando la inteligencia artificial para
toma de decisiones, para determinar si concedo o no una determinada
beca o un determinado o una promoción,
siempre que haya decisiones automatizadas, tenemos que entender muy bien cuál
va a ser el impacto
que eso va a tener en las personas sobre las que estoy tomando esa decisión.
Vale.
Si confío directamente en la IA, en conceder lo que yo
os decía antes de conceder o no una compensación en un vuelo, conceder
o no una beca a un tal, pues ahí es donde tenemos que revisar
y ahí ya hay muchas guías de las agencias de datos,
etcétera, etcétera en las que es importante revisar
qué consecuencias va a tener eso, qué obligaciones tengo de transparencia.
Si el la persona sobre la que tomo la decisión tiene derecho
a pedir que un humano lo revise, Es decir, si yo le tengo que decir
en general la norma va a ser que yo le tengo que decir
que transparentemente esta decisión se ha tomado con IA
y a partir de ahí esa persona pues pueda reclamar o no,
etcétera etcétera Entonces sobre todo, como os decía,
mensaje principal entender qué es lo que tengo entre manos, entender cómo funciona
técnicamente y los riesgos que puede haber para la función para la que yo
la quiero utilizar y después
muchas cosas a revisar.
Pero en concreto yo diría que estas tres.
¿Qué pasa con lo que meto yo en la IA?
¿Qué pasa con lo que me da y qué pasa en los casos de decisiones automatizadas?
Esto me lo salgo, me lo salto.
Pero bueno, son ejemplos de esto.
Por ejemplo, aprendizaje federado, pues es un ejemplo de cómo poder utilizar
IA en entornos muy confidenciales en los cuales, pues en vez de enviar toda
la documentación de los datasets a la IA, se envía la
IA a cada dataset para que aprenda y se vuelva con el aprendizaje.
Hay soluciones técnicas también.
En muchos casos no son siempre soluciones legales, pero hay soluciones.
Hay veces
que hay soluciones técnicas que ayudan a resolver un problema, un problema legal.
Esto es un ejemplo
de un poco de las preguntas que nosotros recomendamos hacer a la hora
de decidir si implemento o no un sistema de inteligencia artificial y
cómo se resuelven esas preguntas.
Esas preguntas derivan en unos riesgos,
unos determinados riesgos, Pues hay una revisión.
Imaginad, por ejemplo, que se identifica un riesgo
en el ámbito de protección de datos, pues habrá que involucrar al delegado.
Protección de datos.
Si hay un riesgo seguridad, pues habrá que involucrar al responsable de seguridad.
Estos son algunos ejemplos de lo que os decía antes.
Por ejemplo, en OpenAI, la empresa de chat GPT.
No sé si se ve bien, pero lo que me dice, lo que me dice aquí es
si estás usando la versión no API de GPT,
yo voy a usar todo lo que metas para entrenar el modelo.
Por lo tanto, lo que me
está diciendo es si usas esa versión gratuita, no API y tal.
Cualquier dato personal que metas dato confidencial,
que metas secreto que tú no quieres que nadie sepa y me lo
estás diciendo para confirmar si tienes razón o no, tienes razón,
yo lo voy a usar para entrenar mi modelo, por tanto perdemos el control sobre eso.
En cambio, si usas la versión API de OpenAI,
pues ahí yo no voy a tocar lo que tú me metas para entrenar mi modelo.
O sea, lo que os quiero decir es que sabiendo que estas cosas pueden pasar,
pues tendremos que elegir la versión que mejor se adapte.
Si voy a usar la IA
para una cuestión inocua en la que simplemente quiero hacer el cartel
de la presentación de las jornadas,
me da igual que use lo que yo le meto para entrenar el modelo, si la voy a usar
con una finalidad distinta o con un enfoque un poco más sensible,
pues ahí tengo que tener cuidado de no entender leerme.
Es verdad que
creo que hay una estadística por ahí que dice que solo un 2% de las personas
se leen los términos y condiciones en las condiciones
de los de estos sistemas y un 2% a mí me parece muchísimo.
Pero bueno, por lo menos, aunque no nos leamos todo el rollo
de los términos y condiciones, entenderlo, no poder entender qué va a pasar,
sobre todo en casos de uso sensible.
Y os pongo algunos ejemplos de sesgos también que las propias ideas
ya están poniendo sus propios auto controles, sus propias auto,
auto, controles y nada, simplemente que hay ya bastantes autoridades
que ya se están pronunciando y nos están dando bastantes, bastantes guías.
Todo lo que os he contado
hasta aquí voy a correr ya porque justo estoy en mi tiempo.
Todo lo que os he contado hasta aquí no es nada
del reglamento de inteligencia artificial, es otras cuestiones
relacionadas con propiedad intelectual, con datos, con seguridad.
Vale.
¿En qué, que que importa o que influye el reglamento de propiedad intelectual?
Bueno, primero que ya está aprobado, que justo ayer se aprobó en la Comisión
Europea una ley, la Ley Ómnibus
que de alguna forma intenta armonizar el Reglamento de Inteligencia Artificial
con otras normativas
en las que no se hablaba muy bien como datos, como ciberseguridad y otras.
El principal cambio que introduce Omnibus es que había una obligación
para ellas de alto riesgo que entraba en vigor en agosto de este año
y esto se pospone
hasta diciembre del 27, con lo cual las empresas que usan IA de alto riesgo
tienen más plazo para para homologar,
pero no simplemente una pincelada.
Cuando escuches hablar del reglamento de Inteligencia Artificial, el principal
impacto que tiene es porque el reglamento no regula la inteligencia artificial.
No se puede regular una tecnología, lo que hace es regular los usos
que se hagan de la inteligencia artificial.
Lo que nos dice es la inteligencia artificial.
No es mala, pero si la usas para determinadas cuestiones,
pues puede tener un impacto muy importante en las personas y por tanto
esas cuestiones las regula y determina diferentes niveles de riesgo, riesgo
inaceptable, es decir, usos prohibidos, que básicamente
son cosas que veis ahora en pantalla, que es cosas que van a tener.
Son cosas muy graves que si alguien las hace,
pues puede tener un impacto muy grande en la sociedad.
Y por
tanto el reglamento directamente dice esto no se puede hacer.
Luego tiene otro nivel que es un nivel de alto riesgo, que es lo que os decía
y es que sí se pueden utilizar, pero como tienen un impacto importante,
les pido a las empresas que controlen esos sistemas de alto riesgo,
que hagan un sistema de gestión de riesgos,
que hagan una serie de cuestiones muy parecidas.
Yo siempre lo explico explicando que es un poco
como lo que sucede con los medicamentos, los medicamentos antes de salir al mercado
necesitan una revisión previa, una auditoría, una control de riesgos.
Incluso cuando salen al mercado tienen que estar monitorizados.
Y si en el mercado se identifica que ese medicamento ha generado un efecto
que nos esperaba, pues se vuelve y se arregla con la IA.
Es prácticamente el mismo sistema auditoría previa al sistema de gestión
de riesgos y luego monitorización una vez que está en el mercado.
¿En qué implican esos sistemas de alto riesgo?
¿Principalmente?
Lo que os pueda, digamos, afectar a lo mejor a vosotros
es cuando se hacen scoring, cuando se hace clasificación muy,
muy perfilada de personas, etcétera, etcétera y
sobre todo en el ámbito de recursos humanos, en el ámbito financiero
se pueden dar estos sistemas de alto riesgo de lo que dice la normativa es
Esos sistemas se permiten, pero dentro de un control.
Vale, os dejo información y con esto voy a acabar.
Hay sistemas luego de uso general, que lo que requieren es de transparencia.
Es saber que detrás de lo que estoy haciendo es IA
y solamente con esto termino.
Para que entendáis un poco la responsabilidad
que puede tener la universidad en función del rol que asume,
si nosotros usamos o integramos un sistema
de de de IA de uso general que pone ahí.
GP Ahí general, por ahí.
Básicamente tenemos que tener en cuenta entender la documentación técnica.
Identificar
la información y accesos a sistemas, etcétera.
Hacer lo que os he contado antes un poco, entender qué es lo que tengo entre manos.
Si usamos IA de alto riesgo, pues además podemos pedirle al proveedor
pues todas esas cuestiones
que me demuestre que tiene un sistema de gestión de riesgos, etcétera, etcétera.
Y si somos responsables del despliegue, yo creo que la final es lo que
vamos a hacer en la mayoría de los casos, que es cuando yo implemento una
IA en mis entornos, pues en algunos casos cuando eso vaya a ser utilizado para
cosas que tengan impacto en los alumnos, en los profesores y tal,
pues tendré que hacer algunas evaluaciones de ese impacto, que es que
los riesgos asociados a ese uso
y que puede pasar que pueden salir mal y tener previsto como lo arreglo.
Obviamente utilizarlo de acuerdo a las instrucciones,
garantizar la pertinencia de los datos, que lo que yo meto ahí puedo meterlo,
que tengo la posibilidad de meterlo
y luego seguir supervisando el funcionamiento, etcétera, etcétera
Entonces, en función del rol que asumamos,
pues tendremos una serie de una serie de de cuestiones.
Luego después vamos a hablar de temas de responsabilidad.
En la mesa habrá normativas específicas que regulen cosas concretas de la IA.
Están saliendo ya certificados que garantizan
que la IA que uso está auditada, etcétera, etcétera.
Y poco más.
Pero bueno, mi mensaje de hoy es uno principalmente.
Y con esto cierro y pasamos a la mesa, que también tenemos un debate interesante.
El mensaje es principalmente
tenemos que entender qué es lo que tenemos entre manos,
Tenemos que entender los riesgos asociados a lo que tenemos entre manos,
seguir esas guías que se nos den desde la universidad, evitar utilizar
en el ámbito laboral universitario
Ias que no estén, digamos, dentro de las permitidas
o dentro de lo que ya se ha revisado y ya la Universidad ha hecho ese
esa labor de ver que puede usar ese proveedor.
Y por último,
bueno, entender también estar un poco
despierta, que si tenemos entre manos alguna IA que pueda ser considerada
alto riesgo, etcétera, etcétera, pues
tener clara la
las implicaciones y la forma en la que el proveedor me dice que la
que la debe usar.
Vale, entonces yo creo que lo más
interesante ahora probablemente es el es el debate, las preguntas.
Abriremos al turno de preguntas también,
Así que nada, yo lo dejo, lo dejo aquí y pasamos a la mesa.
Muchas gracias.
Pues vamos a dar
entrada a la mesa redonda sobre aspectos legales,
protección de datos, propiedad intelectual y ciberseguridad.
Y bueno, como decía Joaquín, encima es la semana ideal
porque ha habido reformas de la ley que nos afectan, porque la educación
es uno de estos sistemas de riesgo
y bueno, que todos tenemos que contemplar.
Entonces me he rodeado de unos grandes expertos en el tema,
a quien que ya ha hablado y tengo también conmigo a Luis Cancela,
delegado de Protección de Datos de la Universidad Politécnica de Madrid
desde 2018, y Jorge Blasco es profesor
titular de la ESI en Sistemas Informáticos en el Campus Sur.
Es investigador principal del grupo de seguridad sofware,
algo de criptografía y además también dirige la cátedra de seguridad INCIBE.
Y bueno, yo la verdad es que no me quiero entretener muchísimo más.
¿Daros entrada, eh?
Luis y Jorge nos van a plantear cuál es, cuáles son sus mayores preocupaciones
en este tema y os animo a todos a participar porque como ha dicho antes
Fernando, el objetivo de la jornada es que sea muy participativa
e intentar solucionar el máximo de dudas que tengáis.
Entonces, si quieres Luis, nos comentas
un poco tu
opinión sobre el tema y tus preocupaciones.
Sí. Buenos días.
Bueno, agradeceros porque es una oportunidad pues muy buena
la que brinda es para poder trasladar pues un mensaje
a toda la comunidad educativa.
¿No habíamos quedado en que me ibas a preguntar la primera pregunta?
¿Y entonces un poco la respuesta en el sentido de
el primer mensaje que sí, que que quiero trasladar
yo cuando me enfrento a veces a vuestros proyectos,
sobre todo en el ámbito de la investigación, pues como que hay un cierto
sentido de que esta normativa lo único que hace es obstaculizar no?
Bueno, pues ya el propio RGPD yo me
me limito a hablar del del ámbito de de datos personales.
No se predica solo de protección
frente a lo que es una utilización de datos personales,
puede afectar a otros derechos o libertades de las personas, sino que eh
implica o se predica en su título
que sea la circulación libre de esos datos.
En ese sentido, yo pongo un ejemplo.
Por ejemplo, con la normativa vial que dices oye,
pues no se trata
de de impedir que circulen con vuestros vehículos.
Pero claro, si me traes, por ejemplo, pues datos,
bueno, en este caso menores de edad, dice.
Pues claro nuestro caso.
Extrapolando esos datos de categoría especial, pues tienes que llevarlos
en unas ciertas condiciones.
Mira, hay unos sistemas, nos vale con el cinturón que llevas a otras personas.
Y otro mensaje también que cuando tratamos datos tratamos datos.
Tampoco.
Una vez entiendes que tratas datos personales, tienes que aplicar
unos principios que rigen la normativa y de los que se derivan unas obligaciones.
Con lo cual esto de no, pero si es que son datos
que no tienen, bueno, ya llevan un mínimo, digamos, por normativa.
¿A partir de ahí puede suceder eso que como en circulación dices,
no es que para menores como que pues los dejo en casa, no?
A los menores no me los dejas en casa, pero es cierto que
que los menores vamos a tener pues unas garantías adicionales
porque entendemos que es mayor el riesgo.
¿Y no me digas que
bueno que es un chavalote que tienes es muy fuerte porque ese
aunque no le ponga cinturón no
mira, hay que cumplir porque es que lo que estamos es transportando personas, no?
Es un poco esos dos mensajes así de inicio
y para abrir un poco el debate, porque sí que es cierto
que pues normalmente yo entiendo que personas que se dedican a otro tipo de
y que estos aspectos legales pueden no otorgarles
todo son trabas.
¿O es que a qué me estás diciendo que que no se pueden tratar entonces?
Bueno, pues había por ahí una pregunta.
¿Dice que el uso de una herramienta o no, verdad?
¿Pues qué datos?
Bueno, pues desde luego las herramientas que proporcione ahora la universidad.
Como veo que estáis haciendo un gran esfuerzo o están haciendo
un gran esfuerzo, es es vital porque nos lo ha dicho Joaquín.
Si tú entras en el mundo de Internet y empiezas a utilizar datos personales,
eso ya empieza a vulnerar principios,
porque es que estás utilizando datos de los que en principio
responde la universidad en un ámbito en el que ya te indican que determinadas
garantías de confidencialidad o de que no vayan a entrenarse
modelos a otros sitios.
¿Bueno, pues en ese sentido no me enrollo más, que
vamos un
poquito justos de tiempo, pero vamos, esos dos mensajes,
eh? Jorge quiere manifestar
alguna preocupación específica o si quieres,
todo el tema de cómo conectamos nuestras ideas
con otros sistemas institucionales tipo modelo, tipo,
otros sistemas de investigación, ahí que cosas sí, yo cogiendo un poco
el guante, digamos de Luis de hay que tener cuidado con los datos,
pues una de las cosas buenas que tienen las ideas ahora es que
ya no sea.
O sea, no sé si la gente que está aquí, pero ya no es que sea eso.
Los sistemas de chat son sistemas.
Al final son sistemas de texto en los que tú les metes texto y te sacan texto.
Pero ese texto se
puede usar para muchas cosas y a día de hoy se usa muchísimo también
para ejecutar acciones
en los ordenadores directamente en sistemas de agentes, etcétera Entonces,
una cosa que uno puede pensar es bueno, yo no le voy a meter los datos
de las
personas, lo que voy a decir es que quiero hacer con los datos de las personas
para que la IA me haga las acciones y entonces no comparto esos datos.
Pero aún así, una cosa que a mí me gustaría eh
mostrar y destacar es que aunque hagamos eso, sigue habiendo ciertos riesgos.
Las ideas no siempre hacen lo que nosotros queremos que hagan.
Entonces yo les digo hazme con los datos de los alumnos,
con los datos, esto x la IA quizás no siempre va a hacer eso.
Hay riesgos de pérdidas de datos, hay riesgos de
incluso que en esas operaciones que me hace vuelva de nuevo,
por ejemplo, a incumplir cosas de datos personales
porque se conectan a otros servicios, etcétera O incluso,
como tú decías, Jessica, que yo conecte leía
con un servicio tipo Moodle que era bueno, pues esto a día de hoy se puede hacer,
o sea, yo le puedo hacer una ya que se me conecte al moodle
y me haga una revisión por ejemplo de todo mi modelo para que revise
si las transparencias están bien, si está todo bien colocado, etcétera etcétera
Pero al hacer eso también
le estoy dando la ya el poder de meterse en Moodle, quizá modificar cosas.
Qué pasa si la IA coge, se mete en Moodle, toca el botón que no tiene que votar,
que tocar y me borra algo.
Entonces hay una responsabilidad que también, como decía Joaquín,
aunque yo le diga al ahí hacer esas cosas, la responsabilidad es mía
y tenemos que tener mucho cuidado con estas cosas,
porque al final
la IA hace más o menos lo que nosotros le digamos que haga, pero la IA
también se equivoca y esas equivocaciones, pues al final son nuestras, que somos
los que le estamos dando la orden a la IA.
¿Quieres añadir algo, Joaquín?
Bueno, como hemos dicho
antes, esto es un evento para vosotros, participativos.
Entonces, si tenéis alguna duda, pregunta mejor
y si no, bueno, pues nosotros nos enrollamos, pero
preferimos que daros voz y si tenéis cualquier duda, levantar la mano.
Hay por aquí una persona para con el micro.
Esta alegría no la veo.
Ah, vale.
¿Alguna pregunta?
Sí, Por aquí.
Hola.
Buenos días.
Eh, yo.
La verdad es que me he quedado un poco sorprendida
con el último comentario del concepto de la IA.
Se equivoca.
Yo pensaba que no se equivocaba, que simplemente era que tú les dabas
una orden no completa o errónea, pero no que ella se equivocara.
¿Que no sé si Joaquín, tú quieres añadir algo?
No, no, Supongo que lo que querías decir con lo que la IA se equivoca.
Yo creo que es sobre todo también más que que la haya seguido, que es la IA.
No es perfecta. O sea, sobre todo hay varias.
Hay varias cuestiones.
Una muy importante es, primero, que le preguntamos el contexto.
Quedamos justo hablaba antes con Jorge que que yo trato un poco la IA,
pues como decíamos antes, como un compañero que tiene
poca experiencia o que al que yo le tengo que dar mucho contexto.
Cuando haces una pregunta o cuando introduces la consulta, el input en el.
En los sistemas de IA es importante darle todo el contexto,
porque si no puede ocurrir que la IA interprete lo que tú
no le has querido preguntar.
O como decía antes, Jorge, pues toque el botón que no tenga que tocar.
Al final
estos sistemas lo que tienen es unos sistemas
lógicos de toma de decisiones por detrás, Entonces es muy importante.
El contexto que le doy es decir, darle un mensaje claro,
pero luego también no tomarnos como como decías.
Yo creo que estar en el punto medio de no tomarnos como decías, la sensación
de que la IA lo va a entregar todo perfecto, si es una orden muy clara que es
organizarme esto en orden alfabético, organizarme tal de mayor a mayor.
O dime quién ha hecho tal.
Eso lo puede hacer bien, pero hay otras funciones en las que
en las que la IA ya le toca pensar.
Es decir, por ejemplo, yo en mi ámbito utilizamos una IA específica
en el ámbito legal y la IA te recomienda
pues vías de acción en el ámbito jurídico
que qué decisiones tomar o que recomendar, qué recomendaciones.
Yo creo que el mensaje principal es no demos por hecho
que todo lo que me entrega la IA es importante, o sea, está correcto,
sino tenemos que aplicar también algo de crítica
y algo de pensamiento crítico a lo que me da,
porque si yo uso eso, tal cual, la responsabilidad la estoy asumiendo yo.
Es decir, en el ejemplo que yo ponía antes, si un compañero junior de mí,
de mi equipo me entrega una respuesta para un cliente y yo la cojo
y se la entrego sin mirarla, que está asumiendo la responsabilidad soy yo,
tendré que.
Tendremos que ponernos nosotros como como humanos, un poco en esa
labor de cuestionar y de
y de revisar todo lo que me entrega la vida.
Si yo quería añadir a eso que las ideas de forma muy simplificadas
son sistemas estadísticos,
o sea, es simplificando muchísimo su sistema estadístico.
Y uno de los problemas que tienen también es que.
Entre comillas, no saben decir que no saben muchas veces.
Entonces, por ejemplo, una cosa que nosotros,
o al menos nos pasa a nosotros mucho en conferencias y que hemos
detectado un sistema para implementar sistemas para detectarlo.
Cuando tú a una IA le pides que te diga papers relacionados con un tema,
por ejemplo
a día de hoy esto en unos meses probablemente se solucionado,
pero a día de hoy te detecta los papers bien, pero cuando te los cita
se inventa los autores. No me preguntes por qué,
pero se los inventa.
Entonces nosotros en varias conferencias tenemos un sistema en el que vamos a
a la bibliografía y simplemente mirando si los autores son los correctos o no
de las citas, sabemos si el paper se ha utilizado ya o no,
entonces
digamos, digamos que están hechas también.
En cierto sentido, depende del uso que se les están hechas
para complacer a la gente y para darte la la respuesta que quieres.
Y si no la sabe, pues llega el momento de la típica alucinación
en la que se la inventa.
Entonces las alucinaciones en un chat,
pues te hacen que copies quizá un texto, que cojas un texto
y lo metes en un informe que esté mal, pero una alucinación
en algo que luego ejecuta acciones quizá puede tener problemas mayores.
Simplemente es solo justo
lo que dice Jorge, que creo que igual tenemos que haber empezado por ahí.
Es justo eso.
La IA no te da la respuesta correcta,
te da la respuesta probablemente más correcta.
O sea, en probabilidad la respuesta que tenga
una mayor probabilidad de ser la correcta,
pero no quiere decir que sea la correcta.
Por eso hay que.
Y además añadiría, es humilde la IA.
Tú le haces esa pregunta y te va a decir ojo, ojo,
lo que yo te diga así, porque es una de las cositas que uno
cuando empieza a contactar con la IA le preguntas y te dice
espera, no tengas la certeza absoluta, incluso algún aviso.
Hay sistemas que te dicen esto no es totalmente.
Entonces ya empezamos a chocar con principios también.
Por ejemplo, la protección de datos como el de exactitud de los datos.
Si tú tratas datos
y ya no puedo tener certeza de que esos datos que me vas a devolver
sean exactos o hayas realizado algo que implique una afectación,
pues ya te digo que la propia IA lo reconoce y te dice
antes de cualquier cosa que pueda afectar a determinadas
cuestiones que estamos hoy tratando. Verifícalo.
Sí, por eso justo se
habla del que siempre se dice.
Eso es lo que han destacado antes.
Hola, buenos días, Israel.
Cañón de la Chime.
Quería preguntar qué tipo de
de, digamos, de impedimentos legales
o qué tipo de cosas se pueden infringir cuando se usa la IA para
programar para asistente de programación de código,
por ejemplo, para automatizar procesos o macros o en fin,
qué tipo de cosas hay que tener en cuenta en ese sentido,
más allá de los datos personales que uno pueda
necesitar proveerle a la IA.
Gracias.
Yo en cuanto a temas legales, poco puedo puedo decir.
Lo aviso en cuanto, por ejemplo consejos que yo
daría una cosa que
cuando tú programas puedes hacer lo que sea.
O sea, el programa puede hacer por propia definición
ejecutar código, ejecutar lo que sea.
Entonces una de las acciones que puede hacer también son destructivas.
Lo que decía antes se puede coger.
Entonces, una recomendación que se tiene mucho es.
Que ya digo que no siempre es fácil de hacer.
Vale, es que todo desarrollo que se haga, que se haga dentro
de una máquina virtual en la que tú
tienes a la gente. De ahí que haga cosas porque la gente de IA, tú la
ahí le das todos los permisos que quieras, entonces la gente ya se equivoca.
El problema queda solo dentro de ese espacio virtual
y no se propaga a tu disco. Por ejemplo,
imagínate que la gente dice
tengo que borrar este directorio porque estoy porque me he equivocado.
Una cosa
y el directorio que borra es un directorio que tú tienes, vete tú a saber qué.
Entonces eso rompería tú tu sistema.
Pero si lo haces en una máquina virtual, no,
esos son el tipo de consejos que puedo dar yo.
Pero en cuanto a legal,
si no en cuanto a esto, algunas cuestiones que he comentado antes.
Es decir, por ejemplo si entender dónde estoy metiendo
esa esa información, lo que he dicho antes como se ha entrenado, porque por ejemplo
se ha entrenado con librerías de terceros, imaginad que es una IA que no, que
se ha entrenado con software libre, que hay colgado,
que tiene todas las librerías de software libre colgadas y tal.
Pero esas librerías de software libre individualmente
tienen también sus licencias y tienen también unas limitaciones de uso
o de mención de que se ha utilizado esa librería, etcétera, etcétera Entonces,
entender que de lo que ha aprendido es ahí a que me va a ayudar a programar,
ha obtenido los los los derechos, porque si no a lo mejor está de repente
utilizando una licencia de GPU que me requiere, que la puedo utilizar
pero que requiere mención a la propia licencia y ya eso no me lo va a dar.
Entonces, entender que la IA se ha entrenado correctamente, que ha respetado
derechos de terceros después, como decía antes también que el Código que yo meta
me lo va a respetar en el sentido de si a lo mejor estoy desarrollando
un código confidencial.
Hubo un caso con desarrolladores de
una empresa famosa de tecnología que iban a sacar un software
para sus televisiones
y los desarrolladores antes de que esas televisiones
subieran al mercado usaron IA para
comprueba el código y mejora.
Me lo
la la IA era como las que he enseñado yo antes de las que te dicen
Voy a usar lo que tú me das aquí para entrenar mi algoritmo.
Por tanto, ellos están metiendo una información confidencial secreta
para su empresa que todavía no había salido en un sistema que luego
lo iba a utilizar para sus propios fines.
Por lo tanto, pierden esa confidencialidad.
Entonces, entender que la IA que me va a ayudar
respeta licencias de terceros, porque para aprender seguramente ha tenido que leer
bibliotecas de código, etcétera, etcétera.
¿Dos Qué va a pasar con con lo que yo meto aquí?
Estoy poniendo en riesgo lo que yo estoy metiendo,
el código que ya tengo desarrollado lo estoy poniendo en riesgo.
Y tres también. Lo que os decía antes
qué puedo hacer yo con ellos si el código lo quiero,
si el código que yo estoy desarrollando
lo quiero simplemente para un uso doméstico o académico,
pues seguramente lo voy a poder utilizar.
Pero hay ideas que luego te limitan que tú puedas usar lo que ellos te entregan
con un fin comercial, por ejemplo, las ideas de imágenes,
las ideas de música, las ideas de vídeos, etcétera.
Lo que os enseñaba antes, la versión gratis normalmente te dice tú
esto no lo puedes usar con un fin comercial,
es decir, lo que has usado gratis
para ponerle tu marca y venderlo en el mercado y ganar dinero con ello.
Entonces es un poco lo que os decía antes entender sobre todo.
¿Para mí la clave está en
qué es lo que quiero conseguir,
qué riesgos hay si yo meto esto dentro de esta guía y luego qué
voy a poder hacer con el código que me que me entrega?
Hola,
Me habéis abierto los ojos de una cosa que no era muy consciente
que era si yo por ejemplo utilizo una IA de estas
que utilizan la información que meto para para entrenarse
y meto una dirección de una persona, su DNI, sus datos dentro de un convenio.
Por ejemplo, si otra persona pregunta por los datos personales de esa
de esa persona sobre la que yo he metido información,
si le saldría toda la información o si la IA tiene algún
tipo de restricción para dar información de personas privadas.
¿Eso uno y después
eh, qué riesgo tiene la persona que ha metido
la información en la IA, eh
Indebidamente, Supongo, eh?
¿O sea que qué riesgos tiene?
¿Porque me imagino que será difícil
trazar quién ha metido esa información dentro del modelo, eh?
No sé si eso lo he explicado bien.
Es decir, si alguien demanda la IA porque
aparecen sus datos, eh,
de manera automática, cualquiera que realice esa búsqueda,
eh, sí, eh, la IA puede venirme a a mí
que he metido la información a decirme pues ahora te demando a ti.
No sé si me explico.
Muy interesante.
Contestamos esta pregunta y lamentablemente no hay más tiempo.
Luego aprovechamos en el café porque tenemos que seguir con la siguiente mesa.
Contestamos el A la primera pregunta que haces Técnicamente
es posible ya pasado, pero que sea estadísticamente probable es muy bajo.
O sea, muchas empresas tienen mecanismos para luego filtrar todo ese tipo de cosas
y que aunque tú le estés mandando datos personales, ellos
tengan cuidado, sobre todo a la hora de devolverlos.
Pero se han dado casos en los que
estos son ataques, digamos que se llaman ataques de.
Tú puedes chequear.
En algunos casos se una IA sido entrenada con ciertos datos.
Básicamente.
Entonces
se puede pasar, pero es muy poco probable que en el día a día, etcétera pase.
Evidentemente eso no quiere decir que se puedan subir alegremente.
Lo que dice Luis hay que tenerlo en cuenta desde el punto de vista
sobre todo legal, de la universidad.
Y en cuanto a a la trazabilidad hacia atrás.
Muchas de las IA, sobre todo de pago,
tienen servicios para monitorizar como cada persona,
que eso es otra cosa que también hay que tener en cuenta.
Desde luego,
si tú tienes una cuenta
empresarial, por ejemplo, tú puedes revisar
como cada uno de los empleados está usando esa IA,
esto, esto, esto es así, esto se puede hacer en
el trazar exactamente el culpable.
Ya no sé si desde el punto de vista legal es posible o no,
Bueno, es que también aquí estamos.
Estamos hablando de la IA.
La IA es muchas Ias, es decir.
O sea, yo diría que es lo que preguntaba a las dos preguntas.
Depende, porque al final cada sistema de inteligencia artificial,
cada producto, cada software, tiene sus propias características.
Por eso mi único mensaje yo creo que quería que os quedaréis es
entendamos qué es lo que tenemos entre manos.
¿La primera opción es no es lo mismo CoPilot que Chat GPT
que Clot, que tal entonces que las chinas o que tal dependiendo de las Ias?
Pues hay unas condiciones u otras.
Respecto a lo de si se
si se puede luego salir ese ese dato, pues
lo que sí está claro es que ya no está en nuestro control, es decir,
cuando metemos esa información en la IA ya no está en nuestro control.
Entonces, si la IA nos ha dicho como hay algunas
que de lo que va a nutrirse es de nuestros servidores,
es una IA que me instalan en mis propios servidores
que se va a nutrir de los datos de entrenamiento
de mis servidores y tal, pues
estaremos en un entorno más controlado y seguramente eso no va a pasar,
pero yo estoy usando una IA de uso general, un copiloto de estos
que lo usa todo el mundo, pues ahí ese, hay ese riesgo.
Aunque coincido con lo que decía Jorge, que las
las buenas, las confiables, las que todos usamos,
tienen también filtros y tienen límites para no dar esa, esos, esos datos.
Y luego sí se puede trazar quién ha sido el culpable
o quien lo ha hecho o tal, pues también va a depender de cada una de ellas.
Cada una tiene sus propias condiciones, cada una tiene sus propios
términos, términos de uso.
Pero en general, una de las cosas que sí que se les pide
a las inteligencias artificiales, sobre todo en el ámbito
de responsabilidad, es que como para mí como usuario
va a ser muy difícil determinar si la IA ha fallado
porque ha fallado la IA
o ha sido culpa mía porque le he metido un ha hecho un mal uso
en todas las normativas de responsabilidad.
Y todo esto, lo que si se pide, que si se traslada
es la responsabilidad de la prueba, lo que se llama la carga de la prueba,
se le traslada a las
a las Ias,
a los responsables de las inteligencias artificiales, porque como
para el usuario medio va a ser muy difícil explicar qué es lo que ha fallado
en un momento determinado de un juicio o una responsabilidad,
una cuestión legal para una específica responsabilidad.
Digamos que eso se trasladará o se le pedirá a la al fabricante de la
IA que sea el que explique qué es lo que ha pasado.
¿Yo creo que queda contestado, eh?
Muchísimas gracias, Joaquín.
Luis Jorge ha sido breve y esto demuestra, Fernando, que tenemos que hacer otra
porque esta vez ha quedado muy, muy breve y seguramente
que han quedado muchas cuestiones abiertas.
Agradeceros y nos ponemos a vuestra disposición.
Si hay más cuestiones, nos las enviáis y tratamos de contestarlas a todas.
Muchísimas gracias.
¿Bueno, aquí
vamos a hablar de docencia, de docencia, que bueno, pues es nuestro curro principal
y que se está viendo muy afectado por todo esto eh?
Bueno, mi la mesa me acompañan Andrés, profesor de la Escuela de Industriales
que lleva ya muchos años haciendo cosas con IA y por eso lo hemos invitado
en su docencia.
Hoy hemos invitado esta mesa redonda y Fali, profesor de la Escuela de Caminos,
aunque tiene otros
muchos roles en la universidad, pues que también está retando a la parte
académica con todas las cosas de la IA y os queremos comentar algunas cosas
que vemos que nos llegan y abrir el debate.
Eh, Yo para empezar tengo unas poquitas transparencias
que es un resumen rápido que por supuesto me ha hecho la IA.
Ayer por la noche de las encuestas de las encuestas
que habéis rellenado o que han rellenado los profesores que han tenido a
bien invertir unos minutitos en contarnos qué es lo que están haciendo.
Vale.
Al copiarlas se ha
perdido alguna cosa, pero creo que las siguientes está bueno.
¿Hemos recibido 57 encuestas que teniendo en cuenta lo poco
que nos gusta a todos rellenar encuesta, pues creo que no está mal, eh?
Todos los centros de la universidad, al menos un profesor
ha rellenado una encuesta. ¿Eh?
El 60% de las encuestas
nos dicen que están utilizando la IA con estudiantes
y hay más de 3400 estudiantes
que están pasando por un proceso de enseñanza
en el cual de alguna forma está implicada la IA.
EH La herramienta que más se nombra es GPT
GPT, que casualmente es de las que
no deberíamos de usar, vale, pero que es la que está
usando mayoritariamente los estudiantes, también el profesorado.
¿Luego hablaremos un poquito más de esto,
eh? Y en la
parte de investigación, porque la encuesta está pensada
para docencia, investigación en la parte de investigación.
Luego hay otra mesa redonda.
Me la salto, pero deciros que mayoritariamente la IA se
está usando para escribir propuestas y revisar papers.
Bueno, aquí está
esta presentación, os la comparto, luego la compartimos.
Y bueno, pues aquí simplemente que escuelas nos han presentado, eh,
digamos experiencias que están teniendo,
eh Vemos aquí, en esta os muestro, eh,
digamos que usos en la parte académica se se está haciendo de la
IA las encuestas que hemos visto, pues el 50% de las encuestas hablan
de que están usando la IA para cosas, digamos en las que participan
estudiantes y profesores, no solo profesores, no solo estudiantes
conjuntamente la mitad de ellas, pues hay un 57%, perdón, 54%
pues profesorado que ha utilizado entre, digamos,
la IA tanto para trabajar con estudiantes como para trabajar el por.
¿Por otro lado, de forma individual no?
Eh En cuanto al uso del alumnado,
eh lo hemos.
El resultado es que nos dice que el 50% de las encuestas,
eh no se indicó cómo había que usar la IA.
El profesor no trasladó,
digamos perdón, al revés, en un 50% de los casos sí se trasladó
como se estaba usando la IA en la parte académica,
pero en otros casos no.
En cuanto a herramientas, pues lo que os decía GPT es la primera.
Y luego están las otras dos herramientas que hemos comprado
o que tenemos corporativamente en la universidad
y que como se ha comentado en las charlas anteriores,
son las que nos dan una garantía de que lo que se está haciendo ahí,
pues está controlado.
¿Vale? ¿Eh?
Sin embargo, como ya nos ha ocurrido en alguna otra encuesta
que hemos visto, es la que se sigue utilizando más.
¿Entonces queremos trasladar el mensaje de
deberíamos utilizar herramientas corporativas?
¿No deberíamos utilizar esas herramientas para temas que realmente tengan impacto?
Si quiero preguntar cuál es el mejor bar para tomarme unas cañas,
voy a usar chat GPT.
No hay ningún problema, pero si queréis ordenar las notas
de los estudiantes de mayor a menor, pues no es la herramienta adecuada.
Nos preguntan frecuentemente y podéis comprarnos.
¿Podéis darnos chat GPT?
Hemos hecho un cálculo
GPT a todo el profesorado.
Son unos 400.000 € al año.
Damos igual que otras herramientas como CoPilot, Microsoft
y Google, que son las que tenemos corporativas.
Nos han dado, digamos, licencias campus que
por unos costes asumibles pues las podemos pagar.
Otras herramientas como esta GPT o como CLADE, no hay esas licencias.
Campus es un tema que escala 20 € al mes por 12 meses por 3000 profesores.
Si echáis esa cuenta pues sale un montón de dinero que a día de hoy no podemos.
Hemos estamos trabajando intentando hablar con GPT, que no es un
alguien con quien sea fácil hablar y con otros eh, IAS
para ver si nos dan licencias de campus que podamos compartir con vosotros.
Vale.
Bueno, esto, eh.
¿Digamos, cuando preguntamos qué usos se le da a la docencia, eh?
¿La mayor parte de las usos es generación de contenidos,
generación de material, eh?
Otra parte tiene que ver con la escritura académica
y hay un 13% que nos preocupa, que es el tema de la evaluación.
Se está utilizando la IA para evaluar que esa
es una de las actividades de alto riesgo que se ha comentado en la mesa anterior.
Cuidado con cómo usamos para evaluar la IA.
Vale, no es el objeto de esta mesa, pero lo comento en investigación.
¿Me lo salto, eh?
¿Bueno, número de estudiantes impactados me lo saltó, eh?
Y creo que esta es la última penúltima.
Vale.
¿Eh, qué nos decís los profesores?
Pues algo que.
Perdón, me he ido a la siguiente.
¿Pues que necesitáis formación,
que necesitáis más recursos, eh?
Que CoPilot,
que era la herramienta que teníamos hasta hace poco tiempo, no es suficiente.
Hemos hecho un esfuerzo para integrar las herramientas de Google.
Bueno.
Y bueno.
Y no, no quiero, no quiero entretenerme más, que ya me me enrollado bastante.
¿Prefiero que mis compañeros de mesa os hablen algo, eh?
¿Bueno, Andrés, cuéntanos cómo estás usando esto, qué resultados
estás teniendo?
Y bueno, arrancó un poco el debate,
pero voy a ponerte las transparencias
si quieres.
Sigo un poco la línea de las transparencias.
Buenos días a todos.
La verdad es que es un privilegio estar por primera vez en mi vida
presentando en el Paraninfo de la
Este muy motivado
y entiendo que algunas de las razones por las que estoy aquí es por la siguiente
transparencia que hace referencia a un artículo que publicamos.
Mi colega amigo José Luis Martín Núñez, director del ICE
y yo en 2020, un artículo sobre
como la inteligencia artificial
pensábamos que podía llegar a ayudar en la enseñanza de la de la ingeniería.
Y la verdad es que detectamos cosas interesantes.
Creo que se han ido cumpliendo.
En ese roadmap que hicimos de 2020 a 2030
vimos que la inteligencia artificial podía ser facilitadora del aprendizaje.
Vimos que iba a ser necesario,
pues una formación también de los propios profesores.
¿Pero qué cosa más
bonita para nosotros como profesionales que aprender a lo largo de la vida,
en muchas ocasiones,
junto con nuestros estudiantes, incluso aprendiendo de ellos, Por qué no?
Y creo que a ese respecto a la universidad Politécnica de Madrid,
pues está haciendo un esfuerzo desde desde el Rectorado,
organizando formaciones, organizando sesiones como la jornada de hoy,
en la que aprendemos los unos de los otros y es una privilegiada por contar,
por ejemplo, con el Instituto de Ciencias de la
Educación, con el ICE para todos los cursos
y la actualización de la formación del profesorado que imparte anualmente.
Ahí creo que lo estamos haciendo verdaderamente bien.
Creo que la incorporación progresiva de la inteligencia artificial
a las titulaciones y a su empleo en el aula,
pues estamos experimentando también acompañados muy bien por
proyectos de innovación educativa que seguro luego vais a a presentar.
Quizás no lo estamos haciendo también en lo que pensábamos que la IA
nos iba a ayudar a la hora de facilitar nuestra gestión del día a día.
Voy a hacer la bromita, pero este fin de semana
me esperan por delante nueve guías docentes
que cada año me parece que nos enfrentamos
a rellenarlas igual en uno en una nueva plataforma
o preguntándonos cosas que quizá la propia inteligencia artificial sí
que nos podría ayudar muchísimo en esa tarea de simplificar
ese tipo de tareas que en muchas ocasiones son muy burocráticas.
En esencialmente mis
mis guías docentes no van a cambiar, pero voy a dedicar muchas horas
a ello.
Este fin de semana, quizá también a la hora de gestionar,
pues procesos de acreditación y demás.
Entiendo que una inteligencia artificial
que tiene ya los datos de la propia universidad,
pues podría rellenar automáticamente muchos excels y demás que se podrían
utilizar para acreditar las titulaciones o para verificarlas y demás.
Pero bueno, eso digamos que son retos que tenemos por delante.
¿Eh? ¿Busqué ayer si la IA debería de ser un medio o un fin y medio
la inteligencia artificial, pues esa pequeña definición extraída
de un post de LinkedIn de un colega, eh?
Pienso que debe ser un medio, No, no, debe de ser como un epígrafe
que se incorpora a modo de marketing para que las titulaciones
de la Politécnica de Madrid resulten más, más atractivas.
Realmente creo que deben vertebrar la IA, pues las distintas asignaturas,
porque es algo verdaderamente transversal y un poco pues si pasas
era lo que
también analizaba en algunos aspectos.
Cuando presenté el concepto de educación en Ingeniería 5.0
y analicé como 16
aspectos principales
de este nuevo modelo educativo, en ese en ese estudio,
al respecto de la inteligencia artificial, me parecía que podía ser una herramienta
que nos ayudase a mejorar, que facilitase el aprendizaje,
pero de nuevo, no como no como fin, sino como medio.
Pienso que una titulación de cualquier ámbito de la ingeniería
no se transforma introduciendo una asignatura, por ejemplo,
de inteligencia artificial para ingenieros industriales
o inteligencia artificial para ingenieros agrónomos, por poner dos ejemplos.
Me parece que esto tiene que ser un cambio mucho más transversal y además
continuo en el tiempo.
De nuevo, si metes una asignatura de ese estilo en el plan de estudios,
casi estás pensando más en el marketing que vas a hacer a las familias
que están pensando en que universidad matricular a sus estudiantes.
Yo creo que todos somos conscientes
de que lo que de verdad necesitan las titulaciones para que la IA
permee y nos permita transformar la educación,
pues son
más matemáticas, más estadística y más programación.
No es necesario llamarlo inteligencia artificial.
Pienso que para ser verdadero experto en inteligencia artificial,
lo que sí será necesario es contar con algún programa de máster que incorpore
muchísimas temáticas de IA
y que forme a verdaderos expertos.
Pero si estamos hablando de que en los distintos
ámbitos de la ingeniería es fundamental, pues aprender los conceptos básicos
y si la inteligencia artificial va a ser una herramienta
que nos va a facilitar nuestra tarea, pues que eso
vertebre, no la titulación.
Creo que además, pues estos aspectos éticos legales de la IA
nos pueden ayudar a repensar la formación en ingeniería desde el punto de vista
de guiarla por la ética, de hacerla quizá más humanista.
Y creo que de esto luego hablaremos en el en el debate.
Os cuento en las siguientes diapositivas como la estoy utilizando en algunas de mis
de mis asignaturas para.
Para nosotros en el ámbito del desarrollo de productos, la ingeniería
mecánica, la fabricación aditiva y y el desarrollo de dispositivos médicos.
El verdadero cambio se produjo con las versiones.
Me parece que fue a partir de
GPT cuatro y luego
cuando CoPilot fue incorporando esos avances
en cuanto a grandes modelos de lenguaje que permitían recibir
input externo del usuario, diferente a un prompt textual, diferente
a una instrucción de dame una imagen que sea una casa bonita
al atardecer en la playa y pintada al estilo de Van Gogh.
Eso es fantástico, pero entiendo bien lo que hay detrás.
Pero para nosotros lo que fue verdaderamente transformador
es que nosotros pudiéramos hacer nuestros diseños con un programa de diseño
asistido por computador y pasarle como input a la inteligencia artificial
una imagen,
una imagen de las geometrías que nosotros
habíamos diseñado en este ejemplo que vemos aquí, pues que ilustra
esa metodología de diálogos constructivos con una inteligencia artificial.
Diseñamos una estructura reticulada en la que queríamos representar
células colonizando a modo de andamio de ingeniería de tejidos.
Entonces nosotros pasamos a la inteligencia artificial, nuestro diseño.
Le pedimos que lo represente
como un andamio de ingeniería de tejidos colonizado por células.
Eso se transforma para nosotros en una ilustración de una posible materia prima.
Luego decimos transformarlo en una prótesis de cadera bio híbrida
y luego le decimos dame una solución menos futurista.
Y todo esto son ilustraciones con las que uno puede ir potenciando
esas etapas más creativas del proceso de desarrollo de productos.
Evidentemente, luego estas ilustraciones se tienen
que transformar en un diseño fabricante y ahí ya entra
pues la experiencia del diseñador a partir de un diseño.
Poder hacer un ejemplo.
Los revisores de aquel estudio
nos pidieron un ejemplo más y hicimos lo mismo con esta estructura.
Le proporcionamos una esfera reticulada y le dijimos representa algo
como una estructura coralina colonizada por células
y luego transfórmalo en una prótesis de rodilla.
Lo que me resultó más fascinante de esta interacción con la inteligencia artificial
es que empezó a a devolverme no solo imágenes, sino también texto,
y me habla del diseño, de la integración funcional.
Me decía imagínate con esta prótesis que es bio híbrida
en el mar.
No lo leo bien desde aquí,
pero viene a decir algo así como A la orilla del océano y la prótesis.
Las células de la prótesis hacen el eco a las olas del mar y
te susurran cuentos de resiliencia.
La verdad es que era como muy poético todo.
Y a mí, un estudiante que desarrolla dispositivos médicos me hubiera llegado
con una propuesta de este estilo.
La verdad es que se hubiera llevado seguramente un diez por esa capacidad
de combinar arte, ingeniería en ciencia de materiales.
Pero bueno, al margen de esos aspectos más
tipo marketing, yo también le llamaba
Coral Lumina, no le ponía un nombre comercial a la prótesis,
pero también te da soluciones interesantes.
Como dices, utiliza unos conectores de titanio para la integración funcional
de esta prótesis en el organismo humano.
En ningún momento habíamos hablado de ese empleo, del del titanio.
Entonces me parece como herramienta que acompaña a los diseñadores.
Me parece enormemente interesante.
La estamos incorporando a las herramientas de a las asignaturas
de aprendizaje basado en proyectos que que impartimos
y en las que desarrollamos dispositivos médicos, como en el siguiente ejemplo.
Bueno, en este caso también es prácticamente lo mismo,
pero distintas materias primas virtuales
procesadas de forma aditiva en un roadmap de cómo podíamos
incorporar la inteligencia artificial a la fabricación aditiva.
Por si os por si os interesa,
llegas a la postre a distintos tipos de conceptos ideas
de una prótesis de rodilla, una prótesis de esternón,
una mano robótica y luego todo eso se puede transformar
en las distintas asignaturas y se puede llegar a fabricar.
¿Y si continuamos con la siguiente diapositiva?
Ahora han surgido, claro.
Antes todo esto eran imágenes, son ilustraciones.
Tenía que haber un diseñador que se pusiera a diseñar
a partir de esa ilustración, que fuera capaz de esa complejidad
geométrica, plasmarla en un diseño que luego fuera fabricarla.
Están surgiendo también herramientas que directamente
en pocos clics te permiten pasar de una imagen conceptual.
Lo que veis en el centro son dos imágenes,
son cuatro imágenes conceptuales de dos dispositivos médicos
y lo que podéis ver hacia la derecha
son las reconstrucciones tridimensionales
hechas con una inteligencia artificial en un solo clic.
Directamente fabricarlas por impresión 3D.
Eso creo que puede tener un potencial enorme
a la hora de cómo en nuestras asignaturas vamos a diseñar en un futuro cercano
que en vez de utilizar quizás quizá un ratón, vamos a utilizar el texto,
vamos a hablar con el computador y traigo algún ejemplo más.
En este caso, pues el mismo enfoque.
Tenemos nuestro diseño de una estructura reticulada
que lo utilizamos para llegar a un concepto de una especie de prótesis
híbrida colonizada por células cuyas secuelas imitan las colas del hueso
y que además integra algunos sensores que permiten monitorizar su estado.
¿Esto es un concepto, es fabricarlo o no?
Bueno, pues en una escuela que hicimos recientemente en la Universidad de Piura,
los propios estudiantes hicieron algo del estilo y ahora no
es su diseño y directamente fue diseño fabricado
generado con inteligencia artificial,
lo cual nos está permitiendo que asignaturas que esa parte de diseño
y fabricación nos llevaba a lo mejor un par de meses o tres
lo estamos reduciendo a poderlo hacer en un par de días o tres,
de tal manera que nos centramos en los aspectos en el ámbito médico
más relevantes, que no son los tecnológicos, son los aspectos humanos.
Tienes más tiempo
para poder interactuar con los pacientes, tienes más tiempo para poder interactuar
con los profesionales de la salud y tienes más tiempo para hacer
esa evaluación de la tecnología sanitaria en contextos reales.
Entonces, para mí es son oportunidades de aprendizaje continuas
y resulta enormemente motivador y es parte de nuestro aprendizaje.
Lo veo, lo veo así.
Muchas gracias.
Esta era la pequeña presentación que traía
hoy. Bueno, en primer lugar dar las gracias por crear este espacio.
Creo que de esos espacios deseados por parte de todos.
En estos últimos años, las conversaciones alrededor de la inteligencia artificial
han sido abundantes y aquellos que llevamos dedicándonos,
pues 25 años al tema de la inteligencia artificial, eh
Bueno, tenemos de alguna manera la necesidad también de compartir con
con todos vosotros las reflexiones que que hemos ido construyendo juntos.
Estoy de acuerdo con con mi compañero en el que creo que la inteligencia artificial
creo fervientemente en que la
inteligencia artificial es una oportunidad para crear un espacio humano.
Y hoy vengo sumando un poco lo que decía Fernando, la experiencia un poco
en la parte de inteligencia artificial, pero también el
las reflexiones que surgen desde el Centro de Liderazgo y Tecnología,
que al final son las que están vinculadas con el tema que me gustaría compartir con
Con vosotros en el día de hoy, que son las competencias transversales,
la inteligencia artificial y está muy vinculada con el desarrollo
de competencias y eso es lo que me gustaría transmitiros. El
la inteligencia artificial al final también se
se embebe dentro de un marco de de de cambio
y para la organización y para las personas que constituyen la organización
suponen un reto y a ver, aquí no paso a paso.
Yo tengo por aquí y me gustaría, ya que que hemos tenido recientemente,
recientemente una visita de de del Papa porque no va a hacer una referencia.
¿Yo creo que me parece que es una referencia así chula para arrancar, eh?
El tercero 13.º 13 eh lanza su
su primera encíclica vinculada que se renovaron y la enmarca
dentro de un marco de cambio global en el que la.
La industria 1.0
está empezando a pensar las costuras de de
de la relación entre personas.
Hay una explotación de las personas por las personas
y en ese marco de desarrollo industrial pues se decide.
La Iglesia decide postularse y decir oye,
hay un cambio que es necesario, sobre el cual es necesario reflexionar.
Bueno, pues León 14 al final decide poner su nombre también
un poco vinculado, vinculado con esa sensación de que eh
hoy estamos en un
momento de cambio y hay que hay cosas que hay que reflexionar y.
Y su primera encíclica es una que está vinculada con también
con la persona y con la inteligencia y con la inteligencia artificial.
¿Por qué esa reflexión, esas reflexiones?
Porque la Iglesia suele ser un espacio bastante conservador
a la hora de acoger realidades sociales.
Las acoge, pero las confronta y las maneja con bastante retraso.
¿Bueno, pues la Iglesia se ha adelantado a la a la Academia
y a un silencio tenso, eh?
¿La Academia?
La Academia todavía no ha lanzado ningún ningún texto.
Sí lo ha hecho en el ámbito, en el ámbito legal, pero la Academia
no ha reflexionado todavía de una manera colectiva.
Esto es un problemón porque la universidad, la academia,
normalmente suele
ser un elemento proactivo y prospectivo y no estamos cumpliendo esa esa función.
A pesar de haber sido y participado en el en el proceso de
de conceptualización, es cierto que estamos en un momento de cambio y.
Y es cierto que ese momento de cambio
lo vivimos intensamente, pero es que va a ser mucho más rápido.
Aquellos que
trabajamos con estas tecnologías sabemos que los próximos diez, 15 años
la transformación
y la implantación de estas tecnologías va a superar muy ampliamente
la velocidad y la sensación emocional que está generando su implantación.
Así que, eh, este es el principio de un proceso de de aceleración
y os tengo que decir que en ese proceso de aceleración,
la academia de nuevo en el ámbito del aprendizaje, en el ámbito
de la docencia y específicamente en el ámbito de la ingeniería,
pues tampoco es que vaya muy rápido el Plan Bolonia.
El año 99 nos plantea que los conocimientos
tienen que abandonarse
a la experiencia educativa, a generar un espacio de experiencia
educativa dentro del dentro del aula y no, no,
después de 27 años todavía no hemos hecho una implantación,
una implantación real,
convirtiendo el conocimiento en un elemento que conviva de una manera
práctica con con 1,1
aprendizaje pleno dentro de dentro del aula.
¿Y qué pasa?
Pues que en paralelo tenemos a un docente que que cada vez
ha pasado de ser docente a ser investigador, a ser gestor,
a ser coach, a ser creador de contenido divulgador,
a ser una cantidad de cosas que le han alejado
de su actividad natural dentro del ágora universitaria,
que es acoger al estudiante y ponerlo en el centro.
La meritocracia, el desarrollo del yo, mi de mi mérito individual.
Y permitidme que hoy sea transgresor para jugar un poco con con el diálogo.
Los méritos individuales se han comido uno de los papeles fundamentales que es
al estudiar al estudiante y el estudiante está respondiendo con
con dos grandes retos
que la inteligencia artificial ha acelerado y ha puesto de manifiesto.
Y es que el docente, el estudiante
pensando que el docente es el único
que atesora conocimiento, que eso ya no es real, porque hemos vivido
un proceso de transformación en ese sentido
desde el principio del siglo 20 hemos ido poco a poco condensando la
nuestra información, nuestros textos a través de
de textos docentes que nos han servido a nosotros como base para dar clase
y a partir de los primeros 20 años de de este siglo,
eso se ha digitalizado y ha servido como base para el proceso de entrenamiento
de nuestros modelos de inteligencia artificial,
con lo cual el conocimiento que antes era parte de la libertad de cátedra
y ahora lo que gestionaba un profesor dentro del aula, ya no es elemento,
ya no es el elemento fundamental, no es el elemento fundamental.
Y seguimos sosteniendo, sosteniendo a través de la evaluación
y a través de la acreditación en habitación, siendo los cancerberos de.
El proceso de acreditación profesional.
Bueno, ponemos centrado en el conocimiento y el aula no está, no es la protagonista
y los estudiantes a medida que han podido, han ido poco a poco
abandonando el COVID aceleró este proceso, aceleró este proceso,
se dieron cuenta de que podían seguir el proceso meritocrático.
La yincana ese ese conjunto de pruebas que le ponemos y que le limitan
para llegar hasta el sector profesional, que es una carrera
que se pueden
saltar sin venir a clase, sin tener una experiencia colectiva de de aprendizaje.
Entonces, uno de los grandes retos es a través de la inteligencia
artificial, ser capaces de devolver otra vez a los estudiantes ahí.
Pero ahí se confronta el gran problema, y es que las competencias,
y es lo que estamos trabajando, las competencias de los docentes,
las competencias transversales de los docentes,
las competencias transversales que queremos incorporar a los profesores,
no las tenemos nosotros como colectivo.
Trabajar en equipo, dinamizar, hacer gestión emocional,
ser capaces de inocular a mediante
innovación educativa, que por supuesto, evidentemente
tenemos la gran suerte de tener un centro de ciencias de la Educación
en la universidad, pero no se nos selecciona
por tener esas capacidades, no se nos obliga a tener esas capacidades
y tampoco está en el core de nuestra actividad cotidiana
dentro de la universidad,
porque tenemos otras 20.000 por las cuales no acreditamos.
Y además tenemos otro reto, otro reto paralelo, y es que estamos identificando
que ya que la inteligencia artificial, con el uso que se le
está haciendo ahora mismo, está condicionando importantemente
la manera de realizar el aprendizaje en el en el estudiante, quiere decir que las.
Las pruebas de evaluación al final se consisten en dar elementos que
constaten que han adquirido conocimiento no no aprendizaje.
Y esto la inteligencia artificial lo reta sobresaliente mente.
De hecho
tenemos estudiantes como por ejemplo el de Colima y el y sus compañeros
en el año 2005, en el que ya nos dice que la inteligencia, la.
El uso de GPT u otras herramientas de de escritura
están reduciendo la capacidad de
comprensión, asimilación y aprendizaje de los estudiantes en más de un 80% en.
En el MIT. Así que, eh.
Yo creo que ya hay constataciones que nos permiten.
Entonces, simplemente para no extender
y porque creo que es un regalo el tener la oportunidad
de compartir con compañeros y con personas que uno quiere.
No veo muchas caras conocidas y con las que compartimos de una manera cotidiana.
¿Actividad eh?
Dejo ahí en ese QR una reflexión sobre qué competencias
desde el Centro de Liderazgo, desde aquellas personas que estamos
estamos pendientes de cuáles son las competencias en el en el ámbito del
aula que deben de desarrollarse, deben de desarrollarse en el ámbito de
de la docencia y de la evaluación y de la evaluación
y poner encima de la mesa algo muy importante,
y es que lo más importante es aprender a formular problemas,
porque gran parte de los problemas, la inteligencia artificial
nos va a ayudar a resolverlos, como bien nos acaba de plantear aquí el compañero.
Así que, Y por supuesto, las competencias de comunicación,
las consecuencias básicamente dentro de la universidad, el fraude,
el fraude es no aprender principal fraudes no aprende y el principal fraude,
el fraude también es no enseñar a aprender a hacer ese aprendizaje
a lo largo, a lo largo de la vida y que tenemos que redefinir
nuestras maneras de evaluar, de evaluar el aprendizaje.
La inteligencia artificial se basa en esta, en esta sencilla dinámica visual.
Yo hago, tengo una necesidad y a través de un lenguaje natural,
hasta accedo a una base de conocimiento con tener o no con tener izada,
y desde ahí obtengo una respuesta.
La propuesta que hacemos
desde el Centro de Liderazgo y desde aquellos modelos humanistas
del uso de la inteligencia artificial, es que la inteligencia artificial
debe ser una herramienta mayéutica socrática platónica.
Es una herramienta que debe de ayudar a generar preguntas para que la persona.
La inteligencia artificial a la hora de interactuar con el estudiante,
le pueda permitir reflexionar sobre lo que ya sabe
y con ello generar valor en el entorno.
Es decir, debe ser un elemento que le permita la auto reflexión y nosotros,
los que tenemos que ser alimentadores de ese conocimiento tácito
y utilizar esa herramienta dentro, dentro de clase.
Así que con eso yo creo que que se queda en una reflexión general.
Muy bien. Muchas gracias Felipe.
Bueno, no nos mentiré si os
digo que intuía que nos íbamos a pasar un poco de tiempo, pero aún así
vamos a dar la oportunidad de que los compañeros hagan alguna pregunta.
Nos podemos retrasar, Humbelina Acortamos el tiempo de café y demás.
Eh, vamos.
Había previsto una serie de preguntas para vosotros, pero creo que es más relevante
que los compañeros comenten, pregunten
si tenéis por ahí.
Gracias.
Bueno, hay unas cuantas declaraciones
académicas como la Clara, la de Leiden y University,
la UNESCO, y si miras a la guía te va a dar otras, otras más
pequeño
apunte.
Luego mi comentario es el siguiente
La IA produce una deuda cognitiva y tú has visto,
conoces todos artículos y estudios que hablan de ello.
Similar a la que produce las las pantallas que están todavía aún más documentadas
porque empezaron antes y creo que has dado el diagnóstico correcto.
La IA tiene que ser mayéutica,
pero para eso te va a hacer falta que tengas sentido crítico.
No obstante, lo que se ve en muchísimas de las clases
es un conocimiento basado en la memoria
y las destrezas de bajo nivel para hacer destrezas de alto nivel.
Haría falta que los profesores tuviesen una formación emocional,
que la mayor parte de ellos no tienen.
Y esto tiene que ver con que la formación, la selección de dichos profesores,
es sencillamente basada en el
en la investigación, en el número de papers.
Parece mentira, pero la baremación de la docencia es al peso.
Y luego, cuando varios profesores son conscientes de que tienen que entrar
en ese,
digamos, formación emocional, se niegan a ello.
Porque empezando por ellos mismos, son inadecuados emocionalmente.
Y entonces no veo cómo es posible eso que estás
poniendo que la necesidad lo cambie.
No es la universidad estructuralmente defectuosa para eso
y la IA lo único que está haciendo
es desnudando a los profesores cuyos exámenes son imitables.
No veo. O sea, creo que has pecado.
Dicho con cariño, de optimismo.
Gracias.
Bueno, a mí me toca pecar de optimismo porque la dirección
del Centro de Liderazgo y Tecnología tiene como encomienda precisamente el
potenciar las competencias trasversales dentro de la Universidad.
¿Entonces, si, si no peco yo de optimismo, bien, quien peca? ¿No?
Pero yo te tengo que decir que hay dos vertientes.
En estos últimos tres años nosotros estamos trabajando
y hemos desarrollado el desarrollo de la inteligencia artificial
para potenciar la inteligencia emocional y el auto evaluación emocional.
O sea que te tengo que decir que ahí hay una luz alrededor de este problema
que puede ser importante,
en la que la inteligencia artificial,
siendo el problema, también puede ser parte de la solución.
Siempre depende de cómo la enfoquemos.
Y la segunda derivada es que yo confío plenamente.
Por lo menos desde estos últimos siete años que he tenido la oportunidad
de a través de esta universidad que ha apostado por un centro
como el Centro de Liderazgo
para desarrollar estas competencias en profesor en el PDI,
en los equipos de gobierno.
Te tengo que decir que eh el impacto que está teniendo
dentro de la comunidad es muy, muy alto.
Es decir, cuando se le permite a la comunidad
el desarrollar estas competencias, la abraza enormemente.
Pero eso sí, tenemos que de una manera acelerada, acelerada,
poner estos recursos de la mano porque no han sido puestos antes
de la mano de de de nuestro de todo nuestro personal dentro de la universidad.
Pero créeme, confía en mí, en que que hoy
hay mucha luz alrededor de.
Hay muy buena gente dentro de la universidad, con muchas ganas
de desarrollar estas competencias de verdad.
Sí, por ahí.
Sí que me conecto mucho con, sobre todo la última parte de la presentación.
Cuando has incluido a la IA en el loop donde el estudiante aprendía.
Exacto.
Y ahí es verdad que de hecho, en este semestre me he lanzado
a la práctica con los alumnos.
Les decía no, no utiliza hacía digo verso.
Si en la evaluación lo que entreguéis no es lo que va a medir vuestra capacidad
de comprender lo que hemos hecho, sino luego va a ser
unas preguntas que yo os voy a formular y que dependiendo de cómo me respondáis,
pues sabré si lo habéis entendido o no,
Entonces es verdad que este diagrama me gusta
porque considero que el profesor debería estar aquí a la derecha
y entonces la IA no es una IA como caja negra,
sino como un recurso que el profesor ha preparado para que el alumno acceda
a un contenido que el profesor en ese momento no le puede dar.
Entonces por un lado te da agilidad, disponibilidad, pero control.
¿Entonces mi pregunta sería realmente
este enfoque es al que creo que deberíamos llegar?
Totalmente de acuerdo. El el.
Nosotros estamos desarrollando agentes por asignatura, por ejemplo por asignatura.
Los contenidos lo estamos volcando en en genética,
en la genética, con tan erizada, es decir, que no bebe de otras fuentes
salvo las propias del propio entrenamiento a través del modelo.
Y el gran reto es renunciar a otras partes
que tenemos ahora mismo muy vigentes dentro de nuestro desarrollo curricular.
Y digo profesional, que son la investigación
y la transferencia, porque el nuevo modelo de docencia requiere primero
renunciar a los contenidos
y facilitar que el estudiante aprenda esos contenidos a través de esa gente.
Y en segundo lugar, cedernos nosotros como personas a atender a,
desde un punto de vista humano, a ese proceso de aprendizaje
y ser capaces de evaluar el aprendizaje desde la cercanía,
porque es una evaluación cualitativa y eso nos da muchísimo miedo.
El hecho de que no sea un número, un decimal,
una contestación precisa que sea que esté conectada con unos contenidos concretos.
A los docentes nos da muchísimo vértigo.
Y es que la idoneidad en el En la evaluación es fundamental.
La equidad y la igualdad es fundamental y la hemos logrado recuperar.
Pero la idoneidad que es entender cómo has aprendido y ha ganado esa competencia,
requiere de mucho tiempo de observación con el con el estudiante
y de conversación.
Un espacio muy oral es una de las grandes competencias para que los que podáis
echarle un ojo al artículo ahí se pone encima, se pone encima de la mesa.
Si lo único es para la grabación, sí.
Bueno, os pediría que tratemos de que sean preguntas más cortas.
¿Rápidas, eh?
Digo, para dar oportunidad, como luego tenemos el café. ¿Eh?
Creo que Andrés quería decir algo a ese respecto.
Quería comentar, por ejemplo, que con un modelo parecido al final, eh.
A mí personalmente utilizar la IA en el aula me ha ayudado a que
los estudiantes también
o a hacer análisis éticos con los propios estudiantes de cómo es el uso de esa,
de esa de esas herramientas y no tienen asignatura de ética.
Pero en mis asignaturas han analizado cuatro principios básicos de hacer
el bien, no hacer el mal
respeto a la autonomía y justicia.
Y analizamos, no analizamos estas herramientas
y decimos lo que estamos haciendo,
pues en principio utilizamos una herramienta
que nos acelera el desarrollo de una de una tecnología médica,
pues en principio estás haciendo el bien, te tienes que garantizar también de
que no haces el mal, de que el dispositivo se desarrolla
con todos los criterios de seguridad, siguiendo las normas establecidas,
cumpliendo con la legalidad.
Evidentemente
poniendo todo tipo de salvaguardas.
Pero ahí veo que la idea en en ambos casos
pues resulta provechosa.
En cuanto a la equidad, son unas herramientas.
Si utilizas CoPilot, pues es gratuito.
¿Yo creo que es una herramienta que puede utilizar cualquiera en
prácticamente cualquier lugar del mundo que te permite llevar estas herramientas,
pues a entornos de muy bajos recursos
y hacer una experiencia formativa de altísimo nivel, eh?
Me preocupa y se lo hago ver a los estudiantes un poco más.
Ese respeto a la autonomía, no solo en los aspectos
de privacidad, sino también de que no terminen estos modelos
llevando a los estudiantes
hacia soluciones que terminen siendo repetitivas.
Que al principio digas que fancy, que bonito, que sorprendente
y que luego continuamente la IA te termine dando más de lo que tú quieres,
como cuando tú buscas en google y al final el algoritmo.
Si eres de determinado partido político, pues te va ofreciendo
noticias que refuerzan tus propios criterios.
Entonces, eso sí, me preocupa que la IA les lleve hacia soluciones tecnológicas
que refuercen
su propio criterio, que no les haga pensar fuera de la caja, por así decir.
Pues se lo hago ver y me parece que es una buena opción
para todo lo que son competencias transversales.
Y bueno,
iremos aprendiendo, claro.
Sí, yo quería aportar una cosa que ha salido y es
hay muchas ideas y la UPM quiere tener su IA vale.
Y en ese sentido estamos haciendo inversiones
para intentar comprar equipos que nos permitan tener nuestras ideas,
ser un poco más soberanos respecto a todas estas grandes compañías,
que un día alguien decide que no exportan a Europa,
nos podemos quedar colgados y que cada profesor tenga, como
creo que alguien ha dicho, su IA para sus cosas, para sus alumnos.
A mí me recuerda un poco lo que pasó en su momento.
Los que ya tenemos unos años aquí con las transparencias
cuando empezó el modelo transparencias, copiamos las transparencias que algún
gurú de por ahí tenía hasta que dijimos oye, vamos a ir haciéndonos
las nuestras y ya tenemos nuestras propias transparencias.
No es un camino
sencillo por los costes que tiene asociado todo esto y la parte tecnológica,
pero nos gustaría anunciar en no mucho tiempo que los profesores que
tengan interés van a poder utilizar ias nuestras
entrenadas por nosotros con una serie de garantías,
con una serie de cosas, eh Bueno, es una inversión elevada,
porque esto es un coste altísimo el que tiene, pero estamos en ese camino.
De hecho, si me permites, Fernando,
creo que uno de los grandes retos y lo conecto un poco con el trabajo
que estamos haciendo estos últimos años, son las reglas de comportamiento de la
del módulo de lenguaje, o sea, la modelo de lenguaje.
Tienen por un lado
la base de conocimiento,
pero después tienen las reglas de comportamiento
y de interacción con el usuario.
Y estas reglas son fundamentales porque para precisamente incentivar
y potenciar ciertas competencias tienen que tener reglas de interacción
muy concretas, que una tiene una dimensión ética.
Y miro por aquí
Celia, otras tienen que tener una dimensión
en el marco del uso del conocimiento y otra
tiene que ser en las reglas en las cual, a través de las cuales incentivamos
un modelo de oralidad o de escritura con el usuario, con el usuario.
Y es ahí donde se produce la conexión tácita con el con el individuo
de lo que ya saben.
Creo que tenemos otra pregunta por aquí y con esto,
si os parece, cerramos y damos paso a la mesa redonda de investigación.
Vale, lo primero muchas gracias.
Es súper interesante esta reflexión general sobre sobre la IA.
¿En concreto esta última parte eh?
Yo tengo un comentario primero, por temas de igualdad entre estudiantes,
está muy bien dar acceso a sistemas de IA de la Universidad
también porque es una
ventaja competitiva tener IA o poder pagarse el PRO de echar GPT
a cualquier estudiante que pueda hacerlo y no para los que no.
Y luego.
Además, en cuanto a la evaluación de los conocimientos o del aprendizaje
que tienen los alumnos,
eh un poco también pensar en los recursos que los profesores tendríamos que tener
de cara a poder hacer evaluaciones orales
o evaluaciones que demuestren
un aprendizaje concreto, eh,
Que digamos no esté, no esté mediado por la IA.
Porque es verdad que que los exámenes al uso actuales, pues muchas veces
no permiten evaluar verdaderamente si el aprendizaje
es real o no.
Obviamente, pues una memoria sí que la la la evalúa,
pero hay otras cosas que requieren de muchísimo más tiempo, muchísimo más
contacto con el alumno y muchísima más asistencia por parte de los alumnos.
Y no sé si tenéis alguna reflexión a este a este respecto.
Gracias.
¿Me dejáis que empiece yo, eh?
A ver, uno de los problemas que a mí
me preocupa es la brecha digital que está generando la IA.
Hay alumnos que se pueden pagar cuatro Ias porque
y se gastan 400 € al mes, 300 € al mes frente a otros que no pueden
y cosas que habíamos conseguido equilibrar, democratizar un poco.
Se están rompiendo.
Y ahí creo que, de nuevo, es una buena apuesta de la universidad
el dar cosas a todo el mundo. Vale.
No podemos pagar.
Ya lo he comentado antes, determinadas cosas,
pero nuestro esfuerzo va a estar en esa línea.
Vale. Y luego abrir el melón de la evaluación.
Pues estuvimos dudando en hacer una mesa redonda de evaluación,
porque yo creo que es lo que ha despertado a la comunidad.
Honestamente,
ya lleva unos años encima de la mesa, pero cuando hemos empezado a ver
todos los problemas que nos
genera en la evaluación el fraude, para qué vas a pedir un trabajo,
para que vas a pasarles unos ejercicios o sea, todo eso pierde sentido.
Para mí ha perdido todo el sentido
y el sentido lo tiene el ponte delante de mí.
Voy a preguntarte y vamos a ver qué has aprendido usando la IA.
Pero eso requiere un cambio de modelo tremendo y unos esfuerzos
del profesorado que a día de hoy creo que no podemos asumir.
Honestamente.
Y dejo que mis otros colegas reflexionen sobre esto.
¿La pregunta es por qué no podemos asumirlo?
O sea, esto es un tsunami y estamos pensando en el color del bañador.
No, en serio.
Lo digo totalmente en serio. No, no es la.
El volviendo.
Retomando un poco el tema de la el tema de la de la evaluación.
Hay que
redefinir otra vez la el el concepto de evaluación.
O sea, no cabe ninguna
ninguna duda y y el concepto de aprendizaje
es qué impacto ha generado en ti el proceso de aprendizaje.
Y aquí voy a tocar otro elemento que creo que que es sensible.
Pero yo creo que el día también para tocarlo hay muy pocas universidades
que tengan unos estándares de calidad altos dentro del mundo,
que entiendan que los estudiantes, los planes de estudio diseñados
para un número de años concreto deben de durar un 30% más de los años.
La matriculación.
El hecho de que la gente no vaya curso por curso es un fracaso
para la universidad, en otros, en otros contextos de investigación.
Y aquí nos ceñimos a que los suspensos estén vinculados con la.
Con la evaluación
del conocimiento del conocimiento per sé, no de la no del propio aprendizaje.
Y eso está también dentro de un dentro de la de la de la genética,
de la genética conductual, de de nuestra universidad.
A lo mejor un momento para retar esto es que cualquiera de nosotros
puede hacer de su asignatura la última Coca-Cola fresquita del desierto.
Todo lo podemos hacer.
Pero la pregunta es en qué medida eso ayuda al aprendizaje profundo
del estudiante y a generar estudiantes, Generar impacto en la sociedad.
Bueno, yo cuando he dicho que no estamos preparados,
eh, no tenemos en algún
los unos volúmenes de estudiantes en determinados sitios
donde complica las cosas, Pero sobre todo no estamos preparados
mentalmente para ese cambio, Esa eso me refería a eso y eso.
Bueno, pues no nos va a costar.
Hay que acompañar el desarrollo de competencias transversales,
de competencias emocionales.
Hay que descargar a los profesores de de su meritocracia
para volver a que recuperen de nuevo su sentido profundo dentro de la institución,
que es conectar con el estudiante y generar un aprendizaje profundo.
¿Para que generar impacto en la sociedad?
¿Bueno, nos estamos poniendo un poco filosóficos,
así que creo que es momento de dar paso a la mesa
redonda de investigación que va a liderar Carlos,
eh? En este sentido, pido disculpas porque el vicerrector de Investigación
que quería venir le han colocado otro evento y.
Pero vamos, Carlos lo va a hacer igual de bien o mejor.
Bueno, muy buenos días.
¿Qué tal? ¿Como estáis? Me voy a presentar.
Soy Carlos López, soy adjunto al vicerrector de
Investigación para Centros Institutos de Investigación
y la verdad es que me complace mucho veros a todos tan, tan tranquilos,
tan interesados
en esta jornada de IA, que hay que agradecer
al Vicerrectorado de Universidad Digital que lo haya, que lo haya hecho.
Pero la verdad es que mi pensamiento y mi sensación es de poca tranquilidad
o por lo menos de cierta incertidumbre
frente a lo que estamos viviendo en cualquier ámbito.
Esta mesa la vamos a dedicar a ver cómo la IA.
¿Y bueno, voy a especificar la IA generativa, verdad?
Porque muchas veces hemos mezclado conceptos aquí como la
IA generativa está afectando a la actividad científica,
no solo a la pura actividad científica como tal, sino a lo que conlleva la
ciencia, que es la consecución de fondos para hacer investigación científica.
Como dice minamos los resultados que generamos con nuestros proyectos.
Es verdad que hay un cambio completo de paradigma
y estamos absolutamente
inundados en una herramienta nueva que
creo que hay poca conciencia
de cómo puede afectar a cortísimo plazo
a lo que entendemos como ciencia, como tal.
Entonces, para intentar profundizar un poquito en este mundo,
eh contamos en esta mesa con dos
grandísimos expertos, además muy jóvenes.
Es un auténtico placer tenerles aquí hoy con nosotros,
a Alejandro Rodríguez y a Gustavo Hernández.
Los dos son profesores de informática, uno de la escuela de Monte
Gancedo y otro de la Escuela de Sistemas Informáticos en Campus Sur.
Los dos tienen una amplísima experiencia en el uso de herramientas de IA,
solapan parte de su actividad científica en aplicaciones de
IA en salud en el ámbito de salud.
Y ellos van a abrir la mesa dándonos una idea general de
bueno que que puede suponer la entrada masiva de IA
o que está suponiendo ya en el ámbito de la de la actividad científica.
Pero yo realmente soy una persona muy preocupada.
Yo soy un científico de la vieja escuela.
Yo empecé como físico experimental, luego soy ingeniero láser
y la verdad es que empecé a usar IA muy tempranamente.
¿Hace veintitantos años ya tenía un paper publicado de aplicaciones
de machine learning para control de procesos láser, verdad?
Pero luego he visto entrar directamente la IA predictiva
hace muy poco de forma masiva en la actividad científica.
Y cuando estábamos todos tan contentos utilizándola de repente
aparece la IA generativa y nos cambia completamente.
Y me gustaría que al final de esta mesa habláramos también
de que nos vamos a encontrar en el futuro, más allá de la IA generativa
que nos la vamos a encontrar antes de lo que pensamos.
¿Es verdad que me tranquiliza mucho vivir en un país
y con gente que ante el mayor apagón masivo de la historia de un país avanzado,
decide hacer cosas como bajarse a las terrazas, verdad?
A beber cerveza antes de que se caliente. ¿Eso
da una idea de cómo podemos abordar, verdad?
Cambios a los que no nos esperábamos enfrentar nunca en nuestra vida
y realmente Pues quizá la primera reflexión
es si supone la IA
el mayor cambio
en la ciencia tal y como la conocemos a partir del método científico.
Desde la época de Galileo.
Esa es la primera, quizá pregunta que deberíamos hacernos,
al menos si la IA generativa
supone realmente
ese gran cambio o si alguna
IA posterior lo puede, lo puede suponer.
Y para entrar en ese tipo de disquisiciones que no son menores,
vamos a intentar de verdad convenceros de que no son menores.
Vamos a dar paso a dos pequeñas presentaciones
que tienen Alejandro y Gustavo y vamos a entrar en materia.
Así que vamos allá. ¿Bueno,
muchas gracias en primer lugar por haberme invitado
a formar parte de de esta mesa, eh?
Yo vengo un poco en modo Pepito Grillo, en cierto modo,
porque en vez de venir a plantear soluciones, vengo a plantear retos
o problemas porque creo que también tenemos que ser un poco conscientes
de que toda la entrada de la IA generativa es un cambio de paradigma enorme del que
hay consecuencias que todavía creo que no estamos imaginando por dónde van a ir.
¿Y concretamente vengo a hablar sobre todo de dos aspectos clave, eh?
Creo.
Empiezo contextualizando
con esta pequeña slide que quizás algunos ya habéis oído hablar de esa noticia.
No sé si conocéis Arkaitz, que es un repositorio de pre prints
para para artículos científicos, sobre todo en el campo de
de la parte de informática y empezaron a ver que
bueno, pues el número de sus misiones subía exageradamente,
pero es que además empezaron a ver que ya eran papers claramente generados por IA,
pero además un uso de la IA totalmente absurdo,
porque ellos empezaron a banear, no consideraron banear a los autores
que subían este tipo de artículos durante un año.
Es decir, tú mandas algo que claramente ha sido generado por IA
y te lo y te lo y te dejó durante un año que no puedes mandar nada.
Básicamente porque esto es una cosa de no cuidar las formas.
¿Eran papers que tenían la típica frase de aquí tienes lo que me has pedido, vale?
Cosas de este estilo.
Y luego pues las referencias alucinadas que que también es un problema que
de hecho comentó antes Jorge y que
bueno, ese es un tema bastante importante.
De hecho con las referencias alucinadas es una cosa, es una cosa curiosa.
No sé si alguno os ha pasado, a mí me ha pasado.
Yo empiezo a tener coautores en Google Scholar con los que no he publicado nunca.
¿Por qué?
Porque se ha inventado una referencia de que he publicado con menganito
y luego resulta que me dice oye,
es que tienes un paper con él, es una referencia alucinada.
Y entonces yo no tengo ningún paper con este señor.
Entonces empezamos a ver, ya hay problemas en este sentido.
Luego otro de los problemas
es otro, otro que ilustra este caso de los de los papers.
Esta conferencia, que es una de las más prestigiosas,
sobre todo en el mundo de la de la inteligencia artificial,
pues ya ha empezado a ver que no pueden controlar
y que están empezando a aceptar papers con contenido claramente generado por IA,
lo cual no hace más que aumentar porque bueno, en un sprint bueno,
pero es que esto ya es una conferencia que ha pasado un proceso de peer review
y que estamos hablando de algo que va a ser
ahí generado para toda la vida
y que se supone que ha pasado un proceso de revisión.
Entonces, bueno, esto da lugar a una cuestión y aquí
pongo esta infografía generada por, como no, en el que hablamos también de
los problemas que está generando la IA generativa en
en la publicación científica.
Yo soy editor en jefe de una revista y recibo unos 240 artículos al mes.
Vale, solo como para hacer.
Sí, pero si pasan la revisión o no, y soy uno de los seis editores en jefe.
Vale.
O sea, eso hace una idea y es una revista que ni siquiera está en el JCR.
La han sacado el JCR. Vale.
Entonces, para que os hagáis
una idea del volumen de artículos que se están generando, esto está
dando lugar a que la presión de publicar ahora se va a complicar.
¿Por qué?
Porque vamos a tener
situaciones en las que mandamos papers a revistas y no pasa
ni siquiera el primer filtro del editor en jefe.
¿Por qué?
¿Porque el volumen es tan exageradamente alto que se está recibiendo
y por qué es eso?
Porque hay más investigación.
No, porque es mucho más fácil escribir un paper ahora mismo con IA generativa.
Yo he
estado en congresos donde un de medicina sobre todo
me decían vos, te voy a explicar cómo hacer tu proyecto del fish.
En cinco minutos eso empieza a generar, es aplicado a los papers,
empieza a generar un problema
y es un problema que escala porque mandamos los artículos no pasan a revisión
porque hay que hacer un corte, porque es imposible encontrar revisores,
ya sabéis todos a quien no le llegan 25 peticiones de revisión a la semana
para para revisar artículos y no damos abasto.
Lo comentaba
precisamente que tenemos un perfil ahora,
que es que estamos haciendo todo desde el punto de vista académico y esto,
eso son los papers, pero el asunto es que va a ir a peor
porque los papers, bueno, es una perdonarme la expresión putada,
pero es que cuando empecemos a hablar de lo que es conseguir dinero
y conseguir financiación, que es gran parte de nuestra labor académica,
empezamos a ver que las aplicaciones
a los programas de financiación están creciendo de una manera exagerada.
Estamos viendo que también esto implica que claro,
como crece el número de propuestas,
pero la financiación es la misma, se financia el mismo número de proyectos.
¿Realmente hay un lado por qué?
Porque se financian
muchos menos de los que se presentan y esto es un problema también.
¿Y con esto ya voy a finalizar, que es que tenemos un problema en la
EN también en la parte de proyectos eh?
¿Sabéis que hay muchas agencias que pagan a los revisores por revisar proyectos?
¿Claro, si yo recibo 100 propuestas en una convocatoria del Plan Nacional
por ejemplo, y ahora recibo 500 y tengo que pagarles 60 € por proyecto,
de dónde sale ese dinero? Tenemos ese dinero.
Vamos a tener un problema muy grande, yo creo desde las instituciones
que financian en cuanto a conseguir evaluadores
para todo el volumen que recibimos y que luego que tengamos dinero
para poder pagar a esos evaluadores, entonces eh,
como os digo, un poco de Pepito Grillo y realmente vengo aquí a quizás
a poner la de que todo no es fantasía y no todo es magia, hay que.
La ingeniería es una herramienta increíble, es alucinante
y hay muchísimas cosas en las que podemos trabajar y podemos hacer.
Pero hay que tener en cuenta que la IA generativa también nos está generando
y nos va a generar una serie de problemas, sobre todo
a los que nos dedicamos al mundo académico.
Y con esto, pues nada más. Muchas gracias.
Muchas,
muchas, muchas gracias Alejandro.
La verdad es que ya han aparecido
temas concretos que nos gustaría luego profundizar un poco.
Uno es cómo afecta la IA a procesos básicos de la actividad científica,
como puede ser la escritura de artículos,
incluso lo genere los aspectos éticos asociados.
¿Si yo hago un paper con IA, es mi coautor, no es mi coautor, eh?
¿Dónde va toda esa información que he generado durante el proceso
de escritura del artículo y cómo es alimentado el modelo de IA
con toda la información generada en mi laboratorio?
Y luego, efectivamente, está el tema de la financiación.
Es decir, está creciendo
de forma masiva el número de propuestas y cómo se va a hacer esa evaluación.
¿Eh bueno, soluciones puede haber, no?
Por ejemplo, esto si lo extrapolamos a la innovación,
pues los grandes fondos de inversión
tienen sus propios métodos en cómo hacer
la inversión, no invierten en ideas, sino que invierten en personas.
A lo mejor cuando se evalúen las RC no se va a evaluar tanto
por la disrupción de la propuesta, sino por el tipo de investigador al que se
está financiando.
Es un ejemplo de cómo puede cambiar.
Vale, no sabemos cómo va a cambiar realmente,
pero estamos enfrentándonos a un proceso completo de cambio.
¿Y luego está el uso realmente
de la IA para la actividad científica del día a día, no?
¿Qué tipo de científico vamos a querer?
Un científico al uso clásico con una buena formación
en física, química, en biología o un prompter excelente que sea el
que haga las preguntas adecuadas a la IA, porque ahí está todo.
¿Y luego cuál
es el tipo de pensamiento que tiene la IA desde el punto de vista científico?
Etimológicamente es un tipo de pensamiento fundamentalmente analítico
o es proyectivo, es decir, puede realmente generar ideas disruptivas.
Bueno, la IA generativa habrá que verlo.
Los modelos que vengan a posteriori, pues si queréis luego lo discutimos.
Pero desde luego
Alejandro ha puesto el dedo en la llaga, en cosas que en el día a día nos afectan.
¿Vale, qué ocurre con los papers?
¿Qué ocurre con la financiación?
Y vamos a ver que nos cuenta Gustavo en esta introducción.
Nada más.
Vale, perfecto.
Pues muchas gracias por intentar contribuir.
Yo, por supuesto, suscribo todo lo que ha comentado el compañero
en tema de investigación en artículos científicos.
Quizá por aportar un poco más, a mí me gustaría
hablar sobre la experiencia en la escritura de propuestas.
¿Vale?
En mi presentación traía hasta ahí estaba algo.
Perfecto, Pues.
Vale, simplemente unos pequeños datos
que creo que nos pueden ayudar, que son enriquecedores.
Vale. Eh,
El que está abajo, que es el más relativo, es que comparado
el número de propuestas, estoy hablando de Europa
porque no encontré datos sobre las nacionales.
Vale.
En Horizon que se presentaron
en 2025 subió un 80%, un 80%
comparado al periodo de 2024, o sea, en un año, un 80%.
Vale todo lo que ha dicho de la logística
a la hora de evaluar es lo que ha comentado el compañero.
Es cierto, es un problema actual. Vale.
De hecho, nosotros tenemos la suerte de evaluar en algunos programas.
Vale.
Y otro mensaje claro que quisiera transmitir aquí,
que es el que está a la derecha, el European Research Council
María Leptina, que es
la presidenta del Consejo de Investigación.
Eh Dice que es una realidad
que es imposible vigilar si algo se hace con la IA o no.
O sea que es imposible que lo más que se puede hacer, y de hecho es lo que se hace,
es que la gente sea responsable de lo que escribe de aquí.
Vale.
Eh, De hecho, el de la izquierda,
que es el primero, Vale, pues el de abajo arriba,
el de la izquierda.
Lo que viene diciendo es que en el último briefing,
que es aquel documento que da las guías a los evaluadores de propuestas europeas,
se les especifica claramente que el hecho de utilizar
inteligencia artificial en la escritura no es una causa para rechazarla.
O sea, el evaluador lo que tiene que evaluar
es lo que hay escrito.
Te puede gustar más o menos porque puede tener más lírica
o menos lírica, pero lo que va a evaluar es lo que hay escrito.
Es decir, si sospecho que algo fue hecho con ella generativa,
eso no es ningún motivo para descalificar una propuesta.
Vale.
¿Por qué es importante esto?
Porque creo que el mensaje que quiero transmitir es.
Hay que utilizarlas.
O sea, lo que no puede ser es no me gusta, no la utilizo porque ahí te
estás, eh, tú solo bajando de un tren bala.
Es como tener una herramienta y decir no, prefiero hacerlo con las manos.
Lo puedes hacer.
Lo hacíamos hace nada, pero
es verdad que es mejor tener esa segunda opinión
o tercera opinión del área ahora, porque la detección no funciona.
¿Vale?
¿Aquí está este estudio que dejo el link para quien le interese donde lo
pueda ver, en el que se evaluaron 14 herramientas
de detección de ideas generativo,
eh? Ninguna llegó al 80% de precisión
en la detección de la IA.
Vale. ¿Eh?
¿Además, una cosa de ese estudio
que es muy relevante o muy interesante, eh?
Muchas de las partes de texto
que son escritas por personas cuyo cuello
personas en las cuales el inglés no es su lengua materna,
las detectaba como IA generadas por IA.
Vale, entonces
ya no es solo es que no la podamos detectar,
es que si usamos esas herramientas, además estamos introduciendo un sesgo,
porque a lo mejor estamos penalizando a personas
cuyo primer idioma no es el inglés para escribirlas.
Vale.
¿Eh, En cuanto a
la detección de estas herramientas, eh?
¿No solo en este nivel o bueno Turnitin, lo usábamos todos, eh?
Pero es que la detección de plagio y demás
es una bandera, es una especie de camino
opaco que las inteligencias tampoco son capaces de detectar.
Vale.
¿Eh? Por lo tanto.
Y el mensaje que os quería decir es
el por un lado, ya veis.
O sea, un 80% más y os puedo asegurar que ha subido, o sea, yo este año
propuestas a las que históricamente enviábamos, en las cuales competíamos
a lo mejor con 30 propuestas para financiar dos, os puedo decir.
El año pasado.
Nacho, acabamos de recibir el resultado.
Misma convocatoria a continuación se financiaban
dos, se presentaron 240 propuestas.
Vale.
Entonces es una realidad.
No podemos evitarla.
No podemos decir no la uso tampoco.
Simplemente tenemos que adaptarnos.
Vale. ¿Eh?
Y creo aquí algo que se mencionó antes, que es muy interesante.
Hace unos años, sobre el concepto de pronto.
Y sonaba como algo rarísimo.
Es súper importante, es súper importante y ojalá la universidad
ya nos ha ayudado con algunos cursos.
Ojalá este tipo de iniciativas
se desarrollen mucho más porque son necesarias.
Creo que eso es todo lo que tenía que decir. Muchas gracias.
Muchas gracias.
Pues efectivamente,
empezaremos a utilizar un lenguaje nuevo en los laboratorios de investigación, que
es in fact checking y todas estas cosas que la actividad científica con IA
obligatoriamente nos va a llevar si queremos seguirlas
utilizando con con criterio, con todo el criterio que podamos.
Seguramente muchos sabéis que en octubre
de 2025 hubo el primer Congreso de Agentes de IA
para Ciencia en la Universidad de Stanford,
donde se presentaban papers en los
que la coautoría fundamental era IA.
Esos paper eran revisados para su aceptación por IA.
Y bueno, pues los resultados del experimento
fueron bastante bastante curiosos.
Por supuesto, no cabe ninguna duda que la vía
es un acelerador de la ciencia en la actividad científica brutal.
Es una herramienta, una súper herramienta.
Y en concreto la IA generativa, que no podemos obviar.
Sería absurdo liarla.
Está cambiando la velocidad a la que estamos generando conocimiento,
pero también es verdad que no todo lo hace bien.
Por ejemplo, en el proceso de revisión de aceptación
estaban muy contentos los que analizaban los resultados porque
el índice de rechazo era como humano, aproximadamente como un buen congreso.
¿El 13 15% estaba muy bien, pero en lo que se fijaban fundamentalmente
eran en los aspectos formales, que es en lo que es muy buena la IA, no?
Que bien escrito está el paper, que gramaticalmente,
sintácticamente que ordenadito está todo o lo simplifico mucho,
pero conceptualmente la mayoría de los paper aceptados
no eran demasiado relevantes.
Es más, algunos contenían errores
realmente de método muy importantes
y eso es uno de los problemas que tenemos cuando utilizamos IA.
Y es que
son modelos que están entrenados
de una manera que utilizan unos vectores matemáticos orientados
a que el modelo obtenga recompensas de determinada manera.
Y eso no es exactamente
o no responde exactamente y literalmente
a lo que hemos conocido tradicionalmente como método científico.
Vale.
Con lo cual, el uso de la IA como única herramienta, como oráculo,
supone un riesgo real para la actividad científica.
Entonces nos enfrentamos al dilema de saber utilizar una súper herramienta
que sinceramente creo que nos está desbordando completamente,
porque además nos va ofreciendo nuevas características
a una velocidad en la que es muy difícil de asimilar
y realmente va a transformar completamente cualquier campo de actividad científica.
Ya lo está haciendo, ya lo está haciendo, pero la velocidad
al que va a transformar cualquier campo va a ser enorme.
Algunos que era inimaginable poder trabajar con ellos, hacer simulación
de moléculas 3D para aplicaciones y desarrollo de nuevos medicamentos.
Pues por poner un ejemplo concreto, es solo posible
a la convergencia de las nuevas capacidades en supercomputación
con la entrada de IA, y eso abre posibilidades absolutamente novedosas.
Pero el problema como científicos es la IA generativa y me voy a centrar
la generativa, hacer algo como tengo todo el corpus de conocimiento anterior,
vale, le meto toda la física que había en el siglo 19.
¿Sería la IA generativa capaz de generar
la teoría general de la relatividad o la mecánica cuántica?
Posiblemente no la IA generativa al menos.
Posiblemente no, no lo sabemos, pero posiblemente no, es decir,
por cómo genera aparentemente mediante un proceso problemático información la IA
dar esos saltos
que la ciencia ha dado, no de de intuitivos, realmente de novedad.
¿Vale que una herramienta como el cerebro humano lleva haciendo
y desarrollando biológicamente durante miles y miles de años, pues todavía
no es capaz, pero posiblemente posiblemente nos encontremos
con ideas a futuro que esto por lo menos puedan simularlo, no?
¿Y que no sea lo mejor es desviar mucho la mesa de lo que
podríamos entrar en ella al barro, no de oye,
cómo puedo utilizar mejor la IA para escribir el paper?
O puedo utilizaría éticamente para hacer la revisión del paper
que me han enviado, o por lo menos si me mandan una revisión a ciegas.
Pues fíjate, no la voy a revisar el paper, pero puedo saber el grupo
que lo ha hecho con un 99% de posibilidades,
aunque el editor me tache los nombres, no simplemente preguntándole a la IA.
Yo creo que la IA en investigación y en innovación va mucho más allá.
Si dejamos no solo la investigación y vamos a la innovación
hoy en día, para alguien que se plantee hacer una startup vale,
y todo ese proceso de generación de un plan de negocio tan complejo
que le lleva tanto tiempo sobre la IA, se lo va a cortar a nada.
Es decir, hay tiempos en los que hemos invertido media vida los investigadores
que van a desaparecer
no van a tener latencia directamente, es que no van a tener la atención.
Y eso es un cambio de tal magnitud que nos obliga a pensar
cómo prepararnos y cómo orientar nuestra actividad
científica en un ámbito como la universidad.
Con esta nueva súper herramienta. ¿Eh?
¿Qué pensáis?
¿Algo concreto respecto a Realmente es un cambio tan brutal?
¿Va a ser una percusión de la magnitud que yo estoy aquí anunciando?
¿O es que soy un viejo asustado de lo que me viene y no entiendo bien qué pensáis?
Es sí, yo diría si lo tuviera.
En una palabra, si es un cambio muy grande, pero porque
es que lo estamos viendo.
Es un cambio de modelo total en cuanto a la manera de trabajar,
las oportunidades que nos ofrece y en investigación.
Yo no sé si aventurar tanto.
A mí no me gustan las predicciones, porque luego la hemeroteca
viene y envejecen muy mal, pero sí que creo que
que va a transformar probablemente cómo se investiga,
va a transformar todo lo que hay en cuanto alrededor en el ámbito
académico, los números que que os hemos dicho, Gustavo,
yo creo que lo reflejan y y van a ir a más.
Entonces
es un cambio de paradigma
y creo que aquí pues un poco como lo que comentaba,
lo que lo comenté antes, lo del tren no de que si si te bajas del tren
es que es así, o sea, si no lo usas vas a estar fuera.
Y ahora bien,
hay que usarlo de una manera responsable y hay que saber usarlo sin problemas.
Creo que lo que nos falta
es probablemente saber usarlo para sacarle lo mejor de ello.
Yo lo estaba pensando antes, es como pues no sé, ahora
escribimos un paper y lo escribimos en Word o en LaTeX.
Es como si hubieras querido escribirlo a mano o en máquina de escribir,
pues es muchísimo más fácil que yo pueda escribirlo
en un procesador de texto que puedo corregir lo que no en en
en una máquina de escribir antiguo o a mano directamente.
Entonces es una herramienta más y es depende de nosotros utilizarla o no,
si nos ponemos de lado, pues allá nosotros.
Así de simple.
Sí, sí, sí, totalmente de acuerdo.
Y para el mundo de búsqueda de financiación, los números son evidencia
de hecho.
Pero además creo que va bastante más allá.
O sea, por ejemplo,
hace algún tiempo era súper importante asistir a ciertos eventos
por el networking que podías hacer, por los socios que podías conocer. Ahí.
Hoy en día coges la herramienta y le dices mira, tengo esta convocatoria.
¿Cuáles crees que serían los socios ideales
o quién ganó esta convocatoria del año pasado?
Vale.
El contacto luego lo tienes que hacer tú y la propuesta de valor es tuya.
Pero es que es una herramienta que no puedes evitar.
¿Antiguamente, cuando querías hacer una,
tenías una propuesta, eh?
Era, por ejemplo, algo súper de valor añadido.
Y bien visto contactar a los National Contact Points para que te pudiesen dar
feedback.
¿Hoy en día con la IA genética, eh?
¿Una te escribe, otra te lo revisa, otra te lo evalúa, eh?
Y no es que no es que no contactes al NCP, es importante,
pero es que lo que quiero decir es en todo el proceso te acompaña.
Antes a lo mejor era la usabas para ayudar a mejorar una redacción
de un texto, pero es que ahora te acompaña en todo el ciclo de vida, de desarrollo
y eso es algo que si tú no lo usas
hay gente que lo va a utilizar y si tú no lo usas, pues
todavía puedes ganar. ¿Entiendo, vale?
Y hay iniciativas para que las propuestas sean totalmente blind y etcétera,
etcétera Pero siempre tener esa doble visión, ese feedback,
ese además, eh, creo que cambia.
O sea, para mí sí que ha cambiado.
O sea, no es que cambie, es que ya has cambiado y en el futuro cambiará.
Y por ejemplo,
ya lo último, por ejemplo, trabajamos mucho en en proyectos de salud.
Aquí está mi compañera Celia,
que nos ha ayudado mucho con el tema legal, porque bueno,
es un proyecto muy particular que es con países
africanos
en la hora del desarrollo de estudios clínicos y demás.
La IA nos ayudó, pero infinito.
Pero o sea, tomando cosas como consideraciones que decías, pero esto
jamás lo hubiese podido saber.
Condiciones específicas de países.
Todavía hay cosas que le faltan.
No nos dijo como hacer llegar los móviles desde aquí hasta allí.
Tuvimos que hacerlo de aquella manera, pero que es cuestión de tiempo y lo hará.
Vale, y creo que mi mensaje es usarla si usarla en todo lo que se pueda.
Sí, y lo único que todavía no se cumple, que es la EH,
se supone en esta declaración, en este briefing, para los ayudantes
que dice que el uso de la IA
está permitida siempre y cuando se especifique que se usa.
Yo todavía no he escrito ninguna propuesta donde diga que la uso, vale,
y no he visto ninguna que diga que lo usa,
pero en algún momento incluso podría ser causante.
O sea, de acuerdo a las normas, incluso es un causante de descalificación.
Entonces
la puerta está abierta.
Lo que tenemos que hacer es entrar y saber como, como movernos.
Una vez estando dentro.
Pues muchísimas gracias.
Vamos a abrir
enseguida el turno de preguntas, pero a mí me gustaría dejar solo un apunte más.
Yo estoy absolutamente convencido que la ciencia va a cambiar
radicalmente, radicalmente y a una velocidad de vértigo.
Va a ser algo completamente disruptivo,
que está cambiando ya la forma de hacer ciencia absolutamente.
En todo el mundo.
Pero un tema importante es la sostenibilidad de lo que estamos haciendo.
¿Eh, eh, De momento, parafraseando a Newton, verdad?
Veía más lejos porque se apoyaba en hombros de gigantes.
De momento utilizarías apoyarte en hombros de gigantes tecnológicos.
Y de momento no sé si estamos viendo más lejos.
Lo que sí estamos viendo es muchísimo más rápido, muchísimo más rápido.
Y eso es importantísimo porque al final nos va a permitir llegar más lejos.
¿Pero a qué coste?
¿Realmente el coste energético de uso de IA?
Y ahora mismo, con el techo de la tecnología
de silicio que tenemos es enorme.
Mejorar porcentualmente.
Nada, nada.
Un modelo de los de IA que estamos utilizando
supone un gasto energético
que hay que pensarse realmente cuando decimos la
IA nos ayuda a hacer nuestra vida mejor, que es lo que nos venden las big tech
de manera muy endulzada.
¿Bueno, realmente cómo de sostenible
es este modelo de IA y cómo podemos salvar ese paradigma?
Estoy seguro que se va a salvar,
pero desde luego ahora mismo la situación es que estamos ante una herramienta
muy poco sostenible de la que la gente ignora completamente
el coste real, incluso el coste de propiedad intelectual
que supone utilizarla como herramienta en investigación.
Entonces, esto abre unos retos enormes en el ámbito eh
científico y de innovación.
Y me gustaría que si tenéis alguna pregunta para nuestros dos
expertos, pues ahora es el momento de de hacerlo.
Hola buenas, mira yo quería preguntarte alguna cosilla
porque me preocupa sobre todo tu parte y es que eh.
¿O sea, para que?
¿Para ponernos en contexto, yo me dedico a hacer investigación en física, eh?
En cosas que son numéricas.
Entonces normalmente lo que tú
hacías antes era planteabas una pregunta que querías resolver,
hacías el programa con el programa, sacabas un montón de figuras,
un montón de resultados,
sacabas tus conclusiones y lo ponía en un paper donde estaba.
Y el cuello de botella.
¿Pues en que
te equivocabas mucho programando y a lo mejor hacer un programa muy complejo
pues te llevaba un mes o dos o un año no?
Y ahora con la IA, pues eso es tremendamente rápido.
Tú solo tienes que decirle exactamente que quieres hacer.
Entonces a mí me ha servido la IA precisamente para salirme del ordenador.
Yo ahora lo hago en papel.
Cuando lo tengo extremadamente claro. Se lo preguntas.
La IA hace el programa.
Si hago las figuras y envío el papel, entonces este mes
ya he enviado un paper y he escrito otros tres.
¿Entonces, en cuanto al al volumen de papers que se envían a revistas, eh?
Ha aumentado mucho como ha dicho tu compañero, entre otras cosas
porque somos los mismos, haciendo muchas más cosas, pero somos los mismos.
Me preocupa más la otra parte, que es el aumento de lo de los proyectos.
¿Yo te quería preguntar,
al igual que con los papers, creo que somos los mismos produciendo
cuatro veces más en el tema de proyectos
somos los mismos o de repente ha entrado muchísima gente a competir?
Porque eso sí que me preocupa.
Han entrado
muchos actores y actores nuevos, Muchísimos.
O sea,
sin ir más lejos, hace no mucho me contrató una consultora
que nos ofrecía escribirnos una propuesta entera por 35 €,
una propuesta europea que le dijésemos
el plan en el proyecto y que ellos se encargaban de todo.
Y en LinkedIn es súper común encontrar
gente, consultores que te muestran la estructura de todos los agentes
y te dan garantía de en dos días tener una propuesta escrita.
¿Entonces esos actores han entrado muchísimos,
muchísimos actores, eh?
En cuanto a las capacidades y no a gente con capacidades,
o sea, con las habilidades, con el background que se une.
También ha subido muchísimo porque
tú piensas que muchos investigadores ahora eran muy bueno, o sea,
hasta ahora eran muy buenos en su campo, pero todo aquello de tener que consorcio
de tener que a lo mejor entender como como,
cómo por lo menos
preparar una propuesta.
¿Todo eso, eh?
¿Digamos ya esa barrera ha bajado, por no decir que ha desaparecido, vale?
Y por ejemplo, yo me encuentro socios que
a través de la plataforma de becas y demás te contactan diciéndote que
son muy buenos, que vas a hablar con ellos y te das cuenta que no tienes ni idea
y al final te comienzan a hablar de tenemos msps,
tenemos agentes,
tenemos sin idea, sin, o sea, sin ni siquiera tener idea de qué es cada cosa.
Pero te dicen eso porque han entendido que bueno que
es una buena oportunidad de financiación.
¿Yo hablo del contexto europeo, por supuesto, el contexto nacional también,
eh? ¿Y por supuesto, pues hay que ir a por ello, no?
Y te des cuenta así.
O sea que si ha aumentado número de participantes, el número de propuestas
necesariamente implica que haya más gente y más participantes.
Han aparecido nuevos actores, nuevos intermediarios.
¿Ya está, eh?
Siempre han existido estas agencias que te daban un cierto, un cierto soporte
escribiendo la propuesta y a lo mejor pues las necesidades de socio
o luego llegaban y te decían pues mira si sale, si sale
concedida, pues
tenemos un FIDE, un 3% o un 4% o lo que sea, pero que ahora
ves personas 1 a 1, que son consultores y que te lo ofrecen en dos días y 30 €.
Si tienes una propuesta es rentable.
Oye, pues por 30 € a lo mejor.
Entonces sí ha cambiado.
O sea, y y aunque yo tengo mucha experiencia,
es decir que hay una incertidumbre, o sea, ya
incluso en en topics, en temas que eran como muy
que nos sentíamos muy fuertes,
pues te das cuenta que
esa fortaleza se ha ido diluyendo,
Entonces eso implica pues esforzarte más,
por supuesto, y luego también hay un un factor
que el crecimiento de este ecosistema hace por simple probabilidad que
tú, tu tasa de éxito baje.
Pero además también pues que se le añada
una incertidumbre de oye, nosotros no nos hemos quedado.
¿Sabes que el sistema de evaluación de propuestas europeas va de 0 a 15?
Nosotros nos hemos quedado en topics con 15 puntos fuera.
¿Es que ya hacer la propuesta perfecta
tampoco te da garantía de que vayan a financiar, vale?
Entonces, ahora sí ha cambiado y mucho.
Me gustaría matizar que yo yo sí que creo que en los papers también
entran actores nuevos, porque la IA democratiza una cosa que es el lenguaje.
Y en países donde el inglés no es su lengua nativa
e incluso tiene muchísimos problemas para escribir en inglés
ahora, aunque sea mismamente que tú lo escribes en turco originalmente
y lo traduces, pero lo traduces de una manera que ya no es pasarlo
por niveles, que es bastante ir más allá y exponerle
ciertas ideas y que haga un hilo narrativo científico adecuado.
Eso lo ha introducido la IA generativa.
Y entonces es que creo que el problema está en que los mismos de
siempre producimos más.
Pero es que luego están entrando
los que producían menos que ahora son capaces de producir.
Entonces es donde ahí está habiendo una explosión.
Y solo por comentar que me sorprende que ahora, por 35 € te hago una propuesta,
antes te cobran 5000 de una consultora, pero ahora esta está muy bien.
Ahora si no tienes pasta esta está genial.
Solo por añadir algo como evaluador hace muchísimos años
para todo tipo de agencias y comisiones
y convocatorias, la entrada de IA, El primer impacto que va a tener
es que los aspectos formales van a dejar de tener ningún valor.
Durante los últimos años
eso era muy importante en convocatorias europeas, en convocatorias de la.
Y el entender bien
que alineamiento querías entender bien en el contexto de financiación
y era un trabajo en el que incluso te tenías que asesorar,
gastarte dinero o que gente con mucha experiencia o lo hiciera.
Hoy en día eso deja de tener cualquier valor.
Es un cambio absoluto de paradigma en la evaluación para la financiación científica
y todas las agencias están preparándose
y desarrollando herramientas para ver cómo manejar esto,
porque todos esos aspectos dejan de tener absolutamente ningún valor.
Entonces que hay que ir al final en las convocatorias realmente
grandes, potentes, ágiles directamente y al tú, a tú,
pues seguramente ya se hacen algunas y se venía haciendo en los últimos.
Step.
No estamos inventando nada nuevo,
lo que pasa es que seguramente lo tengamos que ampliar a fases,
pues mucho, mucho previas, vale, así que nos enfrentamos a eso.
Hay una pregunta por aquí.
Yo tenía una,
eh, cuando habéis hablado de la inflación
de proyectos y de artículos y la el trabajo añadido de evaluar
y todo eso, eh Bueno, a mí me viene a la mente inmediatamente
porque no se utiliza la IA para evaluar, obviamente con criterios
que tú fijes, o sea que te ayude, digamos, a filtrar toda esa información
y lo que está diciendo Carlos ahora, pues a lo mejor primar
menos los aspectos formales de que esté bien escrito y ver que realmente
abordan los problemas que en los que tú estás interesado en financiar.
Entonces
no sé si y un poco igual también con el procedimiento científico.
Entiendo que la IA se puede utilizar también
de una manera que que puedas mejorar el procedimiento
científico en los aspectos más arduos y
y no sé burocráticos
digamos de la investigación que igual te lo pueda saltar.
Y no sé eso. Yo no soy científica.
Ana, Solo antes de dar paso a mis compañeros de mesa.
El problema basal para el método científico
de la guía generativa es el modelo bajo el que funciona.
Vale.
O sea, cuando tú dices Puedo utilizar la IA en el día a día,
Si yo puedo hacer un modelo digital de un puente maravilloso, vale que sé
que va a funcionar con un 99,9% de posibilidades,
pero posiblemente no sea capaz de trazar cuáles son los modelos físicos
que ha utilizado mi modelo de Transformer para hacer ese modelo digital.
Si no lo hago bien, vale.
Si no lo hago bien y cuando haga cosas mucho más complejas, mucho más complejas,
ni siquiera podré tener trazabilidad de los modelos físicos, que
ese es el reto al que nos enfrentamos.
Es decir, nos enfrentamos a un paradigma de que podemos perder
la confianza en la ciencia tal y como la conocemos.
Ese es el problema, porque son unas herramientas que están programadas.
No olvidemos de determinada manera y para optimizarse de una determinada manera.
Y lo que hemos hecho en ciencia durante
400 años ha sido otra
cosa completamente diferente.
Entonces, eh, es más tranquilizador pensar
en usar esto como una súper herramienta que nos quita el trabajo.
¿Vamos, que te voy a decir, yo hago una tesis de 20.000 líneas de código
picadas a mano, vamos, esto se lo cuento a mis hijas y se les caen las lágrimas
diciendo Qué hace este hombre con su tiempo y su juventud?
Eso hoy en día es absurdo, pero el problema es que estamos usando.
Hay que saber lo que estamos usando y lo que implica en fiabilidad.
Y esto cuando tú evalúas una propuesta, el problema es que yo puedo cogería
y evaluar una propuesta, pero realmente si lo que estoy evaluando
es cuál es la propuesta científica, tengo que entender
cuál es la propuesta científica que hay detrás y tengo que entender
cuál es la hipótesis, cuál es el método que se está
aplicando para alcanzar los resultados que me proponen.
Y eso en una evaluación de vida no está garantizado.
Ese es el problema fundamental al que nos enfrentamos con los modelos.
No sé si queréis yo solo comentar ahí
hay algún congreso que ya está empezando a hacer esto, una especie de
algún triaje, sobre todo cuando congresos que reciben 20.000 sus misiones
están
empezando a hacer este tipo de de piloto, de momento de pilotos,
donde hay una guía intermedia que hace esto, eh, yo no
descarto que esto probablemente empiece a pasar en algunos contextos.
Por ejemplo los editoriales donde se haga un primer filtrado.
La cuestión es que probablemente esto llegará un momento que sea fácilmente
pasable, porque al final es probablemente lo que le estamos diciendo.
Es algo que en términos de temática me encaja con la revista.
Es que lo veo muy difícil o sea, lo que sí que me parece que puede ser interesante
el día de mañana en las propuestas de proyectos,
por ejemplo, un poco como lo que comentaba Carlos, es que o como se hace
ya en algunos organismos, ya tenemos fase uno y fase dos en muchos, en muchos casos
que igual haya que haber fase tres y la primera es una hoja muy sucinta,
muy directa, donde se puede evaluar
20 propuestas por parte de un solo evaluador
y ahí vemos quién pasa a la siguiente fase y empezamos a hacer filtrados
de este estilo.
¿No lo sé, Es una hipótesis de por donde yo creo que podría llegar la cosa
si en cuanto a
propuestas que hay ciertas, por ejemplo hay una me viene ahora
una de La Caixa que te dice que claramente la primera ronda de evaluación
la hace la IA, EH?
La experiencia que tenemos
no es muy alta y además el tema de
de hay un tema de explicabilidad del por qué.
¿Y luego hay un tema de de transparencia, de
como se ha entrenado esa IA,
quién ha entrenado?
¿Qué intereses?
Entonces lo que tú dices.
De hecho ya hay procesos que que se realizan con herramientas
de inteligencia artificial, pero lo que comentaba
Carlos es son procesos, formalidades, no lo formal, las cosas más generales.
Pero por ejemplo, el valor añadido como tal es.
Es algo que creo que en honor a la transparencia,
una IA
hoy por hoy es muy complicado que lo pueda.
No olvidemos que el método
científico nació de forma natural, sin un interés.
Concreto, más allá del
de optimizar la generación de conocimiento y hacerlo lo más fiable posible.
Los modelos de IA nacen con una vocación claramente de beneficio
económico para los que lo genera. Vale.
Si perdemos ese punto en toda esta discusión,
no sabemos de lo que estamos hablando en ningún en ningún momento.
Vale, entonces el utilizar herramientas que realmente están
bajo directrices
que en último término no controlamos, tiene sus riesgos.
Por supuesto, no es usable en muchas tensión y nos genera muchas oportunidades.
Pero también tenemos que saber exactamente qué tipo de herramienta
es la que estamos utilizando y tenemos que cerrar ya la mesa.
Voy a agradecer a los ponentes, a vosotros una última pregunta.
Sí, sí.
A mí me gustaría saber en todo este mecanismo de estandarización
de las publicaciones y de la ciencia,
si al final no es multiplicar la entropía,
no es generar basura que
retroalimenta la propia inteligencia artificial.
Probablemente sea bueno.
Ya se supone que las Ya tenemos más datos generados por inteligencia artificial
que generados por humanos ahora mismo y en el sistema de publicaciones
esto probablemente puede acabar llevando a esa deriva.
Por eso digo, yo no estoy
no he dicho que ni que está a favor ni en contra de este tipo de sistemas.
Lo que sí que es verdad que está
claro que hay que poner un coto a cómo se gestiona, porque si no
el sistema se va a hacer inabordable en las publicaciones científicas.
Pues hombre,
creo que quizás
pueda tener que pasar algo parecido a lo que comentaba en los proyectos.
¿En vez de mandarme el paper de 40 páginas, lo que tendrás
que mandar es como lo haces en algunos congresos de marzo directamente
y a partir de ahí ya te doy el feedback de si pasas directamente a un proceso de
un proceso inicial de peer review,
que lo voy a remitir a los editores si tira adelante o no donde se puede
o se debería ver si es Science o no,
luego ese es otro tema también que que ocurre?
Que se genera mucho contenido, que a veces pasan los procesos,
pero eso pasa ya y ha pasado siempre en el proceso humano, sea papers, no
mal de mierda, sea publicado toda la vida y pasando por revisión por humanos.
Porque también el el componente subjetivo de la revisión por pares está ahí
y siempre somos humanos y lo que a ti te gusta a mí no, y viceversa.
Y eso a veces genera perversiones en el sistema.
Entonces ojalá tuviera una respuesta más concreta.
No la tengo. Ya digo que no soy muy de oráculos.
Muy bien, pues
sí, una una cosita que quiere Fali hacer una pequeña.
No voy a decir con qué institución, ni voy a decir en qué temática concreta,
pero estamos haciendo.
¿Han sido varias instituciones, pero estamos haciendo pruebas de contraste
para evaluar la credibilidad de datos, eh?
Una ciencia orientada a la meritocracia invita a generar ruido,
a generar, a generar
información que permita promocionar al individuo.
Bueno, simplemente deciros que hemos hecho un modelo estocástico, generación
de datos sintéticos que dan, que dan, que suponen supuestamente son reales
en el ámbito de del transporte, de contaminantes en el aire.
En el ámbito oceanográfico, en el ámbito y lo hemos pasado a especialistas
para que identifiquen diciéndole donde, de dónde son, en qué contexto.
Y no ha sido ninguno capaz
ninguno de los equipos capaces de identificar la falsedad de estos datos
indicando instrumentos falsos con localizaciones falsas y datos falsos.
Estamos en un en un momento
en el que estamos muy retados por el ruido que se que se va a generar.
Hay una madre medio gracia, una eh, que
que vaga, que que puede ganar la partida si no cambiamos las reglas del juego.
El ruido es intrínseco a la actividad humana.
Esto no le podemos achacar a la IA, somos nosotros mismos
los que generamos como subproducto esto claramente.
Vamos a cerrar la mesa.
Simplemente a mí me gustaría acabar.
Yo, al contrario que Alejandro, sí que me gusta mucho mirar al futuro,
hacer proyecciones y me gustaría ver a muy corto
plazo que yo creo que antes de lo que pensamos
que va a ocurrir, cuando la IA generativa sea cosa del pasado,
claramente está alcanzando un punto de saturación
y va a haber una disrupción en tecnologías de computación.
Claramente las tecnologías fotónicas claramente van a sustituir al silicio
más pronto que tarde
y no sabemos cuándo, pero llegaremos al punto de disrupción
cuántica cuando la IA y la computación cuántica
se encuentren para la ciencia será una grandísima noticia.
A pesar de todos los riesgos o problemas que podamos que podamos ver con esto.
Cerramos aquí la mesa. Muchas gracias.