Decía hace un momento, bienvenidos todos, para el día de hoy, que además tiene como novedad que hemos invitado a un ponente externo, normalmente hasta ahora siempre era gente de la casa o gente de empresas. pero en este caso hemos invitado a un gurú de estos temas. Ya sé, Vicent, que te había dicho que no te iba a poner por las nubes, pero es lo que me toca. Os voy a leer un poquito Vicent a qué se dedica. Es profesor, formador y consultor especializado en inteligencia artificial aplicada a la educación. Trabaja con profesorado, universidades, equipos directivos, temas de evaluación, productividad docente y adopción responsable de la IA. Su enfoque combina aplicación práctica, criterio pedagógico y reflexión institucional sobre el impacto de las tecnologías en la enseñanza y el aprendizaje. Vicent es alguien muy conocido en el mundillo, quizá alguno de vosotros haya visto alguno de sus vídeos, haya estado en alguna de sus charlas. Y quiero agradecerle que en su agenda, que sé que no es fácil, pues haya buscado un hueco para compartir con nosotros su experiencia y, bueno, creo que está entre los que podríamos llamar early adopters de todo esto. Lleva mucho tiempo trabajando con temas de IA y educación y quizá nos pueda dar una visión, digamos, diferente de alguien que ya tiene más experiencia de la que por lo menos algunos de nosotros tenemos. Así que no me entretengo más, Vicent. El La pantalla es tuya y, lo dicho, gracias por echarnos una mano con este tema. Es un placer estar aquí con vosotros. El placer es mío, la verdad. Voy a tratar de mostrar ejemplos, ideas, casos de uso, sobre todo a nivel práctico y que os podáis llevar pues, como digo, ideas o maneras de caracterizar cómo evaluar, cómo rediseñar la evaluación en esta era de la IA, para caracterizarlo cada uno a su asignatura, a su área, etc. Bueno, una cosa para empezar. La primera, confirmando que se ve la pantalla compartida. [Orador 1]: Sí, perfecto. [Orador 3]: La segunda, para interactuar como queráis, entre los libres, podéis interactuar vía micro o vía chat. Si no lo veo vía chat, pues Jessica me irá comentando, aunque en teoría tengo aquí dos pantallas, así que voy a intentar seguirlo en directo. A partir de ahí, Vamos a establecer la sesión en diversas fases. En primer lugar, vamos a poner el contexto de cómo ha cambiado la manera de evaluar. Porque hoy en día la pregunta ya no es si el alumnado usa IA o no. Ya sabemos que sí que la usan, ¿no? Esa pregunta se queda corta. La pregunta útil de aquí para rediseñar la evaluación sería ¿qué evidencias necesitamos para poder verificar aprendizaje cuando la IA puede estar presente? Y cuando hacen algo en casa, evidentemente, pueden estar usando, tenemos que asumir que pueden estar usando la IA. Por lo tanto, vamos un poco a movernos en esa sospecha de que pueden usar la IA fuera del aula y a partir de ahí vamos a tratar de establecer niveles de uso permitidos, qué evidencias podemos solicitar del proceso de transferencia a la hora de defender el trabajo que han realizado y después también lo afinaremos tratando de ver qué opciones tenemos de usarla ya a la hora de, como docentes, poder aportar más y mejor feedback. Asistido podría, pero siempre con criterio y con límites claros, evidentemente. Bueno, el recorrido tiene lógica, como he comentado. Primero identificamos lo que nos preocupa, después vemos el marco... Es un sistema que todavía no está validado. Estoy trabajando con algunos colegios y universidades y, sobre todo, tiene el punto de partida en que muchos docentes están preocupados por cómo evaluar, ¿no? que era complejo evaluarse los productos. A partir de ahí, durante este año, vamos a intentar que se valida el método lógico y que tenga un mayor rigor, pero creo que puede servir muy bien como ideas. Cada uno puede adaptarlo a su contexto concreto, pero puede ir muy bien para coger ideas y hacerlas tuyas o adaptarlas. A partir de ahí, tenemos una serie de preocupaciones, todos ahora mismo, que es con lo que voy a empezar. porque si no las nombramos bien, después la solución no se adapta, es complicado contextualizarla, ¿no? Muchas veces reaccionamos con prohibición, con detección automática, con desconfianza generalizada. De hecho, hace tres años y un poco más, desde que llegó el chat GPT, la guía generativa ya ha acceso libre a todo el mundo, y... Yo trabajo mucho en colegios y universidades y lo que veo es normalmente lo mismo, que los primeros dos años y medio, casi tres años, se ha dejado una experimentación libre. Es decir, muchas instituciones se han tapado un poco los ojos y han dicho, bueno, yo no digo nada sobre la IA y es como si no existiera. Pero claro, el problema es que sí que existe, los alumnos la usan, los profesores la usan. Y no podemos hacer como si no lo viéramos. Ahora sí que es verdad que la mayoría de instituciones se están ya planteando, por una parte, la formación a docentes, formación a alumnos, esos marcos de uso, con tanto criterios claros a la hora de usos permitidos como a nivel ético, de privacidad, seguridad de datos, etc. Ya asumimos que la guía está entre nosotros. Por tanto, sí que es verdad que el problema es que algunas tareas estaban muy apoyadas en el producto final, aunque muchas veces hemos hablado de valorar el proceso, pues a la hora de la realidad en el día a día, muchas tareas o proyectos se basaban en la valoración del producto final. Entonces, teníamos pocas pistas del proceso de aprendizaje. Pongo un ejemplo que también se está planteando en muchas universidades, que es los trabajos final de grado o final de máster. Pongo un ejemplo, un trabajo final de máster que valga un 80% el trabajo final, el trabajo teórico, y un 20% la exposición, pues a día de hoy, mi opinión personal es que eso hay que repensarlo o rediseñarlo, ¿no? Porque un alumno puede hacer todo el trabajo con IA, puede memorizarse la defensa de 20 minutos, y puede parecer que ha hecho un trabajo magnífico cuando probablemente ha hecho muy poco y no ha interiorizado nada. todo el contenido para el aprendizaje que se suponía en ese trabajo. Soluciones. Yo no tengo la receta mágica, pero bueno, pues estoy viendo ideas en distintos sitios y hablando, por ejemplo, con Senem Barro, que fue rector de la Universidad de Santiago y es una de las personas que más sabe de España, él me decía que probablemente en ese caso concreto habría que alargar más las defensas. Pues aparte de la exposición del alumno, después hacer como un debate o incluso ir a puntos concretos del trabajo y decirle, vale, en esta página estos dos párrafos, ¿por qué has decidido expresar esto aquí de esta manera y así? Justifícalo, ¿no? Pues serían algunas maneras de pedir esa evidente justificación. Antes de seguir adelante, sí que me gustaría remarcar dos usos a la hora de trabajar con IA por parte del profesorado, de los docentes. Y esto me gusta dejarlo siempre muy claro. ¿Por qué? Porque el primer uso es el que hace referencia a productividad y eficiencia. Y ese, todo el mundo te lo compra. ¿Por qué? Porque si me das unas herramientas que me hacen tener más tiempo libre, terminar antes las tareas burocráticas, etc., pues ¿por qué voy a decir que no? ¿Verdad? Por lo tanto, eso sería una vertiente de una línea. que es muy fácil de asimilar, pero por otro lado tenemos la segunda vertiente, que es la que hace referencia a docencia y evaluación, y esa parte es mucho más delicada. ¿Por qué? Porque ahí entran diseño de tareas, evidencias, autoría, integridad académica, feedback, y ahí ya muchos docentes se encuentran en una situación menos cómoda que en la vertiente de productividad. En este taller, ¿en qué nos vamos a centrar? en la vertiente más compleja, en la vertiente relacionada con docencia y evaluación. Sobre las preocupaciones de las que estaba hablando, solemos agruparlas en tres. La primera sería la autoría, es decir, ¿esto lo ha hecho realmente el estudiante?, La segunda sería la validez de la tarea. ¿Qué actividad sigue midiendo lo que decía medir? Es decir, hay ahora tareas, actividades, proyectos o trabajos que antes pretendían medir ciertas competencias, ciertos conocimientos, ciertos contenidos, que ahora probablemente con la llegada de la IA ya no funcionan, ya no tienen sentido. La tercera, el feedback. ¿Qué sentido tiene corregir un texto que quizá ya ha pasado por una IA, es decir, ahora ha volado a una IA? Entonces, mi tesis en este caso es que la respuesta no puede ser ir a detectar si está hecho por IA. Tenemos que desplazar parte de la evaluación del resultado del producto al proceso. No para burocratizarlo y no para ir a por el alumno a pillarle, sino para pedir evidencias que nos permitan comprobar esa presencia cognitiva real. Y aquí aparecen algunas preguntas que son importantes. Por ejemplo, hablábamos del aprendizaje de la autoría, el uso permitido de IA. Muchas veces las instituciones ya han lanzado normativas o unos primeros documentos bastante genéricos sobre uso permitido de la IA, pero después se cumplen esas normas, esos usos. Los alumnos usan la IA con transparencia. hacen un uso explícito de la misma y le comentan al profesor qué tipo de uso han hecho, qué prompts han utilizado, qué han cogido del resultado del estado de la IA y qué han descartado, etc. Y aquí me interesa salir un momento y venir al... a este Mentimeter a un breve cuestionario donde os voy a pedir que me respondáis a siete cuestiones porque me ayudará a afinar mucho más el taller, ¿vale? Para ver un poco la heterogeneidad de la audiencia, ¿vale? Entonces, ¿qué hacemos? Escaneamos el código QR, si lo hacemos desde el móvil y si lo hacemos desde el ordenador, menti.com y metemos el código que vemos en pantalla, ¿vale? Un minuto para acceder. La primera sería, ¿cuál es hoy tu principal preocupación al evaluar en un contexto donde el alumnado puede usar ella? Ya entiendo que podrían ser varias de ellas, pero os he puesto por eso la principal. Una sería no saber cuánto ha pensado realmente el estudiante. Que el producto final no refleje bien el aprendizaje. No tener claro el tipo de evidencias que pedir. Dificultad para diseñar tareas y actividades. ¿Cómo dar feedback útil sin disparar a cada día de trabajo? Y la falta de criterios comunes en la asignatura de grado centro. Vale. Voy a esperar 10 segundos, pero creo que va bastante rápido. Bueno, y pues bueno, se destacan ahí. No saber cuánto ha pensado realmente el estudiante, ¿no? Es como un proceso ahora un poco invisible. Antes era más fácil... detectar cuando el alumno había interactuado con los contenidos, estaba trabajando en el cognitivo, etc. Ahora es más complejo. Por eso mismo es imprescindible pedir evidencias a lo largo del proceso. Luego veremos algunas ideas de cómo hacerlo. Y lo mismo, la segunda opción creo que va en la misma línea, que el producto refleje bien el aprendizaje y es una de las principales preocupaciones. Ahora veremos en la siguiente diapositiva que os mostraré. Sobre no tener claro qué tipo de evidencias pedir y la dificultad para rediseñar tareas y actividades, que también nos preocupa. Como digo, no tengo la receta mágica y entiendo además que dependiendo del contexto, de la facultad, de la asignatura, de la tipología de alumnado, del tipo de trabajo, pues serán unas u otras, no valen las mismas para todo. Pero voy a tratar de rajar un poco de ideas o luz hoy ahí para que cada uno, pues como digo, lo aterrice en su contexto, ¿no? Por poner un ejemplo que luego veremos, las pruebas orales son uno de los recursos más potentes, pero ¿qué problema tienen las pruebas orales? Venga, por el chat. Es un recurso muy interesante para que el alumno demuestre que ha trabajado, que ha aprendido, si domina el contenido o el tema, ¿no? Pero, ¿qué problema tienen las pruebas orales? Bueno, María, la primera, lo del clavo. Bueno, y Patricia, el tiempo, que tenemos clases como de 100 alumnos matriculados, tiempo, no escalan, o sea, lo he esclavado, no escalan con grupos grandes. Entonces, claro, con un grupo de 100 alumnos, A ver, hay países, en Italia sí que recuerdo que muchas universidades hacen exámenes solares, pero eso lo puedes hacer una vez al trimestre o es complejo con 500 o 100 alumnos trabajar de esa manera. Se puede llevar la prueba ahora a otros contextos, como por ejemplo a debates, a actividades cooperativas en varios grupos donde cada uno tenga 30 segundos para comentar algo, ¿no? Pero bueno... Sí que es complejo. Además, también tenemos la dificultad añadida de que hay alumnos que se expresan muy bien y hay alumnos que, aunque tengan el contenido asimilado y han trabajado mucho y muy bien, les cuesta expresarse a nivel oral y eso también, pues, un poco les discrimina un poco, ¿no? Pero bueno, luego veremos más evidencias. Segunda, en tu práctica docente actual, ¿qué situación te representa mejor? Yo voy leyendo el chat, ¿eh? No se puede preguntar lo mismo a todos, puede haber diferencias. Conteniendo todas las asignaturas no es posible evaluarlas realmente, con cálculo y prácticas. Dependiendo del contexto de la facultad o de la asignatura o del grado o máster, pues claro, cambia mucho. yo he tenido que replantear tareas de evaluación por la IA. Estoy empezando a revisar algunas actividades. Me preocupa, pero todavía no he hecho cambios relevantes. Apenas he abordado este tema en mi docencia y estoy esperando herramientas, pero no tengo un enfoque claro. La mayoría de veces tengo que replantear tareas de evaluación por la IA. Fijaros que, como digo, hace tres años y pico, tres años y medio, que está hecha el GPT. Ha habido ahí a lo mejor dos años, tres años y medio de camino por el desierto que los más avispados han tenido ahí un filón usando la IA y los profesores todavía no se hayan puesto a replantear tareas. Ahora también, en muchos casos todavía no es así, ¿no? Hace poco tuve una reunión con una directora de un centro educativo de secundaria de FP e hicimos la reunión por los pasillos y las aulas. Y me dijo, bueno, tú ves preguntando que a mí no me cuentan todo. Todos los profesores usaban la IA y ella no lo sabía. Pero es que los alumnos también, cuando les preguntaba al principio, pues estaban un poco más reticentes a comentarlo, pero después ya iban. Y además, importante, había mucha diferencia ante el uso que hacían con unos profesores y con otros. Luego veremos que los profesores que les pedían evidencias o les obligaban a ese forzamiento cognitivo, ahí les resultaba más complicado. El problema era con profesores, que solo miraban el producto final y ahí se limitaban a copiar y pegar. Y todavía se reían que decían, no, no, a mí me ha dicho la profesora que mi redacción ha sido la mejor del grupo. Bueno, pasamos al siguiente. Cuando piensas en una tarea hecha fuera del aula, ¿hasta qué punto consideras probable que haya medición de ella? Es decir, cuando mandáis un trabajo, un proyecto, una tarea y los alumnos lo puedan hacer en casa... Me río porque habéis sido directos a cinco. Y es que creo que así es la realidad. Muy pocos alumnos no usan la IA ahora. Y os voy a decir una cosa. Copiar se ha copiado toda la vida. Yo recuerdo cuando usaba primero la anticlopedia en papel, después usaba la encarta en CD e ibas, cogías... lo copiabas, después llegó El Rincón del Vago, después llegó la Wikipedia y con Google lo mismo. ¿Cuál es la diferencia? Que ahora copiar sale muy barato. Y me explico. Antes, para copiar, tú tenías que, aunque buscaras por Google, tenías que ir a una web, a otra, a un blog, a un artículo, copiar, pegar, juntarlo, parafrasearlo, ¿no? Copiar costaba trabajo. Ahora directamente vas a la guía y es copiar y pegar. Entonces, como digo, se ha abaratado mucho el poder copiar. ¿Utilizas actualmente herramientas de detección de guía en tu docencia? Me gusta, como digo, las aportaciones que voy viendo algunas se pueden pasar, ¿vale? Pero voy viendo algunas, por ejemplo, Miguel y Patricia hablan de que es una herramienta muy provechosa. que para hacer ideas, bien gestionadas, ahorra tiempo, maximiza resultados, ¿vale? Y me gusta también una clave que dice Patricia, que es hacerles entender que no es copiar solo, es utilizarla para mejorarse. Es muy importante reflexionar con ellos y que entiendan por qué usar la IA para copiar y pegar y para delegar cognitivamente es perjudicial para ellos, ¿vale? Que lo entiendan, que entiendan cómo deben de citarlo, de hacer explícito su uso, pero justificado en los momentos que toque, etcétera, ¿no? ¿Utilizas actualmente herramientas de detección de IA en tu docencia? La mayoría no. No, te pueden puntuar y sí de forma habitual. No estoy hablando de herramientas antiplagio, no estoy hablando de turnitín, etc. Estoy hablando de herramientas centradas en detectar si han usado IA. ¿Los que habéis puesto que no es porque no las conocéis o porque creéis que no se deben utilizar? [Orador 1]: En la universidad tenemos licencia de Turnitin, pero para el tema de IA. [Orador 3]: Tenemos la versión que detecta IA. Vale, y pensáis que es ético usar... A ver, evidentemente, la versión de Turnitin antiplagio sí que es ético usarla, por supuesto, ¿vale? En las fuentes, etc. Pero, ¿pensáis que es ético usar Turnitin u otra para... Muy bien. María del Socorro dice, ¿hasta qué punto son fiables? Bueno, os invito, si no os lo pasaréis, que lo paséis. Hay algunos artículos... Muy bien, exacto, Ana. Ana dice, tengo entendido que no se puede asegurar 100%. Exacto, exacto. De hecho, luego haremos una breve demo con GPT-Zero, que es una de las primeras que salió. que en su web aseguran que es fiable al 99%. ¿Qué ocurre con el 1% que falta? ¿Vale? Dan falsos positivos, ya ha habido investigación en artículos científicos que han sacado, han evidenciado que dan falsos positivos y que además pueden discriminar. ¿Vale? Luego voy a dejarlo esto para la última fase del taller para esa actividad y os explico por qué y cómo pueden discriminar. ¿Vale? ¿Qué tipo de evidencia usa soy con más frecuencia para evaluar? ¿Producto final entregado? ¿Trabajo escrito por fases? ¿Presentación o defensa oral? ¿Actividades prácticas en clases supervisadas? ¿Reflexión o justificación del proceso? ¿O combinación de varias? Bueno, si entiendo que vais a decir la mayoría combinación de varias, es lo más coherente. Pero hay una cosa aquí que me interesa resaltar. ¿Pensáis que es importante trabajar en el aula hoy en día? Y más cuando han salido últimamente algunas noticias de que la asistencia a clase está bajando en el aula universitaria, etc. ¿Pensáis que es importante la asistencia a clase? ¿Sí? ¿Sí? ¿Sí? Muy importante. Estas cosas están bien planteadas, evidentemente. Hoy he tenido un alumno, es otro problema. Ya lo vieron, es más cómodo preguntar a EchaGPT que a un profesor. Claro, es que es muy importante. ¿Y sabéis por qué? Porque ¿cuál es el único momento o el único contexto en el que podemos estar seguros de que el alumno no hace uso de la IA? En clase. Es que el aula creo que al contrario, o sea, ahora mismo probablemente es uno de los momentos en la historia en los que más importancia tiene el trabajo en aula. No quiero decir con esto que en el aula no se puede usar la guía. Lo que sí que quiero decir es que el aula es el único contexto, el único momento o espacio en el cual podemos estar seguros de que si le pedimos algo al alumno... podemos hacer una supervisión de máximo nivel y que no haga uso de la IA. Entonces, yo creo que las cosas no son blancas y negras, pero sí que hay momentos donde el alumno tenga que expresar, hacer un debate, un trabajo escrito con papel y boli, sin usar la IA, y después evidentemente veremos cómo a partir de ahí después puede mejorarlo con la ayuda de la IA, etc. Pero es muy importante recuperar la importancia de ese espacio de... Sí, claro, pero en clase de uso no era igual, pero tenía que haber momentos donde el ordenador o el móvil no están permitidos. Ya sé que es complicado, pero... ¿Qué te interesa llevarte especialmente de esta sesión? ¿Ideas para diseñar tareas? ¿Ejemplos de evidencias más útiles? ¿Formas de hacer más visible el proceso de aprendizaje? Ideas para usar ya como apoyo al feedback docente. Estrategia para dar mejor feedback. Criterios para decir cuando una tarea es frágil o robusta. Clara habla también que tenéis Safe Browser y que se supone que nos pueden salir del navegador. No sé vuestro contexto en concreto, pero yo soy el coordinador TIC y jefe de estudios en un centro. Y teníamos alumnos que teníamos cortafuegos y distintas medidas de control de pantallas. Y después tenía siempre algún alumno que no estaban permitidos los móviles, pero lo llevaban en su mochila y con la red móvil se lo saltaban. Siempre tienen algún truco. Pablo, nosotros evaluamos preguntas rápidas con papel A5 que luego escanean. Por cierto, voy a dejarlo aquí y se lo dejo aquí a la UPM y a Éxica. Ya sé que lo estáis haciendo y que, de hecho, esta primavera tech, muchos docentes, en la mayoría, sois de la UPM y estáis compartiendo, pero creo que es clave detectar casos de éxito en la propia institución porque muchas veces hay gente que hace un uso silencioso de la IA, ¿no? Puede haber un docente que está haciendo un uso maravilloso de la IA, pero no lo cuenta. ¿Por qué? Pues porque al final del día a día no tiene espacio o tiempo para compartirlo o porque a veces piensas No le voy a decir que uso la IA para esto, que parece que no ha llegado a mi trabajo, ¿no? Pero creo que hay que detectar quién está haciendo usos o casos de éxito de uso de la IA y compartirlo y darle mucha difusión para que todos lo vean. Porque a veces ver lo que otro hace aterrizado nos da ideas de cómo podemos aprovecharlo, ¿vale? Bueno, sobre todo ideas para redesignar tareas. Vamos allá. Ejemplos de evidencia. Muy bien. Y la última. Si tuvieras que resumir el reto actual en una frase, ¿cuál se acerca más a tu sensación? Esto es una nube de palabras. Una palabra o dos palabras que resuman el reto actual. Dertidumbre, flexibilidad, desconcierto, injusticia... Querer que aprendan los alumnos. Razonar profundamente. Abrumado. Desafío. Flexibilidad. Necesidad de aprendería. Que aprendan los alumnos. Interrogante. Bueno, creo que la verdad es que son ideas muy chulas porque todas ellas tienen encaje en esta situación o era que estamos viviendo ahora mismo. Isabel le dice, o matiza, injusticia con respecto a los que trabajan de verdad. Está muy bien. Bueno, Fernando anuncia que, aprovecha para comentar que justo vais a organizar una sesión abierta de uso de la IA en la UPM del 19 de junio. Va a ser maravilloso. [Orador 2]: Sí, dicen, parece que lo habíamos entrenado, pero no, ha sido casual. [Orador 3]: No, no estaba pactado esto, que haya dicho esto. [Orador 2]: No, todavía no está anunciado porque estamos intentando cerrar un poco la estructura. Pero la idea es que ese día, toda la mañana, pues digamos, la gente que está haciendo cosas la pueda compartir. Básicamente esa es la idea. [Orador 3]: Es que me parece muy, muy importante... Porque podemos llamar a distintas personas. Yo puedo venir aquí hoy, muchos ponentes, tal, pero al final, en mi opinión personal, lo que al final tiene mucho, mucho valor es que las propias personas que ya han aterrizado ahí en vuestro contexto concreto, pues puedan demostrar cómo y así que los llamás. Porque muchas veces, esto es como cuando hacemos un curso de Copilot o de Notbook LM y solo centrado en la herramienta. Yo, por experiencia propia, lo que tengo comprobado es que los más tecnólogos lo aprovechan, pero el gran grueso del grupo se queda con el wow y después aterrizarlo. Mientras que si mostramos casos completamente contextualizados, es mucho más fácil que los asistentes, que la gente, después lo adapte a su entorno, a su contexto. Bueno, gracias por participar en la encuesta. Me ha dado ya también esas ideas para terminar de aterrizar el taller, ¿vale? Entonces, vamos a seguir ahora, simplemente, pues bueno, aquí terminamos de concretar cuál es el verdadero problema, y es que no es que todo sea imposible de evaluar, hay maneras de evaluar, pero sí que algunas maneras de evaluar tradicionales, pues dependían mucho de suposiciones, y probablemente La I aquí es positiva porque nos obliga a sí o sí valorar el proceso y pedir más evidencias. Un informe puede estar bien escrito, una respuesta puede estar bien estructurada y una explicación puede resultar convincente sin que necesariamente podamos inferir aprendizaje profundo en ese alumno. Por eso el objetivo no es rediseñarlo todo, sino identificar qué tareas son más frágiles y qué evidencias adicionales necesitamos añadir. Ahora vamos con un concepto que para mí es clave, que es la delegación cognitiva. Hablabais algunos compañeros por el chat de que la IA tiene usos muy positivos, pero también tiene un riesgo muy grande para los alumnos que deben delegar cognitivamente. Y os comento un ejemplo muy simple. Yo trabajo con la IA mucho en mi día a día. No la considero una herramienta, la considero una capa de trabajo. Y creo que en los próximos años va a convertirse eso en una capa de trabajo que va a cambiar nuestra manera de trabajar. Y de hecho, creo que los primeros años habrá una brecha entre los que la utilicen de manera puntual y los que la enteren en su manera de pensar, etc. Pero claro, yo cuando la utilizo, pues presento un proyecto o una iniciativa Y lo que hago es que cojo varias sillas y son mi consejo asesor y me critican. Y les pido que me critiquen y que me digan aspectos de mejora. Y yo le doy la vuelta y veo si tiene razón en algunos puntos, en otros no. Pero ese uso de la guía tiene sentido porque me hace pensar y me hace pensar de hecho más. Me hace ver opciones o visiones que no hubiese visto de otra manera. Sin embargo, sí que hay tareas que te permiten delegar. Es decir, que evitan que pienses. ¿Qué tareas podemos delegar? Pues os pongo un ejemplo. Pensad que tuviéseis un secretario, una secretaria, un ayudante. ¿Qué tareas le delegaríais a esa persona? Pues algo similar lo podríamos delegar con la IA. Pues tareas muy burocráticas, muy repetitivas, muy cuadriculadas, pero... Si delegamos todo, al final, es que nos cuesta pensar. Pongo un ejemplo. Os reto a que uséis la IA. No sé si saben usar la IA, por ejemplo, para responder e-mails. Tendrán muchos e-mails al día y al final tiene tu contexto y te ayuda mucho a responder. Si la utilizas mucho o de manera excesiva, después es que te cuesta hasta pensar. Tienes que pararte y decir, o no, voy a pensar mi respuesta primero, después se la doy a la IA y que la perfile o la estructure, pero la idea es mía. ¿No? Entonces ahí creo que es importante que los alumnos entiendan que no buscamos pillarles, sino buscamos preservar o mantener que sean capaces de seguir pensando y volver a ese esforzamiento cognitivo. ¿Distintos usos o maneras de aplicarla en una tarea? Pueden ser muy distintos los usos. En un primer lugar, pues la guía, por ejemplo, puede actuar como mejora. El alumno ya ha pensado y la guía le ayuda a pulir, a perfeccionar el texto. En un segundo uso, la guía actúa como andamiaje. Genera opciones, contraejemplos, preguntas, pero el alumno decide qué incorpora y por qué. En un tercer uso, la IA sustituye el trabajo, interpreta, decide, argumenta y el alumno entrega el resultado sin hacer nada, sin apropiación, copiando y pegando. Por lo tanto, la clave no es la herramienta, la clave es quién toma las decisiones y quién puede justificarlas. Ante esta complejidad, una respuesta frecuente, como hemos comentado en el Mentimeter, en el cuestionario, es acudir a detectores. Vamos a verlo, creo que lo vemos, porque hay que ir con mucho cuidado. Bueno, los detectores, como digo, pueden resultar tentadores porque a veces dices que lo hacen con IA, voy a pillarles, ¿no? Y además prometen una solución rápida. Pero hay que ser muy prudentes. Un detector no ve el proceso de aprendizaje, solo infiere patrones a partir del texto. Por lo tanto, puede equivocarse. puede marcar como guía un texto humano y puede no detectar textos generados o retocados. Por eso, incluso cuando se usan como indicio, no deberían convertirse en prueba automática ni en sustituto del juicio docente. La evaluación robusta no puede descansar en una caja negra porque no sabemos cómo están generados esos detectores de plagioporía. Y, por lo tanto, además, esos detectores no conocen la historia del alumnado. Os planteo una pregunta. Me respondéis por el chat. Tenéis un alumno ejemplar que lleva una trayectoria realizando trabajos, proyectos increíbles, muy potentes, de manera excelente, participa siempre y tal. Os entrega un trabajo y la herramienta marca un 95% de plagio por IA. Pero el alumno os jura y os perjura que lo ha hecho él. ¿Qué haríais? Respuestas por el chat. Creerle, José Ignacio. Hacer una evaluación oral del trabajo, Elena. Creerle. Preguntas sobre el trabajo, ignorar la herramienta. El problema es que las ideas que hemos formulado por la IA saltan, pero el golpe de las ideas de la IA no. Hacer otra prueba, no creerle y preguntarle. Preguntas sobre el trabajo, preguntas orales sobre el trabajo, conversaciones sobre el trabajo. Creer sus palabras. Hablar con él sobre el tema lo bien posible. Yo de aquí extraigo una primera cosa, y es que nosotros, como docentes, tenemos esa capacidad de conocer al alumno, de empatizar, de interpretar el contexto. Y aún así, evidentemente, es mucho más fácil en una clase de secundaria con 25 alumnos que una de universidad con 100, porque con 100 probablemente no los conozco a todos y más si no asisten a clase, ¿no? Pero yo en este caso estoy hablando de un alumno que lo conocemos y tal, ¿no? Entonces, sí que aquí, pues, por una parte... Tengo que... La diferencia entre la persona y la herramienta, ¿no? Además, las personas tenemos que poner en valor esas competencias en las que no nos podrá sustituir la IA. O eso esperamos, ¿no? Después, a partir de ahí, vamos a hacer ahora una breve tarea. Os voy a pasar... el enlace GPT Zero, pero podéis hacerlo con Turnitin, con la versión de Plagio por IA, si tenéis acceso. Y lo que os pido ahora, en cinco minutos, es que pongáis un par de textos hechos por vosotros, humanos, y un par de textos hechos por IA, y que digáis por el chat el porcentaje que os ha dado uno y otro. ¿Vale? A algunos os lo va a acertar. ¿Vale? A algunos, ya os lo adelanto, os lo va a acertar. Pero también habrá algunos a los que no. Entonces, ahí está el problema. ¿Vale? Repito, cinco minutos para coger y aquí mismo en GPT-Zero o en Turnitin con IA o si tenéis alguna otra herramienta, pegar un par de textos hechos por IA y un par de textos hechos por humanos y ver los resultados que nos da. ¿Vale? Cuando lo tengáis, lo decís por el chat. Cuatro o cinco minutos. Y ahora lo comentamos. Habría que ir en cuenta un texto ahora escrito por un humano. No es fácil, ¿no? No es fácil. Pero bueno, seguro que tenemos algún documento en el ordenador de hace unos años. Además, bueno, voy a esperarme un poco para comentar las ideas. Mientras lo voy a compartir una cosa... Esto no está muy bien, pero lo voy a compartir igual, ¿vale? Para que veáis también, pues, opciones. Esto lo he hecho hace un momento porque estaba terminando de preparar la sesión y digo, voy a probar esto. He intentado hacer como un guión de la sesión con algunos de los recursos. Decidme si podéis abrir el enlace. Bueno, no quiero interferir mucho mientras estáis haciendo la actividad, pero si alguien puede decirme si funciona el enlace. [Orador 1]: Sí que funciona. [Orador 3]: Tiene fallos, lo he hecho hace unos minutos, entonces tendría que pulirlo y tiene fallos, pero sí que quería que vierais alguna idea. Esto está hecho con Cloud, que es un artefacto, está en version HTML y puedes publicarlo y compartir el enlace. Entonces está bien, para llevar una sesión a cabo... con alumnos, si crees que tengan como un guión y tal, que a veces no nos interesa, nos interesa que no tengan el contenido, porque si no, todavía más opciones de que no vengan a clase. Pero bueno, si nos interesa que tengan como un guión con los recursos o algo, pues es una opción chula. Como digo, tiene algunos errores cuando le doy, si probáis, cuando le dais a cada una de las secciones, sale ahí como un enlace de error, pero si le dais a cancelar, sí que lo abre. He intentado ahí poner algunos recursos que vamos a ver, para que estuvieran más accesibles. Esto sería otro taller, pero esto está muy chulo porque cualquiera hoy en día, sin saber programar, puede montar cosas interesantes con Cloud, con Lovable. Hay muchas herramientas que te permiten hacer estas cosas. Y como digo, para plantear un taller, una sesión, unas jornadas, puedes tener ahí todo bien ordenado. Bueno, cuando tengáis resultados, seguid compartiéndolos por el chat. Patricia, primer intento, texto 100% hecho por ella y le dice que es 85% humano. Y dice que le pasa frecuentemente por mi forma de escribir, que me sale bien generado por ella una mezcla considerable. 100% humano ambos textos. Lo de José, estaba alguno hecho por ella, ¿no? O sea, los dos, el hecho por ella y el humano, ¿vale? Yo he utilizado un par de textos cortos, román, menos de 100 palabras y me ha aceptado ambos casos. Es lo que os he dicho, que algunos aceptaría y otros no. Claro, ¿el problema cuál es? Que en el momento en el que haya alguna posibilidad de que dé un paso positivo, Yo no tengo la potestad o no es ético que lo que sé con los alumnos. Por varios motivos. El primero, a nivel legal, que podemos tener problemas. Si yo suspendo a un alumno porque la herramienta me ha dicho que es plagio de IA, pues puedo tener un problema, seguramente. Después, hay artículos científicos que han estado investigando sobre esta temática y ya han comprobado que eran falsos positivos y, además, Por varios motivos. O hay varios motivos que además discriminan. Por ejemplo, dan más falsos positivos con alumnos que escriben en una lengua que no es su lengua nativa que con alumnos que escriben en su lengua madre. Después, dan más falsos positivos con alumnos que utilizan versiones gratuitas que con alumnos que usan versiones de pago más avanzadas. También estamos discriminando porque hay alumnos que pueden pagarse versiones más potentes y otros que no. Y por último, hay alumnos que son más avispados o que se han formado, que tienen estrategias para engañar a la máquina. Por ejemplo, que usan varias herramientas. De hecho, os reto que si vais a la tienda de HHGPT, pues hay GPTs que son humanizadores. Después pueden pasarlo por otro programa de redacción. Es decir, pueden pasar por varias herramientas o tener varias estructuras o incluso pedirle en un prompt a la IA que escriba evitando estructuras típicas de la IA. Es decir, También un alumno más alisado, más formado en ese sentido, pues tiene menos probabilidades de que le dé positivo que a uno que no conoce ese tipo de estrategias, ¿no? Vale, bueno, creo que me vale la actividad. ¿Y cuál sería la conclusión para mí en este caso? Pues bueno... Pueden ser positivos, yo no confiaría en ellos. La evaluación debe basarse en el diseño de tareas y no en el detector de plagio. Perdón, repito y hago el inciso. El detector de IA, de uso de IA, no el de plagio. El de plagio es otro tema. El tunitín cuando se centra en el plagio es otro tema. Y por otro lado... Como veis, hay textos que suelen dar fallos. Sí que hay docentes que dicen, no, pues yo lo uso para hacerme una idea. Y a partir de ahí ya puedo ir tirando el hilo y le pregunto al alumno, bueno, pues si lo quiero usar para hacerme una idea y después ya usar otras evidencias para terminar de averiguarlo, vale, pero que no puede ser decisivo el uso de este tipo de herramientas, ¿vale? Incluso cuando se usan como indicio no deberían convertirse en una prueba automática ni en sustituto del juicio docente, ¿vale? No podemos descansar la elaboración robusta en una caja negra que no conocemos cómo está creada. Por lo tanto, ¿cuál es la solución? Pues pasar de detectar a diseñar. Esta diapositiva resume el giro principal del taller. Desde la pregunta, ha usado IA, que puede ser legítima, pero muchas veces nos coloca en una posición defensiva y frágil, a la pregunta, ¿Puedo verificar el aprendizaje? Y esto nos obliga a diseñar mejor. Si puedo verificar el aprendizaje con evidencias del proceso, transferencia, defensa o aplicación, el uso de la guía deja de ser una amenaza absoluta y pasa a ser una variable más de diseño. Bueno, esa es la actividad que acabamos de hacer y la conclusión es que no puedes sustituir al diseño evaluativo. Sigo viendo preguntas en el chat... Colocó como resultado 100% humano cuando mezclé el primer párrafo usando texto humano y luego el segundo usando texto de guía. Vale, sobre todo, un poco la actividad era para que vierais que no es 100% fiable, ¿vale? Vale. Pasamos ahora... al marco SEIYA, al sistema SEIYA. Y vamos a ver qué es. Como digo, es una herramienta muy simple y nace para ayudar a los docentes. Desde mi experiencia en centros educativos, desde mi experiencia en docencia en la universidad y desde mi participación en un proyecto europeo en el que estamos trabajando en 8 países en formación a formadores de IA. Se han hecho entrevistas en grupos focales y siempre veía que se repetía esta preocupación, la preocupación de la evaluación, cómo evaluar ahora, evidencias de evaluación, etcétera. incluso también os digo, que trabajo con colegios y universidades, y me han llamado de colegios, llamarme un coordinador TIC y decirme, Bishan, tienes que venir, que el profesor de segundo de bachillerato de inglés está muy preocupado porque le mandan una redacción de inglés a los alumnos para casa y se la hacen con IA. Y yo, vale, es que no puedes mandarle una redacción de inglés para casa si crees valorar su expresión escrita en inglés, sino que tenéis que hacerlo en el aula, ¿no? O sea... Bueno, eh... El marco se divide en cuatro niveles, de 0 hasta 3. No es una escalera de mejor a peor y además tampoco se clasifica alumnos, es un sistema que lo que clasifica es a las tareas y son opciones de diseño, por ejemplo. En 6 a 0, pues quiero medir razonamiento sin apoyo tecnológico y por eso necesito supervisión completa. ¿Cuál es...? El caso concreto del 6 a 0, supervisión en aula. Si no estoy en aula, por ejemplo, en un formato online es más complejo. Sí que hay softwares que te permiten ese control en exámenes online, etc., pero es mucho más complejo. En aula sería el contexto más fácil de adaptar este nivel. En 6 a 1, permito apoyo técnico, corrección, traducción o mejora formal, pero no generación del contenido. En SEIA II acepto que la IA participe en la producción, pero exijo documentación del proceso y defensa. Y en SEIA III el uso de la IA ya puede ser abierto, incluso cercano a contextos profesionales. Pero entonces sí que debo reforzar más la justificación humana y añadir también a lo mejor alguna prueba puntual en la que no pueda usar la IA. Vamos a verlo paso por paso y ponemos algún ejemplo. En primer lugar, bueno, 6 de acero, como he dicho, tiene sentido cuando necesitamos una evidencia limpia de desempeño sin IA. No es un nivel anticuado ni para nada, sino que sigue siendo necesario, dependiendo del momento en el que lo consideramos oportuno. Hay momentos en los que quiero saber qué puede hacer el alumno sin apoyo externo y necesito situarlo en este escalón. ¿La condición cuál es? Que la tarea esté realmente supervisada. Si digo que es sin IA, pero se hace en casa, el nivel no está garantizado, porque no puedo asegurarme de que no hace uso de la IA. El producto final puede tener mucho valor como evidencia. Aquí sí, en el nivel 0, donde está supervisado al máximo, sí que el producto final tiene valor como evidencia, porque es supervisado que no ha usado la IA y sé en qué condiciones se ha producido. Ejemplo práctico, lo que comentaba la redacción de inglés o una disertación o un resumen sobre un texto que hace un alumno en el aula sin tener aparatos tecnológicos cerca, por ejemplo. Nivel 1, sella 1. Este es útil cuando el objetivo no sea, evidentemente, evaluar ortografía, traducción o fluidez formal, sino buscamos evaluar otra cosa, el contenido, el razonamiento, el diseño o el procedimiento. Y en este caso, puedo permitir que la IA sí que ayude a mejorar la forma, siempre que el alumno declare el uso que ha hecho, ¿no? Pero, claro, hay un límite, ¿no? Si la IA pasa de corregir a decidir el contenido. Ahí ya no estamos en 6 a 1, ¿vale? 6 a 1 el contenido lo ha elaborado el alumno y la herramienta le ayuda a darle forma, a perfeccionarlo. Ejemplo, la actividad que hemos realizado en 6 a 0, se la lleva a casa, yo habré formado, o la institución habrá formado al alumno en cómo hacer un uso ético responsable de la IA, el alumno se lleva ese trabajo inicial hecho, no sé qué hacerlo, se lo lleva a casa y lo mejora. Y en la siguiente sesión me da dos evidencias. El trabajo inicial, el borrador inicial hecho sin IA y el borrador mejorado hecho con IA. Y me tiene que justificar qué ha mejorado y por qué. ¿Vale? En el sistema SEIA 2, la IAQ lleva un paso más adelante. Sistema como coproductora. Algunos habéis comentado en el chat el tema de la lluvia de ideas, etc. Se estaría situado aquí, en un SEIA 2. Aquí ya no es un corrector técnico, sino que puede ayudar a explorar ideas, a generar más versiones, a sugerir argumentos o a proponer mejoras en el trabajo realizado. Pero el alumno sigue trabajando. Es decir, el alumno tiene que decidir, filtrar, comparar y justificar. Por eso ahí la evidencia tiene que cambiar. No basta con el producto final, sino que necesitamos ver trazos del proceso. Ejemplo, el alumno me da algunos de los prompts utilizados y del resultado que le ha dado la IA, que ha cogido por bueno, que ha descartado y por qué. ¿Vale? Esto es importante. A partir de ahí, después ya hablaremos de que hay complejidad, de qué manera hago eso. ¿Puedo hacerlo en todas las tareas? Pues probablemente no, pero sí que puedo coger varios alumnos al azar o podemos hacer trabajos de colaboración colaborativa. Luego veremos también en el banco de evidencias de qué manera. Incluso también, como digo, una mini defensa oral, si es viable. Al final, lo que buscamos es que el alumno reflexione sobre lo que le ha dado la guía, que no debe conectivamente, sino que sea crítico. Además, como digo, es muy importante hacer esa reflexión de que la guía nos puede ayudar a ser muy productivo, muy eficiente, etc., Pero el otro día, Pau García Mila, el CEO de Founders, hablaba de que este año era el año de las personas de más de 40, 50, 60 años en trabajos con IA. ¿Por qué? Porque en los primeros años, gente muy joven aprendía a usar la IA, se presentaban postos de trabajo y se los quedaban. Pero ahora las empresas buscan personas con bagaje, con criterio. ¿Por qué? Porque necesito tener esa experiencia, ese conocimiento, para cuando me da una respuesta la IA, poder ser capaz de ser crítico y decidir qué es bueno, qué no es bueno, qué me vale y qué no me vale. Entonces los autores tienen que saberlo y hay que reflexionarlo con ellos. Y después, bueno, el nivel 6 a 3, que no significa que todo vale, sino que significa que el uso de la guía es parte de la tarea. Pues quizás porque queremos simular un contexto profesional donde esas herramientas ya existen, si la IA está muy presente, evidentemente aquí la evaluación no puede basarse mucho en el producto. ¿En qué necesitamos? Pues a lo mejor un diario de proceso, actividades de metacognición, donde el alumno vaya explicando cómo va trabajando, qué está aprendiendo y por qué, más defensa humana, explicación de las decisiones, como decíamos antes, ir y decirle, vale, y en este punto concreto, ¿por qué has decidido hacer esto de esta manera y así? Que sean capaces de justificarlo, transferir lo aprendido a un contexto similar, pero no idéntico, o resolver variantes, etc. Para que lo veáis todo ya más reunido, pues el sistema sería lo que vemos en pantalla, el nivel 0 sin IA, nivel 1 con IA limitada, nivel 2 con IA como coproductora y nivel 3 con IA abierta. Y transversalmente aparecen cuatro dimensiones. La primera es la supervisión del proceso, que es indispensable. Tenemos que ser capaces de decidir en cada tipo de tarea qué supervisión se requiere. Por ejemplo, en el nivel 0 la supervisión es máxima, el nivel más alto. En todo momento estoy controlando que no haga uso de la IA. En el nivel 1 es por fases, en una primera fase de borrador, si no pueden usar la IA, hay supervisión máxima, pero después cuando trabajan en casa no hay supervisión. Y en el nivel 2 y 3 sería más una supervisión por fases, en distintos momentos les voy a pedir trabajo más concreto delante de mí o evidencias, justificaciones, etc. Después, respecto a la independencia cognitiva, es una de las finalidades principales. Como decía antes, obligar a que el alumno piense o evitar esa delegación cognitiva. Para eso, pidiéndole todas las justificaciones o evidencias, lo que hacemos es ese forzamiento cognitivo de obligarle a pensar, a trabajar a nivel cognitivo. El tercer apartado, tercera dimensión, sería la equidad de acceso. Es decir... Si la herramienta corporativa de la universidad es Copilot, pues nomás hay que plantear las tareas a los alumnos con Copilot. Si es Gemini, pues con Gemini. Pero ¿cuál es el problema? Si yo les pido que hagan un trabajo con una herramienta en versión Premium, probablemente habrá alumnos que podrán acceder y habrá otros que no. Entonces ahí puedo llegar a discriminar. Y por último, a nivel de accesibilidad, siempre plantearnos que las tareas sigan respetando el nivel, pero si tenemos alumnos con alguna dificultad, con ceguera, con sordera, con cualquier tipo de diversidad, que seamos capaces de adaptarlo o de pedir otro tipo de evidencias dentro del mismo nivel. Os voy a compartir... Bueno, no sé si habéis podido acceder al... Esto lo se había compartido por el chat. No sé si habéis podido acceder. Bueno, pues si le dais aquí... Como he dicho, si sale esto, lo voy a cancelar. Luego lo corregiré. Aquí hay un resumen. Y aquí... A ver si me deja... Vale, sí, aquí está. El artículo inicia donde empecé a hablar de ello. Hay siete números hablando de ello. Lo presenté también a un congreso virtual en futuro de EDUCA, pero todavía no está publicado el libro de actas. Pero esta semana voy a publicar un pdf con todo el sistema SIA junto. Lo difundiré en las redes. Después, si a alguien le interesa, aquí en la newsletter, semanalmente voy publicando sobre aspectos relacionados con la IA, docencia, evaluación, etcétera. A partir de ahí, tenemos ya acceso al documentalizador de sella y este. Y ahora voy a compartiros este otro, el Evidence Hub, y os comento un poco cómo surgió esto. Segundo, un momento. Vale, sobre tipos de evidencias. Queda muy bonito decir, vale, vamos a clasificar las tareas, vamos a pedir evidencias, pero lo complejo es cuando llega el momento de la realidad decir, vale, pero ¿cómo lo hago? Al final hay que aterrizarlo y pasarlo a una parte práctica, porque si no queda todo en teoría. Un error frecuente es definir el uso permitido de la IA. pero seguir manteniendo las evidencias de siempre. Si permito la IA como coproductora y solo pido el producto final, pues el diseño se queda cojo. Necesito alinear el nivel de IA, la evidencia y el criterio de evaluación. Podemos organizar las evidencias en tres familias. La evidencia de resultados, el producto, lo que se entrega, el informe, la práctica, la resolución, lo que se entrega. La evidencia de proceso muestra cómo se ha llegado hasta ahí, pues borradores, prompts utilizados, respuestas de la IA y que hemos cogido que no, cambios de criterio, decisiones y descartes, ¿no? Y la evidencia de transferencia comprueba si el estudiante puede aplicar lo aprendido a un nuevo caso. En los niveles 6 a 0 y 1, a veces con el resultado nos basta, pero en los niveles 2 y 3, el proceso y la transferencia son esenciales. Eso no tiene sentido, son actividades. Respecto a la evidencia y al resultado, no se trata de despreciar el producto final, evidentemente, sigue importando el producto, pero en la vida profesional, porque en la vida profesional también importan los resultados, cuando vayan a trabajar también van a importar los resultados, pero sí que a la hora de evaluar necesitamos saber qué inferencia hacemos a partir de ese producto. Si la tarea ha sido supervisada, si el producto puede ser una evidencia fuerte o no. si se ha hecho fuera del aula y con posible uso o mediación de ella. El resultado, por sí solo, dice mucho menos de lo que antes creíamos. Respecto a la evidencia de proceso, no debe de convertirse en un expediente burocrático interminable porque nos ponemos aquí a pedir todos los prompts utilizados, un diario de metacognición, empezamos a pedir, a pedir, a pedir, al final se convierte en una carga burocrática excesiva para el docente y para el alumno. Por eso hay que afinar muy bien en qué tipo de evidencias seleccionamos en cada caso. Debe ser ligera, pero significativa. Y nos interesa ver momentos en los que toma la decisión. ¿Qué pidió la IA? ¿Qué versión descartó? ¿Qué cambió después del feedback? ¿Qué criterio aplicó? Y ahí aparece esa presencia cognitiva que buscamos. Si el alumno puede explicar sus decisiones, ahí empieza a haber más una evidencia sólida ya de aprendizaje. Y respecto a la evidencia de transferencia o último tipo de evidencia, Es una de las más potentes, ¿por qué? Porque obliga al estudiante a aplicar lo aprendido en un contexto nuevo, que puede ser similar o puede ser distinto, pero que tenga sentido. Si alguien solo ha pegado una respuesta, ha copiado y pegado, tendrá muchas dificultades de transferir lo aprendido a otro contexto. No hace falta montar ahí un examen enorme, sino que puede ser una variante corta, una pregunta oral, un caso paralelo... una defensa ante un cambio de condiciones o una mini aplicación de un caso real en aula. Y después tenemos la diferenciación entre preguntas robustas y débiles. Pero antes de pasar aquí, vamos al Evidence Hub, lo tenemos aquí, comparto esto en el chat y os cuento un poco de dónde surgió esto. Como digo, el sistema sella, pues, venía muy bien, ¿no? Mucha gente lo estaba utilizando, pero a la hora de seleccionar el tipo de evidencias, pues, muchas veces no venían tan claros qué tipo de justificaciones pedir, etc. Entonces, ¿aquí qué hice? Bueno, en las redes sociales, en LinkedIn, YNX, en el Twitter, compartí un post en el cual... pedí ideas a gente de aportaciones, ¿no? Entonces, mucha gente, tanto de nivel de educación obligatoria como de nivel universitario, aportaron sus ideas, cómo estaban trabajando, qué estaban pidiendo en los alumnos, etcétera, ¿vale? A partir de ahí, ¿qué hice? Cogí toda esa información, la analicé con distintas herramientas y cogeré este portal en el cual, pues bueno... aparecieron algunas de las ideas principales que surgieron en esas aportaciones y también cogí información desde el proyecto europeo en el que estamos trabajando, de los grupos focales, etc. ¿Dónde se ha abrido este? Miguel Ángel no lo ha dejado. ¿Dónde se ha abrido? Probablemente en un navegador en privado, Miguel Ángel, a ver, o en otro explorador. Esto no es algo estático, sino que poco a poco lo voy mejorando. En un primer lugar, ideas que emergieron con más fuerza. Ocho categorías de evidencias. El proceso trazable. Registros que hagan visible el recorrido del alumno durante la tarea. Desde diarios de abordo, microregistros, notas de voz... Había una herramienta, no sé si a nivel universitario la conoceréis, mucha gente sí que usaba también en la universidad, que se llamaba Flipgrid, que la compró Microsoft y hace alguien medio así la descartó. Y es una lástima porque era como un panel donde los alumnos, era privado además, donde los alumnos podían subir defensas orales o en vídeo cortas. Entonces hubiese sido magnífica para este tipo de, por ejemplo, de esta opción de notas de voz, ¿no? Donde hago una justificación de 30 segundos, de un minuto, ¿no? Portas del cuaderno, registro de prompts y cambios, etc. Justificación y razonamiento. El alumno explica por qué tomó cada decisión y qué criterios aplicó. Justificar decisiones, explicar enfoque elegido, comparar alternativas. No es... Y no es algo imprescindible que en todos los proyectos o actividades preguntemos a todos los alumnos, pero sí que podemos coger y hacer varias selecciones para justificar y a partir de ahí, evidentemente, si te toca, te toca. Es complicado si tengo grupos muy numerosos poder hacer este tipo de justificaciones con todos. Lo mismo con las orales. Son probablemente una de las evidencias más potentes y más difíciles de falsear, pero no siempre o pocas veces se escala bien con grupos grandes, ¿no? Entonces, ahí podríamos buscar alternativas de microdefensas, debates, etc. A nivel de metacognición, el alumno reflexiona sobre su propio proceso de aprendizaje. Aporta valor real cuando está bien guiada y vinculada. Esto es importante. Si formulamos esa actividad de metacognición de manera muy genérica, pues evidentemente también pueden hacer uso de ella para responderla. Entonces aquí es muy importante el planteamiento de estas reflexiones. La aplicación de transferencia, que es lo último que hemos comentado, la servideta de transferencias, adaptar o transferirlo a un contexto similar. Pero claro, aquí la complejidad es diseñar un buen escenario de transferencia, donde el docente tiene que invertir tiempo. Aunque evidentemente con la IA, pues igual podemos generarnos un agente que nos ayude a preparar ese tipo de contexto de transferencia. No sé, se me ocurre. Observables en situación, pues son trabajo visible, esto sería supervisión máxima, trabajo visible, exámenes tradicionales, observación en clase, dinámicas cooperativas, etc. Pero, ¿cuál es el problema? Se requiere presencialidad y en grupos que lo permitan. Después, producto con contraste, es decir, el producto sigue importando, pero ya no está por sí solo, sino que nos entrega el producto, pero le sumamos una breve defensa, etc., o lo adapta a otro formato. Y por último, lo más interesante, pues probablemente las híbridas que recogen varias de estas evidencias, pero lo mismo, requiere de mayor implicación por parte del docente. Pues no sé, igual también una parte del tiempo que si somos capaces de usar la IA, recordáis al principio de la sesión que mostraba dos vertientes de uso de la IA, a nivel de productividad y eficiencia y a nivel de docencia y evaluación, pues igual parte del tiempo que podamos ahorrar a nivel burocrático hay que invertirla más en el rediseño de tareas, ¿no? Bueno, bueno, aquí este manto de evidencias, como digo, tiene varios apartados. Pues aquí va hablando de ventajas y precauciones de cada uno de los tipos de evidencias, etc. Esto, manténlo ahí porque ahora haremos una actividad, ¿vale? Hablaremos de una actividad con un reoformulario y veremos ideas y podéis consultarlo, ¿vale? Pues, ¿qué tipo de evidencias metería en este tipo de actividad? Pues bueno, aquí tengo ideas. Y veo también qué ventajas y precauciones tiene cada una de ellas. ¿Hablamos de metacognición? Ventajas, desarrollo de autoregulación, conecta proceso y resultado, puede enterarse como un hábito evaluativo breve. Precauciones, si se pide siempre igual, se ritualiza y pierde valor. Requiere preguntas focalizadas, muy adaptadas y contextualizadas, sino ventajas genéricas. Bueno, en cada tipo de evidencias tenemos aquí ventajas y precauciones. Después, ¿a qué nivel de viabilidad? Con grupos grandes, en vuestro caso, la mayoría de vosotros, probablemente, ¿qué es viable? Pues bueno, todo lo valioso nos caba igual. Hemos dicho que las pruebas orales son muy valiosas, pero no nos caban bien. Entonces, pues, microregistros, pruebas en momentos clave... Justificaciones focalizadas de dos, tres líneas. Lo que he dicho antes, un muestreo. No podemos evaluar a todos todos los días o todas las semanas. Rubricas simples y compartidas. Recogida en hitos no continua. Pregunta de transferencia corta. Bueno, lo que hemos ido hablando. ¿Y qué parece más robusto frente a los superfíos de la guía? pues al final la justificación es la clave. Explicarlo con palabras propias también. Aquí pues es un poco, estas tres podrían ser adaptables a lo que os he comentado al principio de una defensa de trabajo final de grado de máster, preguntarle por qué en tal página ha argumentado algo de una manera concreta y que sea capaz de justificarlo con criterio, de explicarlo con palabras propias y de defenderlo realmente, por ejemplo. Y aquí hay una matriz visual de las evidencias y ver cada una lo que nos muestra, cada tipo de evidencia lo que nos muestra y después a nivel de implementación, de viabilidad, de robustez y de contextos, cómo aplica, si en un nivel bajo, medio o alto. Voy a dejar aquí, os he dejado la enlace en el chat, lo dejamos aquí, porque después, bueno, aquí también lo he clasificado por etapas, etcétera, o por áreas. Aquí sí que os voy a dejar un vistazo dependiendo de área, pero básicamente lo que quiero es que lo tengamos a mano para la actividad que vamos a hacer ahora en un momento, ¿vale? Vamos a volver. Y nos habíamos quedado en la diferencia entre preguntas robustas versus preguntas débiles. Una pregunta débil, ¿cuál sería? Sería la que la IA puede responder de manera genérica. Resume tu trabajo. ¿Qué has aprendido? Explica el tema. Si yo a alguien le digo qué ha aprendido sobre el contenido que hemos visto hoy, pues coge el contenido, se lo mete a la guía y le dice, responde a qué ha aprendido sobre este contenido. [Orador 2]: Y ya está. [Orador 3]: Una pregunta robusta se centra o apunta a decisiones concretas del proceso. ¿Cuándo cambiaste de criterio? ¿Qué descartaste? ¿Qué modificaste? ¿Qué error detectaste? ¿Qué evidencia te hizo cambiar? Estas preguntas, evidentemente, no garantizan al 100% la autenticidad, pero ya elevan mucho más la calidad de la evaluación porque piden memoria del proceso y justificación. Para inspirar ese rediseño podemos apoyarnos en ejemplos reales y recursos organizados. que es lo que vamos a ver ahora. A veces pedimos a los docentes que rediseñen evaluación, pero no les damos ejemplos, como he dicho antes, ni idea. Y eso muchas veces genera bloqueo. Entonces, los recursos que vamos a ver no deberían tenerse como plantillas como plantillas que hay que seguir al pie de la letra, ¿no? El Evidence Hub, que es lo que hemos visto ahora, son ideas simplemente para que cada uno las haga suya. Y probablemente encontréis alguna idea o alguna evidencia que no está ahí, ¿vale? Que de hecho, si tenéis alguna que habéis visto que echáis en falta, os animo a que me lo digáis y lo añado, ¿vale? Que puede servirle a mucha gente que lo tiene compartido, ¿vale? El Evidence Hub al final está preparado o está ideado para ayudar a visualizar qué evidencias se pueden pedir cuando el alumno usa IA. No son recetas universales, sino que interesa mirar cómo permiten resolver problemas parecidos en otras áreas y adaptarlos. Y quizá una idea nacida en Humanidades se puede transformar para Ingeniería o un Evidente de Defensa Oral puede inspirar una tutoría breve en un proyecto técnico. Vicente, si trabajamos evaluar el resultado final y reforzamos el criterio de justificación, ¿no podría ocurrir que puntuemos el proceso por encima del resultado, que es lo que desde el punto de vista de la ingeniería nos interesa? ¿Podría sacar más nota un alumno por el proceso justificativo que otro con mejor solución obtenida y peor justificación? Esa es la reflexión que tenéis que hacer vosotros. Y me explico. Dependiendo de facultad o dependiendo de carrera, aquí va a ser distinto. Igual no se va a ser igual el objetivo o la finalidad última en una carrera más centrada en humanidades que en una más centrada en ingeniería. Aunque evidentemente la Politécnica se centra más en un tipo de áreas. Yo aquí estoy muy de acuerdo. Esto no lo he nombrado porque... Evidentemente, la sesión va de buscar evidencias, justificaciones, etc. Pero yo soy muy consciente de la línea de la que hablas de no podría ocurrir que puntuemos el proceso por encima del resultado. Ojo, ¿qué es lo que desde el punto de vista de la ingeniería nos interesa? Quiero decir, os cambio la pregunta. Un alumno... que es menos capaz de justificar el trabajo en la universidad porque usa más la guía de Leandro. Si después cuando accede al mundo laboral es capaz de tener mejores resultados que otro, ¿eso cómo podemos valorarlo? ¿Qué es nuestra finalidad? ¿Qué buscamos? ¿Que el alumno después sea capaz de tener los mejores resultados o que no? Yo eso lo enlazo mucho con el otro día publicé en la newsletter un concepto que yo llamo la... Pluidez simbiótica con IA. Es un poco irse por las ramas, pero lo voy a pasar por si alguien quiere echar un vistazo. Un segundo, yo lo paso. Y va justamente sobre eso. Os paso el enlace. Habla justamente sobre eso, pero... Usar la guía para pensar mejor y para hacerte mejor. Es decir, como decía antes, paso el enlace. Yo no veo la guía como una herramienta, la veo como una capa del trabajo y creo que marca la diferencia. Es decir, la veo integrada en tu manera de pensar. Entonces, ¿puede haber un alumno que use la guía de esta manera? Pues sí. Pero también os digo que un alumno que no razone, que no sea capaz de justificar y tomar decisiones, es complicado que el resultado sea mejor que el de un alumno que entiende todo el proceso. Especialmente porque probablemente ese alumno que no ha sido capaz de justificar habrá obtenido un buen resultado en un caso concreto. Pero a lo mejor adaptándola a otro contexto con mayor dificultad o distinto, igual no es capaz. ¿Por qué? Porque a lo mejor no es capaz de ver los errores de la IA, de ser crítico, Consuelo y Vladek también, que ahí podríamos asumir que ambos han usado la IA, que el trabajo está bien y se podría premiar el que mejor haya aprendido. Sobre todo, creo que si no trabajas a nivel cognitivo, pues puede ocurrir eso, que eres muy hábil con herramientas de IA, pero es como si me pongo yo a lograr un proyecto de arquitectura. pues con las herramientas de ella que hay ahora, posiblemente algo podría hacer. Pero cuando hay algo que no cuadra, no soy capaz. No tengo el conocimiento para ser crítico con las respuestas erróneas. Entonces, eso es importante también que hagamos esa pedagogía, de hacer esa reflexión al alumnado y que entiendan por qué es interesante que... hacer esa trazabilidad del proceso y obligarse cognitivamente, ¿no? Aquí, pues, bueno, en esto de la fluidez cognitiva con IA, pues, hablaba de la ingeniería de contexto, que es trabajar con una guía, pero que tenga, que sepa cómo piensas, cómo sueles trabajar, etcétera, no solo con los prompts. A partir de ahí, deja de ser un chart y lo que haces es estar integrado en tu manera de trabajar, en tu flujo de trabajo. Después hay múltiples... Estrategias de trabajo, flujo de trabajo, dinámicas. Como os he comentado antes, el consejo de asesor. Si puedo tener cuatro expertos aquí detrás de mis orejas, criticándome y dándome ideas, ¿por qué no aprovecharlos? Si tuviera a alguien muy relevante de mi profesión al que pudiera pedirle consejo todos los días, lo aprovecharía. Pues con la guía, en muchos casos también. Siempre, como digo, siendo crítico y siendo capaz de detectar lo que no es. Correcto, ¿no? Y a partir de ahí, lo más importante es el criterio. Y para tener criterio tengo que ser capaz de tomar decisiones. Por eso, el alumno que tiene muy buen resultado puede acertar una vez, pero no en todos los contextos. ¿Vale? Vale, vamos a hacer ahora esta breve tarea. Escaneamos ese código. Ahora os pasaré también, bueno, un segundo, os pasaré también el enlace. Si queréis. Os paso el enlace detalle por el chat. Es un forms porque esta actividad la hubiese hecho muchas veces con un Word colaborativo, ¿vale? Pero como el grupo era bastante numeroso, pues hacerlo con un forms es más viable, ¿vale? Os paso el enlace. Vale, no firmadme que podéis acceder bien. Vale, sí que podéis, ¿no? Vale, os voy a decir una cosa. Voy a intentar dejar... Bueno, os voy a dejar el enlace de las evidencias. Os lo voy a dejar. Y el del sella. ¿Por qué? Porque, ¿qué vamos a tener que hacer en esta actividad? Vamos a tener que responder. ¿De qué asignatura o variable es docente? Describe brevemente una tarea. ¿Qué pides? ¿Cómo se entrega? ¿Y qué evalúas? ¿En qué nivel se ya estaría ahora esa tarea? Es decir, igual hace un tiempo, solo con el producto final, os servía, pero ahora se os ha quedado en un nivel 0 o 1. ¿Podría un alumno completarla con IA sin que te entere, sin que se note? ¿En qué nivel se ya te gustaría que estuviera tras el rediseño? Tras volver a darle forma a la tarea o actividad. ¿Qué evidencia añadirías? Aquí podemos echar un vistazo al de Evidence Hall, ¿vale? Podemos seleccionar alguna de las de aquí o podemos aquí en otras enumerar algunas. Al final tampoco nos interesa tener muchas evidencias por tarea o por proyecto, sino una o dos que sean clave. Si cambiáis algo concretamente o no y si hay algo que os impida hacer ese cambio ahora mismo, ¿vale? Tenemos ocho minutos para hacerla, ¿vale? Vale, no sé quién ha sido el primero en responder. Actualmente no les pido tareas con IA. Vale. Pero claro, no pedirles tareas con IA o no permito IA se traduce en que ellos no la usen. Ahí es el problema que tenemos ahora mismo. Y más si en muchos casos no asisten demasiado presencialmente, ¿no? Y vale, probablemente sí. ¿Cuál sería la reformulación o el rediseño? Decirles, vale, sí, podéis usar la IA, pero voy a haceros preguntas para que me justifiquéis por qué habéis decidido esto o lo otro. Vais a hacer alguna mini defensa o algo escrita. Os vais a mostrar primero ese borrador inicial sin IA que podemos hacer incluso en el aula y después lo vais a mejorar, ¿no? Vale, muy bien. Voy a ver si hay alguna tarea más extensa. Práctica en la que se evalúa el diseño de una fachada y el cumplimiento del código técnico de la edificación. ¿Lo veis bien o lo hago más grande? Se entrega en PDF en Moodle. Se evalúa el resultado y el proceso. Vale, meteríamos aquí un caso de transferencia, situación nueva. Se le podría también que lo realicen en clase con apoyo de la IA, por ejemplo, para justificación técnica. Miedo que usen ahí todo el proceso. Aquí va a ser interesante en clase tener una fase en la que no usen la IA y que entreguen este borrador inicial y después ya que la mejoren. Proyecto final que se entreguen al final del curso. Evalúo código de razonamiento en torno al proyecto. Uso libre, valor de frente a justificación. ¿Podría un alumno completar la...? Fijaros, voy a revisar una cosa, que en la pregunta 4 voy a ver el porcentaje. Pregunta 4. ¿Podría un alumno completar la simia sin que se note? Y entre sí, fijaros, entre sí y probablemente sí, más del 50%. Y asegurando que no, solo dos. Entonces también eso nos da información de la realidad que tenemos actualmente. Y las evidentes que más usaríais, preguntas de proceso, que justifique una decisión, que creo que es una de las claves, que descarte el... Que explique que descarto de lo que generó la IA. Defensas horarios escritas. Pues aquí, como he dicho, si es complicado hacer horarios individuales, podemos montar debates o actividades cooperativas o minijustificaciones más cortas. Transferir situaciones nuevas, etc. Vamos a ver alguna más individual. El salario de un navegador GPS. Realizan tres entregas. Memoria, presentación, realización de la presentación oral. Se evalúa el proceso y el producto a partes iguales. Número 2. Puede usar la exclusividad de decisiones. Probablemente no puede acceder a la comunidad sin que se note. Y en el de diseño estaría en el 3, pero tendríamos que exigir un caso de transferencia. Plantar una variación del enunciado para que haga los cambios necesarios para contemplarla. Esto es una de las principales claves también, o dificultades, el tiempo. Pero bueno, como digo, también es importante aprovechar la IA para las tareas más burocráticas o más de eficiencia y así tener más tiempo para esto. Modalización en programación, trabajo en aula para evaluar el proceso, exposición para evaluar el conocimiento, entrega de prompts y cómo lo han implementado en el trabajo. Muy bien. Es el 2, entregar los prompts usados, probablemente sí. Mira, dejaría ese al 1, haciendo dos fases, una en aula y una para el aula. Vale, creo que la verdad es que está bastante bien los ejemplos. Voy a ver este. Trabajo entregable donde deben realizar un código con ayuda de la IA y luego realizar un proceso de ingeniería inversa. Me quieren guiar por la IA. Comparar resultados con software existente. Necesitaría juntar código y un anexo de la IA con resumen de prompts y decisiones de criterios seguidos. Se evalúa un agente basado en un clódea con una rúbrica definida y literada y luego revisando casos puntuales. Bueno, aquí está el ejemplo muy, muy completo. Muy completo. Porque pides un montón de justificaciones de distintas perspectivas. Se va a hablar tanto del proceso como del resultado obtenido. Anexos. Una vez pides tantas justificaciones y anexos, si el alumno es capaz de completarla con ella sin que se note, pues a lo mejor ole. A lo mejor ole por él, ¿no? En mi defensa de la lógica, el volador inicial sin hija. Expeditar antes del trabajo de forma más clara la puntuación del criterio. También es importante hacer muy explícito al alumno cómo vamos a valorarle, qué exigencias o qué justificaciones vamos a pedirle. Bueno, creo que está muy bien. Como es anónimo, si te parece, Jessica, después cuando lo descargo y te lo paso por si quieres compartirlo y así ver algunas ideas. Puede haber algunas más genéricas, pero hay algunas que creo que sí que están bastante afinadas y pueden servir como ideas. Y antes de pasar a lo siguiente, que va a ser generar un agente de Compilo para dar feedback y ver también si es ético dar feedback o no con IA, que es otro tema también de debate. Antes de eso... Os paso esto, que lo mismo. La práctica que hemos hecho ahora con el Forms, muchas veces con grupos más limitados, la hago en un Word compartido y así todos lo vemos en directo. Ahora con tanta gente hubiese sido un poco caótico, por eso lo he hecho con Forms. Pero estoy preparando aquí como un pequeño estudio práctico para poder coger una tarea, llevarla aquí, analizarla, hacer un diagnóstico sella, ver en qué nivel estaría. Entonces, no está terminado, pero os lo paso porque así, si queréis, dentro de unas semanas cuando lo tenga ya actualizado, pues si a alguien le sirve, pues perfecto. Como digo, al final es simplemente como una herramienta para coger una tarea o proyecto y analizarlo, ver en qué nivel cuadraría más y ver qué nivel de supervisión tendríamos que asignarle y qué evidencias. Si consigo afinarlo, creo que puede quedar chulo y puede ser bastante útil. Y ahora, seguimos. Porque ahora vamos a un tema que también tiene su miga, que es el feedback. El feedback docente. Es un tema también muy prometedor porque consume mucho tiempo y bien hecho. Puede tener mucho impacto en el aprendizaje. La IA nos puede ayudar a arreglar comentarios, detectar patrones, preparar preguntas de defensa. Pero hay una línea que no debemos cruzar, ¿no? Que sería que la IA no debe sustituir la lectura docente ni decidir la calificación. Puede ayudar a preparar feedback, pero el feedback final lo firma el profesor. Lo mismo, no podemos delegar nuestra responsabilidad. Y aquí sí que he de comentaros un caso concreto. Estuve hace poco en Galicia en unas jornadas de su Consejería de Educación y las noches previas al Congreso tuve un debate con una profe de la Universidad de Mondragón, el País Vasco, que ella decía... Sabéis que la EIA, la ley de IA, establece una serie de usos y los tipifica según el riesgo que pueden suponer. Y bueno, sí que es verdad que muchas cosas relacionadas con el feedback las meten en alto riesgo. ¿Qué ocurre? Que esta profesora decía que no se podía usar la IA para dar feedback en ningún caso. Mi visión era un poco más. Que no se debería de usarla... la guía para calificar evidentemente, pero que a veces para ayudarme a ver aspectos de mejora que se me pueden escapar. Os pongo un ejemplo. Soy docente, algunos 300 alumnos me habéis dicho, corrijo un día 20 trabajos, en los 5 primeros puedo estar muy fresco, pero en los 5 últimos no. Entonces, yo creo que puede ser un buen recurso para que me ayude a ver a lo mejor algunos aspectos de mejora o puntos críticos, etc. Pero siempre Yo como docente, como profesional, soy quien coge esas ideas, las analizo, las valoro y decido si tienen sentido o no. Esa es un poco mi postura. El día siguiente en el Congreso, una de las ponencias la impartía la subdirectora de la AESIA, que fue inspector de Educación. Y luego en el café hablé con ella y le pregunté. No se quiso mojar. Me dijo que estaban elaborando una serie de guías que todavía no se habían publicado. Que esperábamos a que publicaran las guías. Aún así, ahí hay una línea gris. Y me explico. Voy a abrir... Hay una línea gris. Una cosa es la guía como apoyo en el feedback, que me ayuda a generar comentarios, que me ayuda a detectar errores, etc. Y otra cosa es que como docente delegue el feedback, que meta un trabajo, que me dé el feedback y que se lo pegue el alumno. Eso no se podría hacer. Pero hay una línea gris. ¿Por qué? Porque no es tan fácil contrastar eso, ¿no? Es decir, ¿cómo me aseguro de que un docente está haciendo bien en su trabajo? En ese sentido, mirad, lo tengo aquí. La idea es en fase preparatoria o la diferencia es si lo uso en fase preparatoria sería viable. Si lo uso para delegar, para calificar, para tomar decisiones que después puedan afectar al futuro del alumno, ahí no sería viable. Por lo tanto, yo creo que se puede usar, que como digo, cuando terminen de salir estas guías, pues ya veremos exactamente lo que marcan, pero en principio, en relación a la fase preparatoria, para darle la información al alumno de cómo puede mejorar, etc., sí que podríamos aprovecharlo y siempre sin delegar. Pues mirad, para generar variantes de un comentario, para detectar patrones de un grupo de trabajo, preparar preguntas para una defensa futura, proponer una estructura de devolución, reformular un feedback propio para que sea más socrático... Identificar qué aspectos del trabajo no se han evaluado aún, etc. ¿Para qué no? Generar la nota y su justificación. Sustituir la lectura del trabajo por el profesor. Personalizar el feedback sin haberlo leído antes. Decidir si es una entrega auténtica o fraudulenta. Aplicar criterios que el docente no ha validado o emitir feedback final sin revisión humana. No sé si queda bastante claro. El problema sería la línea gris que hay entre medias y que tiene que quedar clara y que veremos las directrices que nos van dando. Ahora sí, ¿cómo podríamos preparar un agente que nos ayude con el feedback? Pues bueno, Vale, a ver, voy a echar, Carmen, a puerta. Soy agente de inglés y en este ámbito se está implementando la corrección automática de las pruebas de producción oral y escrita de pruebas de dominio oficiales. Por ahora se combina con la corrección humana, pero se van caminando a la corrección automática. ¿Estaría esto condicionando la ley? A ver, la ley habla de que en estos casos tiene que haber una trazabilidad máxima. Ahí tú puedes hacer unas auditorías y tiene que estar todo muy bien trazado y... que se puede contestar muy bien. Entonces, en ese caso, entiendo que si se está realizando, pues la institución se habrá asesorado de qué tipo de uso de la IA es ese, pero como digo, a ver si encuentro... Sí, la ley, la ley, un segundo, a ver si encuentro... Bueno, dame un segundo y os muestro una diapositiva que tengo de otra sesión. Dame un segundo. También es verdad que la AI Act, bueno, en un primer momento se iba, se publicó en un primer momento, se iba a implementar y a implementar también todo lo relacionado con las multas y las sanciones y se ha ido posponiendo. [Orador 1]: Un segundo, a ver cómo... [Orador 3]: Tengo aquí una diapositiva que muestra los niveles. Una. Esta sería una. Y esto. Esta sería una. Y vemos aquí, por riesgo mínimo, herramientas de apoyo sin impacto, traductores, correctorios ortográficos, filtros de búsqueda, subtítulos... Buenas prácticas y supervisión pedagógica es la buena práctica, o sea, la obligación que tendríamos. Riego limitado. Elementos generativos o conversacionales, pues salvo los educativos, asistentes de IA, generación de imágenes, textos o vídeos. Obligaciones, informar siempre de que se interactúa con IA, requieren de supervisión e integración de un plan de IA. Alto riesgo. Sistemas que afectan a decisiones educativas relevantes. IA para admisión o acceso educativo. evaluación automatizada, predicción de fracaso escolar, orientación académica automatizada, detección de riesgo conductual. Ahí sí que tiene que haber una supervisión humana obligatoria, evaluación de impacto, trazabilidad, revisión de protección de datos, registro de uso, etcétera. Entonces, todo eso tiene que estar muy bien cerrado antes de hacer ese tipo de usos. Y después prohibido son sistemas de reconocimiento de emociones, etcétera. Por ejemplo, en una entrevista de trabajo, No podríamos analizar los gestos de la persona tratando de interpretar sus emociones, si está mintiendo, si no, o tal. Eso directamente prohibido, ¿vale? También, evidentemente, a nivel de deepfakes, etcétera, ¿no? A ver, que me metí, así que... Propiedad intelectual, los trabajos... Sí, también. Claro, aquí también, una de las cosas que, cuando debatí con esta profesora, una de las cosas que hablábamos es que, también ella comentaba que por propiedad intelectual no podías subir trabajos a ciertas herramientas, trabajos de los alumnos. Claro, aquí también, pues como siempre, depende. Si la herramienta es una herramienta corporativa, sabéis que podéis hacer uso de Copilot o en breve de Gemini también. Me ha confirmado Jessica. No sé si ya o en breve. Pero siempre herramientas corporativas. ¿Por qué? Porque son las herramientas con las que tenemos un acuerdo y nos aseguran que no se va a hacer uso de nuestros datos ni para entrenamiento del modelo ni se van a hacer a terceros. De hecho, si accedemos a... acopaylo, si hacéis acopaylo, nos aparecerá algo similar a esto, ¿no? Y nos aparecerá un escudo aquí verde, aquí en la esquina superior derecha. Y ves que dice, protección de datos de empresa. Y si hacemos clic, nos muestra... bueno, lo que comentaba, que Microsoft respeta nuestra información, que no van a usarla para entrenar a sus modelos, que no van a acceder a terceros, que respetan el esquema nacional de seguridad, etc. ¿Vale? Entonces, siempre que metamos datos sensibles de alumnos, etc., que no se nos ocurra usar el chat GPT o Cloud, etc. Aunque sea tentador, aunque trabajemos en el día a día con Cloud, por ejemplo, no para datos de alumnos o datos sensibles de la organización, siempre herramienta corporativa. [Orador 2]: ¿Vale? [Orador 3]: Eso es imprescindible. Bueno, esto un poco para hacer una idea, ¿la ley cuál es? La ley es la EIAC. Lo podéis buscar, pero lo puedo pasar, si queréis, la busco un segundo y la paso. Vale, aquí está el texto oficial, todos los capítulos, lo dejo ahí. Pero bueno, ahí está toda la paja y todo muy extenso. Os recomiendo, por ejemplo, que cojáis Notebook LM y que se lo metáis y que os ayude a analizarla, que os genere un podcast o que os genere una infografía sobre ella. Más cosas... Sobre el tema del feedback, pues sí que nos puede ayudar para conocer esos concretos y vamos a ver cómo lo haríamos con Copilot. Comentadme por el chat, ¿habéis usado agentes de Copilot? [Orador 2]: Pues habrá gente que sí y gente que no, pero institucionalmente de momento no lo hemos promocionado mucho. [Orador 3]: Vale. Vamos a hacer una cosa. Voy a mostrar un ejemplo con Copilot y después lo vamos a adaptar a Gemini porque como también vais a tener acceso a Gemini a nivel corporativo, ¿vale? Entonces, es muy fácil. Cogemos aquí en Copilot y le damos al nuevo agente. ¿Veis? Nuevo agente, le damos. Le damos a mis agentes, pues vemos algunos que ya tenemos. Y si le damos a crear, me dice, vale, describe el agente que deseas crear. O puedo saltar a configuración. Voy a ir a configuración y aquí tengo dos pestañas. Esto me lo han cambiado. Hasta hace dos semanas estaba al contrario. También me encontraréis con un tipo de herramientas que van evolucionando muy rápido. ¿Qué haremos aquí? Podemos hacerlo de dos maneras. Podemos hacerlo desde configurar o directamente desde aquí, desde la izquierda. ¿Cuál es la diferencia? Yo desde la izquierda puedo configurarlo hablando. Es decir, puedo decirle, genera un agente para elaborar feedback a partir del trabajo del alumnado universitario. Bueno, le daría toda la información. Si os fijáis, veis aquí que pone instrucciones y está en blanco. Pues ahora veréis. Ahora, a partir de lo que yo le he dicho, él mismo, ¿veis? Se ha actualizado. Se ha creado un agente feedback académico que elabora retroalimentación constructiva para trabajos universitarios. Ahora incluye instrucciones detalladas, conversaciones, tratos específicos, enfoque académico. Vale, si me vengo aquí a configuración veo que ya está. Instrucciones propósito, la agenda está diseñada para analizar trabajos presentados por estudiantes universitarios y generar retroalimentación constructiva que promueva el desarrollo académico. Directriz de generales, utiliza un tono profesional, empático y motivador. Mantén la retroalimentación clara y precisa orientada al crecimiento. Evita comentarios despectivos o ambiguos. Habilidades, identificar fortalezas y aspectos destacados en el trabajo del alumno de tal área hasta tal. Instrucciones paso a paso. Analiza el contenido, resume las ideas principales, valora el enfoque, señala puntos fuertes del trabajo, aportando ejemplos, identifica aspectos que requieran mejora o mayor profundidad, sugiere acciones, recursos o estrategias. Manejo de errores y limitaciones. Si el trabajo es insuficiente, invita al estudiante a aclarar o meter la información. Si acepta sus dudas en el planteamiento, claro. Aquí, si os fijáis, lo ha enfocado muy directo a darle directamente la información al alumno. Para hacerlo correcto, le diría... El feedback no va dirigido directamente al alumno, sino que vas a ayudarme a que yo sea quien decida. ¿Veis? Ya lo ha actualizado. Está actualizándolo. ¿Veis? Resume medidas principales. Elabora listas de fortalezas detectadas. Indica las áreas donde se podría mejorar la profundidad. Proporciona varias sugerencias de retroalimentación que el docente pueda adaptar o seleccionar. Ahí sí que tendría más sentido. Recomienda recursos, estrategias o preguntas para enriquecer el feedback. Si el trabajo es insuficiente o ambiguo, pide al docente más contexto. Si surgen dudas, propon preguntas al docente para aclarar el enfoque. Lo estamos ahora configurando más para que tenga sentido a la hora de que siga siendo el docente el que decide. Y podría incluso aquí subirle información. ¿Qué ocurre? Que Microsoft, por temas de privacidad, etcétera, pues no nos deja subir archivos directamente aquí a la gente. ¿Vale? Sino que nos pide que lo subamos desde una URL, etcétera. ¿Vale? Entonces ahora os mostraré con Gemini que sí que podemos subir directamente archivos. Y bueno, ¿qué haríamos? Ahora podría probarlo. Podría probarlo. Y cogería y subiría aquí el documento del alumno, por ejemplo. Y... Voy a coger... No tengo ninguna mano. Pero bueno, cogería un trabajo, una memoria de práctica de un alumno, lo subiría y me daría ideas de aspectos de mejora. Y después yo como docente decido. Alejandro pregunta, ¿podríamos darle la URL de nuestra nube? Probando, porque dependiendo de la institución, deja o no deja. ¿Vale? A ver, los agentes de Copilot son bastante limitados con la licencia básica. Eso también me cabe decirlo. Yo recomiendo que lo probéis porque dependiendo de los permisos de la organización, del tipo de licencia, etcétera, deja hacer unas cosas u otras. Alternativa. Si en Copilot no nos deja subir un archivo o conectarlo a un directorio o lo que queramos hacer, pues en este caso tenéis la alternativa de Gemini. Bueno, Simplemente, una vez ya lo voy probando y veo que me gusta cómo funciona, le doy a crear. Le doy a crear, que me crea mi agente. ¿Y qué es lo bueno de esto? Que ya lo tengo para siempre. No tengo cada vez que explicarle quién soy, cómo doy el feedback, en qué asignatura, etc. Entonces, yo aquí, cuando veo todos mis agentes, ya tengo aquí el de feedback académico, ya lo tengo aquí preparado. Hago clic. Y ya estoy directamente dentro del pará. para usarlo. ¿Vale? ¿Qué haría ahora? Pues me voy a Gemini y en Gemini hay un apartado que pone Gems. ¿Vale? Igual difiere un poco porque esta es mi cuenta personal y la profesional igual difiere un poco, pero os aparecerá un apartado que pone Gems. Los Gems son los agentes de Gemini. ¿Vale? Esto es muy similar. Venimos aquí, le damos al nuevo Gem Por ejemplo, mirad, aquí creó uno en un congreso de innovación educativa en la Facultad de Economía de la Universidad de Valencia y lo que hicimos fue que tenían que presentar proyectos de innovación a una convocatoria. Entonces, ¿qué hicimos? Pues subirle la convocatoria, subirle la plantilla del proyecto, etcétera, y les ayudaba a preparar esos proyectos. En este caso, le daremos el nuevo gem y aquí hay una diferencia. Y es que Gemini no tiene, recordad que Copilot tenía el apartado de conversar con el agente directamente para crearlo. Aquí habéis visto que comentando ya me servía y él mismo se configuraba. Gemini eso no lo tiene. Tengo que configurarlo yo. ¿Qué alternativa tengo? Me abro otra ventana de Gemini y le digo actúa como un ingeniero de PROMS, experto en configurar instrucciones para agentes. Necesito un agente que me ayude a ofrecer feedback a alumnado universitario a partir de sus actividades. me darás ideas y yo decidiré en última instancia. Necesito las instrucciones para configurar un agente. Entonces, ahora, este chat de Gemini me configura las instrucciones. ¿Veis? Te ofrece tres enfoques. Me ofrece tres opciones. La primera, un mentor socrático, no da respuesta correcta ni te lo dice directamente, señala algunas del argumento del alumno y le hace preguntas desafiantes, elevador por rubrica analítica o revisor profesional, revisor de pares. Entonces, pues yo, pues, cogería la que quiera. En este caso, eh... Voy a decirle del profesional. Y me va a dar ese producto de instrucciones que voy a subirle. La copio. Me vengo a Yemin ayer. Le pongo aquí. Y va a Profesional. Podría ponerle una descripción, que no voy a ponerle ahora. Le pego las instrucciones. ¿Y ahora qué haría? ¿Veis aquí que pone conocimientos? Donde pone conocimientos le darían más. Subir archivos. Aquí podría subir, por ejemplo, o más con texto diciéndole quién fue, cómo trabajó y tal. O podría subirle, por ejemplo, una rúbrica. A lo mejor. ¿Vale? ¿Vale? la rubrica de la asignatura o del trabajo, para que detecte esos aspectos de mejora, ¿vale? Lo voy a subir desde aquí, más, subir archivos. Lo probaría aquí en vista previa y cuando ya lo tengo, le doy a guardar y ya tendría ese gem, ¿vale? Y me vendría aquí mi apartado de gems y ya tengo aquí todos mis gems preparados, ¿vale? Otra opción, ¿qué puedo hacer con un gem o con un agente de Copilot? Pues crearme uno, por ejemplo, que genere rúbricas. Crearme uno que genere rúbricas y cuando tenga una tarea de la que hemos visto aquí, podría decirle, elabora una rúbrica para valorar este apartado concreto de este tipo de trabajo y que me valore la rúbrica. Y le digo que las rúbricas me las entregue en formato Word o en formato Excel, etc. ¿Vale? ¿Cómo lo haríamos? Bueno, fácilmente le diría ahora. Fijaros, por ejemplo, puedo decirle ahora necesito las instrucciones para generar un agente que genere rúbricas de evaluación adaptadas a mi contexto o actividad concreta. Me debe preguntas sobre el tipo de tarea, proyecto. Y me lo entregará en formato de tabla, un box. Ahora cariño, cogeré esas instrucciones, me iré al gem, me voy a eliminar este, voy a ponerle generador de rúbricas, cojo ahora el prompt, lo pego, y ahora aquí voy a decirle, por ejemplo, elabora Una rúbrica para presentaciones forales en trabajos finales de máster. Evidentemente aquí, ¿qué falla? Debería dar mucho más contexto. ¿Qué tipo de máster concreto? ¿De qué manera trabajamos? ¿Qué puntos son los que solemos tener en cuenta? Siempre la clave, no sé, pero la clave es el contexto. Ahora que me está preguntando, ¿para poder diseñar una rúbrica analítica Perfectamente adaptada a su contexto, necesito que concretemos algunos detalles. ¿De qué área de conocimiento o titulación es el máster? ¿Qué competencias clave deseas priorizar? ¿Te parece adecuado esta escala o prefieres otra? La de insatisfactorio, en desarrollo, complemento, excelente. Ponderación. ¿Tienes predeterminada cada porcentual que representa la diferencia ahora sobre una tabla del TCM? Claro, yo le daría toda la información, la daría a guardar y cuando le pida la rúbrica me daría una tabla, en este caso, en Word, con esa rúbrica, ¿vale? Que, como digo, lo que puedo hacer es decirle que me lo da ante las actividades, que en este caso... será que a la hora de darse actividad y que seleccionen uno de los niveles 6, pues puedo pedirle una rúbrica concreta para un apartado donde pueda solicitar una microevidencia. Por lo tanto, creo que algunas de las conclusiones que deberíamos traer son que Hay que rediseñar la evaluación sí o sí, porque el paradigma ha cambiado. Es muy fácil para los alumnos hacer el trabajo copiando y pegando desde la IA de manera muy simple, sin hacer apenas el esfuerzo para ellos. Es decir, la IA no obliga a abandonar la evaluación, pero sí revisar qué inferencias hacemos sobre el producto final. No todas las tareas son igual de frágiles, así que hay que identificar las que necesitan más proceso, más defensa, más transferencia. La guía puede ayudarnos a dar mejor feedback, pero el juicio docente no se delega, eso es clave. Y por último, muy importante, y creo que está trabajando en ese sentido con gestiones de buenas prácticas, con estas jornadas, etc., hay que pasar de la reacción individual a marcos compartidos, recursos, criterios institucionales. Al final, la pregunta última no es si la IA está presente, sino si podemos seguir verificando aprendizaje con evidencias válidas. Y lo que no puede ser es que un alumno entre al aula con un profesor y puedo hacer unas cosas con Ian y entrar a hablar con otro profesor y que puedo hacer todo lo contrario. Es decir, creo que tiene que haber ahí... En mi opinión personal, uno de los objetivos principales sería... Que a medio plazo haya una cultura institucional que si le preguntas a un directivo, a un docente o a un alumno, todos no te contesten de manera textualmente idéntica, pero que todos te contesten de manera muy similar a la hora de explicar qué usos de la IA se permiten, no se permiten y por qué en la UPM, en este caso. A ver si tenéis alguna pregunta o una cuestión. [Orador 1]: Muchas gracias, Vicente. No sé si he visto ahora por aquí alguna reciente... Se ha animado antes mucho, pero ahora... Aquí hay nuevas. Bueno, solamente son agradecimientos. [Orador 2]: No sé, Fernando, si quieres... Sí, no, no, vamos, quiero decir... Ya ha habido mucha participación durante toda la sesión. Imagino que ya estamos todos con un poquito de hambre y los comentarios que están entrando ahora por el chat son de agradecimiento. Bueno, yo me quiero unir a esos comentarios de agradecimiento, Vicent. Creo que nos... Nos has aterrizado bastante. Yo me he tenido que salir media horita o así porque tenía otro compromiso. Pero bueno, he sido capaz de reengancharme sin demasiados problemas. Bueno, creo que a mí me alegra haber escuchado tu charla porque creo que estamos en el camino que nos has planteado. Creo que como institución tenemos que empezar a tomar... a dar pasos, digamos, como decirlo, generales, compartidos, y creo que estas jornadas que vamos a organizar nos pueden ayudar mucho. Y nada, pues agradecerte, te tenemos identificado, sabemos dónde vives, y si nos surgen cuestiones en el futuro, pues contaremos contigo en algún momento y trataremos de... de que sigamos colaborando y estando en contacto, porque creo que al final el problema es de cada institución, pero todas las instituciones a su vez es el sistema educativo español y lo podemos ampliar a Europa, etcétera, etcétera. Entonces, bueno, agradecerte tu visión, el haber compartido tus experiencias y, pues nada, por nuestro lado seguimos en contacto y cualquier cosa que necesites de la UPM, pues ya sabes dónde estamos. [Orador 3]: Muchísimas gracias, ha sido un auténtico placer y encantado de estar con vosotros. Y nada, simplemente comentar que si a alguien quiere durante las próximas semanas se le ocurre algo, tanto alguna pregunta como contarme alguna experiencia, yo encantado porque me encanta ver ideas para después poder ligarlas y estar para los otros contextos y que en todas las redes me podéis encontrar, en LinkedIn o en la newsletter o en X en Twitter. pues a quien quiere mi correo, que cualquier idea o experiencia que queráis comentarme, yo encantado. Y como vosotros ya sabéis, que colaborar en lo que sea. Muchas gracias. [Orador 1]: Nos pasas cuando puedas, Vicente, en el forms, que le vamos a dar un vistacillo. [Orador 3]: Que ha salido por ahí. Muchas gracias. [Orador 2]: Pues nada, muchas gracias a todos. Nos vemos en la próxima, que no sé exactamente cuándo es, pero dentro de muy poco. Mañana mismo. Pues mañana nos volvemos a ver. Un abrazo a todos. Hasta luego.