Buenos días a todos, todas y nada, gracias seminario, este nuevo lunes. Bueno, hoy el tema creo que es muy necesario para todos y es el tema de la inteligencia artificial y la evaluación. en mi opinión, un poco lo que ha removido los cimientos en muchos sitios, ¿no? Y ahora cómo vamos a evaluar si es fácil saber si las cosas están hechas con él o no. Y para hablar de esto hemos invitado a Daniel, a Dani, que es un viejo conocido de innovación educativa y ha participado en mogollón de cosas y creo que es autor del primer informe que se hizo de temas de IA aplicadas a la enseñanza. Ha participado en, yo creo, todas las cosas que hemos organizado. Le hemos vuelto a invitar y, gentilmente, ha dicho que sí. Así que, nada, gracias, Daniel, por participar y por siempre echarnos una mano con estas cosas. Le paso la palabra al que es el protagonista de hoy, Daniel. Todo tuyo. Pero nada, a ver todo lo que eres capaz de contarnos para que aprendamos muchas cosas. Venga, adelante. Bueno, muchas gracias Fernando, Jéssica, Sonia, por invitarme a participar en este ciclo de charlas del Primavera Tech. Y gracias por organizar tantas historias que son muy necesarias hoy día en estos tiempos compulsos de la IAEA. En el taller de hoy lo que vamos a hablar sobre todo es de cómo crear materiales de evaluación Con la asistencia de la inteligencia artificial. El taller, al estar en un ciclo de conferencias, pues bueno, creo que tenga relación y quiero relacionarlo con otros talleres previos que habéis visto relacionados y que son muy interesantes. Y a la vez quiero que el taller sea autocontenido y que por sí mismo sea algo que sea plenamente de utilidad para el asistente o para la persona que luego lo pueda ver en su casa. Entonces, va a haber una primera parte de fundamentación. Vamos a hablar un poquito de inteligencia artificial, de los cambios que ha supuesto, qué tecnologías tenemos en general disponibles y dentro de la UPM. Estos aspectos son básicos porque este taller, tal y como anunciamos, está centrado en las tecnologías que tenemos disponibles en la universidad. Luego veremos por qué. Y hablaremos un poquito de prompting y de las herramientas generalistas, los conceptos más básicos. Y esta es la fundamentación clave que nos va a servir para que todo el mundo, aunque no haya asistido a un taller anterior, pueda seguirlo y sacar aprovechamiento al taller. Y luego nos vamos a centrar en cómo crear materiales de evaluación. Empezaremos por cuestionarios de autoevaluación, luego iremos a ejercicios más complejos, como exámenes, prácticas y demás. Luego hablaremos, mencionaremos brevemente algunos recursos de autoevaluación con herramientas como Notebook LM, que recientemente ha adquirido la universidad. Y finalizaremos con cómo usar agentes inteligentes como un material de evaluación, cómo podemos hacer que los agentes sean un material de evaluación. Nos vamos a centrar en estos aspectos. La primera parte un poquito más teórica, la segunda mucho más práctica directamente con herramientas. Pero la fundamentación es esencial porque no podemos empezar a usar herramientas como pollos sin cabeza sin saber realmente qué estamos haciendo y qué queremos perseguir realmente. Si nos centramos en la fundamentación... El primer dilema que todo el profesorado nos planteamos es, oye, ¿la IA es una aliada o es una enemiga? Y sin duda, pues hombre, hay cosas en las que es una enemiga, sin duda alguna. Hay momentos, yo cuento siempre una batallita de una práctica de cosas de programación en la que le dijimos a un alumno, hombre, qué bien te ha salido esto, has usado aquí un Patron Factory. Y el alumno me miraba como las vacas al tren, no sabía muy bien, parecía el comentario, no lo entendía. Y le digo, sí, sí, que has usado aquí un Patron Factory. Y el alumno realmente es que no sabía que lo había usado, que era una excelente idea. Entonces, claro, ya le terminé diciendo, oye, ¿lo has hecho tú o te ha ayudado alguien o algo? Me ha dicho, bueno, le pido un poco de ayuda hasta el GPT. Entonces, claro, en esos momentos para mí la IA sin duda alguna es una enemiga. O sea, es una enemiga porque puede dinamitar el proceso de aprendizaje de mis estudiantes. Como decía Fernando en la presentación, los temas de evaluación, todo lo que sea, entrégame un informe de algo. Como no vaya acompañado de una prueba oral, es muy complicado asegurar que el estudiante ha aprendido. Antes tenías una idea de si el estudiante ha sido capaz de resolver esta práctica y entregarme esta memoria. pues parece que algo habrá aprendido, pero es que ahora podemos recibir trabajos excelentes en los que simplemente el estudiante se lo ha subcontratado a la IA de turno y entonces ahí claramente la IA es un enemigo. Claramente ahí la inteligencia artificial es algo que lo que hace es dinamitar el proceso de aprendizaje. Sin embargo, también, en contraposición, también puede ser una liada. ¿Por qué? Porque, básicamente, yo, por ejemplo, si quería actualizar unos apuntes, pues hace unos años a lo mejor tenía que estar, para hacer lo que yo consideraba un buen trabajo, tenía que estar un mes todas las tardes con ello. y ahora en una semana lo tengo hecho. O para redactar un banco de preguntas de 200 preguntas de tipo test para que mis estudiantes practiquen, antes tenía que estar una semana, ahora puedo estar una tarde. Entonces, claro, sin duda alguna, la IA en el proceso de evaluación tiene esas dos facetas. Por un lado, ayuda a los estudiantes, o sea, puede ayudar superficialmente a los estudiantes a entregar un trabajo, pero realmente es un perjuicio porque no les ayuda a aprender. Sin embargo, también es una aliada porque me ayuda a mí a potenciar mi desempeño, a ser más eficiente, a hacer más cosas de más calidad y más rápidas. Entonces, aquí tenemos este dilema, yo creo, que todos los profesores y profesoras de, bueno, por un lado, maldita la hora en la que llegó la inteligencia artificial y, por otro lado, bendita la inteligencia artificial que me ayuda a hacer muchas cosas. Entonces, este dilema que nos planteamos, ¿cómo lo vamos a abordar en el curso? Bueno, Vamos a trabajar para que la IA sea nuestra aliada, vamos a ver cómo podemos crear materiales de evaluación de forma más rápida, más eficiente, de mayor calidad y vamos a tratar de concienciar a los estudiantes de la deuda cognitiva que esto puede generar. Si nos paramos a ver un poco, oye, si la IA nos ha venido bien o mal, puede haber profesorado que diga esto nos va a terminar sustituyendo porque ya la IA les va a servir para enseñar a los estudiantes y además la IA tiene mucha razón siempre en todo lo que dice. Bueno, todo esto realmente yo creo que es bastante falso. La inteligencia artificial no es capaz de enseñar por sí sola. Además, ocurre una cosa, no sé si os habréis dado cuenta en vuestra experiencia, cuanto más sabes de un tema, más eres consciente de todos los errores que comete la IA, de todas las alucinaciones, de todas las imprecisiones. Entonces, claro, ¿qué es lo que ocurre? Que no es casualidad que justo la IA alucine sobre lo que tú sabes. No, no, en general la IA alucina. Y si tienes conocimiento del tema, pues eres capaz de detectar esas alucinaciones y si no, no. Entonces, claro, para aprender algo nuevo es una herramienta muy, muy peligrosa. ¿Por qué? Porque es que no sabes si lo que estás aprendiendo es adecuado o no. Cuando hace unos años aprendías, o bien de libros, de... de tus profesores y demás, pues, hombre, das por hecho que lo que está publicado en un libro o lo que te cuenta un profesor universitario, pues, lógicamente, tiene conocimiento del tema y es cierto. El problema es que con la IA cada mensaje, si os fijáis, tiene abajo lo de la IA puede cometer errores. Revisa el contenido. Realmente, la labor del profesorado es ya no solo tan importante como antes, yo creo que todavía más importante porque los estudiantes pueden tener la sensación de falsa seguridad con estas herramientas y lo que tenemos precisamente es que enseñarles conocimientos y fundamentos que les ayuden a guiar a la IA y que les ayuden a identificar los errores de la IA. Por otra parte, Muchos profesores podemos pensar, oye, es que si usan la IA es trampa. Cuando luego, seamos honestos, muchas veces nosotros también utilizamos la inteligencia artificial y cuando los estudiantes que tienen ahora 18, 20, 22 añitos, van a estar usando muy probablemente la IA el resto de su carrera profesional. Entonces, ¿por qué no ayudarles a aprender a usar la inteligencia artificial? ¿Por qué no hacer un uso responsable de la IA, concienciarles de los problemas que tiene y ayudarles a usarlo como una herramienta más? Igual que hace años yo por lo menos les enseñaba a buscar cosas tan sencillas como a buscar bien en Google o a buscar una buena respuesta en Stack Overflow, cosas de este estilo, ¿por qué no enseñarles también a usar la IA y a integrar la IA? Claro, esto es muy trabajoso. Yo siempre cuento la batallita de unos estudios que hemos hecho, que están publicados en revista, que es sobre una asignatura en la que las prácticas, los estudiantes, el examen lo hacen con internet y con cualquier inteligencia artificial gratuita. Yo les dejo que lo hagan así el examen. Y en las clases dedico sesiones a cómo usar la inteligencia artificial para ayudarles a resolver aspectos de la práctica, para identificar alucinaciones, cómo proporcionarles fuentes fiables para que la información que les dé tenga menos probabilidad de alucinaciones... Claro, esto lo complicado es que tienes que poner un examen que CharGPT o Gemini o Copilot no sepan resolver. Entonces, claro, tiene también una dificultad para el profesorado. No obstante, el pensar que, oye, si usan la inteligencia artificial ya están haciendo trampa por sí mismos, no tiene por qué. Pueden usarlo para que la IA sea un copiloto que les ayude a pensar más y mejor y a plantearse cosas. Esto es algo más filosófico que yo quería también, ahora al inicio de la sesión, prestar atención. Oye, que podemos tratar de integrar la inteligencia artificial con nuestros estudiantes y concienciarles de la problemática que tiene. Luego, desde luego, otro mito en el que podemos pensar es que esto de la inteligencia artificial es para expertos, para informáticos... No, nada más lejos de la realidad. Nada más lejos de la realidad. Son herramientas muy intuitivas, muy accesibles. Cualquiera las puede usar. Lo que hace falta es tener ciertos conocimientos de prompting, de cómo pedir las cosas a la IA... Pero también lo que hace falta sobre todo tener son conocimientos sobre el tema. Si yo, por ejemplo, le pido a este LGBT que me ayude a operar a corazón abierto, no voy a poder hacerlo porque no he estado diez años estudiando medicina. Sin embargo, si le pido que me ayude a hacer un programa informático, siendo yo ingeniero informático, pues quizá me venga muy bien. Lejos de que la IA es algo para expertos, no, hay que tener unas nociones, unos conocimientos de cómo funciona, pero realmente lo que hace falta es ser experto en tu propio campo y que la IA sea este copiloto. Claro, uno dirá, pues aquí el ponente, claro, ¿qué va a decir? Que la IA es maravillosa y que todos estos mitos, que no, que los destierra y es todo bueno. No, no, nada más lejos de la realidad. O sea, la IA, claro, que aporta unas ventajas, pero tiene unos riesgos. Los primeros, por ejemplo, las brechas entre estudiantes. Era habitual, pues cuando yo estudiaba, era muy habitual que había estudiantes, por ejemplo, que se podían permitir una academia universitaria y otros estudiantes que por la tarde tenían que trabajar para sacarse un dinerillo. Entonces, claro, estas brechas económicas que existían antes, pues siguen existiendo ahora. La cuestión es que, bueno, pues ahora puede ser el pagarse una cuenta pro, que las hay de 100, 200 dólares al mes, o tener una cuenta gratuita en la que puedes hacer más bien poquito. Entonces, claro, estas brechas pueden existir y por eso es tan importante lo que está haciendo la universidad de tener herramientas como Copilot, como Gemini, que permiten que todo el estudiantado tenga acceso a modelos de frontera, modelos muy buenos. Luego también hay que tener en cuenta, entre otros riesgos, pues todo el tema de los sesgos comunitarios. La pérdida de privacidad, aunque por eso también es importante tener modelos institucionales, herramientas institucionales. La copia, el plagio. Esto es quizá una de las cosas que más nos preocupa al profesorado, como se estaba diciendo antes al hilo de que era hacer trabajo, no era hacer campos, arlaías. Pero a mí lo que más me preocupa, que el cartelito este de Zoom no deja que se vea bien la palabra, pero bueno, es la deuda cognitiva. La deuda cognitiva a mí es lo que más me preocupa. O sea, lo que me preocupa es que los estudiantes que cada vez piensen peor, piensen menos y que al final cuando subcontratan las tareas que deberían hacer ellos a una inteligencia artificial lo que están generando es una deuda cognitiva. La duda cognitiva, que es un término acuñado por investigadores del MIT, lo que nos viene a decir… Bueno, hicieron un estudio, como podéis ver en pantalla, en el que se apreciaba cómo las personas que hacían una serie de tareas por sí mismas tenían un grado de activación neuronal bastante alto. Si usaban internet tradicional, digamos… razonablemente alto, y cuando usaban modelos grandes del lenguaje, esa actividad neuronal empezaba a bajar. ¿Qué es lo que ocurre con esta duda cognitiva? Pues hombre, no hace falta irse a investigadores del MIT y estudios de renombre. No, no, si tú ya sabes que si usas la calculadora para sumar 100 más 175, pues si usas la calculadora para esa operación, pues a largo plazo, ¿qué es lo que va a ocurrir? Que ya no sabes sumar. Que no sabes ni lo más básico, ni sumar. O si usas el GPS para irte del campus sur al rectorado, cuando es un camino que has hecho 30 veces y sabes perfectamente cómo se hace, pero aún así usas el GPS y vas mirando todo el rato el GPS, ¿qué es lo que ocurre? Pues que la parte de tu cerebro que se dedica a la orientación empieza a deteriorarse. Es al final como un músculo que lo dejas de usar. Esta deuda cognitiva a mí de verdad es lo que más me preocupa de la inteligencia artificial, del uso que hacen de los estudiantes, que cada vez pueden tender, si lo usan mal, a escribir peor, a razonar peor, a calcular peor, una dependencia excesiva. Y esto es lo preocupante y lo menciono porque creo que es importante también concienciar a los estudiantes. Yo la experiencia que estoy teniendo es bastante positiva. Cuando a los estudiantes se lo explicas con términos sencillos y llanos, con ejemplos como el de la calculadora o el GPS, ellos se dan cuenta de que, oye, es verdad, si esta práctica que me manda el profe llego, se la pido a una IA y la entrego, realmente no me he entrado de nada. Luego llegan a un examen presencial y, claro, los suspenden. Y te puedes encontrar alumnos con un 10 en la práctica y un 1 en la teoría, que dices, hombre, claramente esa práctica... La madera no ha cogido el barniz, esa práctica no la has hecho tú, esa práctica realmente la has subcontratado y no has aprendido, que era lo realmente importante que estábamos buscando. Entonces, este tema de la deuda cognitiva, en este taller que hablamos de materiales, está orientado a la creación de materiales de evaluación. Pero conviene hablar del proceso de evaluación en general e incidir en que, oye, importante concienciar a los estudiantes para que ellos mismos y ellas mismas sean capaces de afrontar las tareas y que no sea solo esa necesidad de, venga, entrego la práctica y ya tengo la siguiente, la siguiente, sino que no se trata de entregar prácticas y trabajos, se trata de aprender. Y para el proceso de aprendizaje, pues hoy día al final las pruebas complementarias, pruebas orales o exámenes tradicionales son esenciales. Bien, con esto concluyo la parte de introducción, la fundamentación más teórica y más pedagógica. Luego podemos empezar a plantear, oye, ¿qué tecnologías tenemos disponibles? Bueno, pues esto todo el mundo lo sabemos. Tenemos ChatGPT, que sigue siendo el líder global de la inteligencia artificial. Normalmente cuando te dicen un sistema operativo piensas en Microsoft, cuando te dicen un buscador piensas en Google. Pues cuando te dicen una inteligencia artificial sueles pensar en ChatGPT. Esto fue no tal y como os contaría mi compañero Fernando Ortega en el primero de los talleres. No es que fuesen los primeros desde el punto de vista de investigación, esos fueron más los de Google con el paper Atención y Solve We Need. Pero fueron los primeros que popularizaron la herramienta, los primeros que llegaron con una herramienta funcional completa. Entonces, ChatGPT sin duda es el que tiene mayor número de usuarios. y están en la élite de razonamiento, agentes, etcétera, etcétera. Y luego hay otra, que realmente está también muy fuerte, que es Gemini. Gemini, claro, tienen el músculo financiero de Google, que, vamos, tienen casi dinero infinito, entonces pueden hacer muchísimas cosas, tienen muchos recursos y muchísima gente muy capaz, muy inteligente, haciendo grandes cosas. Y de hecho en los últimos años Gemini ha reducido muchísimo su distancia con OpenAI y de hecho el número de usuarios que tiene ya se le acerca. Yo recuerdo esta tabla de los talleres del año pasado, ha pegado un subidón tremendo Gemini porque cada vez es más fuerte. Y otra también que está muy fuerte, muy fuerte, es la de Cloud. Cloud de Anthropic, que son unos ex OpenAI, también ha crecido mucho y se usa muchísimo en programación. Tiene mucho impacto empresarial, no tanto a nivel de usuario. Los usuarios ya nos digamos no suelen usarlo tanto, pero muchas empresas lo tienen. Ahora mismo estas tres que estoy señalando son las tres que están más fuertes. En razonamiento, en agentes, uso profesional, GPT destaca y Gemini no. Lidera o comparte el liderazgo, están las dos ahí. Y luego Cloud sobresale especialmente en ingeniería de software y otras muchas tareas. Estas son las tres fundamentales. Luego hay muchas más, por ejemplo, está Grog, que a alguno le puede sonar de Twitter. Y aunque pueda parecer que sirve para tonterías de Twitter... Cuando te paras a ver los rankings técnicos y te paras a pedirle cosas complejas, te das cuenta de que creo que es una herramienta muy, muy potente, no la perdamos de vista, que no me extrañaría que en unos años tuviese un crecimiento similar, por ejemplo, al que ha tenido Claude, de sentarse en la misma mesa que los grandes. Y luego hay dos que precisamente os pongo, pues un poquito estas sí que os las pongo para que las perdáis de vista, que son muy populares, que son Deepseek y Meta. La de Deepseek es una, la gente la conocía como, bueno, esta es la china, que realmente, bueno, tienen, hay otras, han salido los de Alibaba, han sacado otro LLM, Pero bueno, esta se ha hecho muy popular. A mí me gusta especialmente porque es de código abierto, lo cual te permite descargarla y hacer muchas cosas en local, en tus propios servidores. Tiene además unos resultados razonablemente buenos. Los modelos ligeros de lenguaje que vienen muy bien para ciertas cosas funcionan muy bien. Sin embargo, aquí hay ciertas preocupaciones de privacidad y de seguridad y hay países como por ejemplo Italia que han tomado decisiones de regulación muy estrictas con el uso de esta herramienta. Entonces, aunque os suene, es una herramienta que Que teniendo otras que funcionan mejor e incluso que tenemos en la UPM licenciadas, yo no le daría gran uso. Igual que la de Meta, que es básicamente para vosotros, que la mayoría seréis profesores de unos 40 años, diré los de Facebook. Si fuese para mis alumnos, diría los de Instagram. Pero bueno, está muy integrado en todas estas plataformas masivas que todos conocemos, como Facebook, Instagram, WhatsApp... Y está muy bien, también es de código abierto, pero técnicamente, si ves los rankings, no está compitiendo en la élite. Entonces, aunque os pueda sonar tan bien y pueda popularizarse, no nos va a dar unos resultados tan buenos como los tres que os estoy señalando, que son los que están en la élite. Realmente quiero dejar claro que esos tres son los modelos que a día de hoy, en junio de 2026, son los que están liderando. Lo que pasa es que hace un par de años, cierto es que uno se preguntaba cuál era el mejor modelo y ahora ya cada vez más te preguntas por cuál es el mejor ecosistema, con cuál puedo hacer más cosas. Porque han llegado a tal nivel de calidad que dices, bueno, es que todos los que están ahí en la élite son muy buenos. La cuestión es cuál es el ecosistema que me va a permitir hacer más cosas. De eso vamos a hablar un poquito. Dentro de los ecosistemas de la IA generativa, claro, todos conocemos ChatGPT y usamos herramientas como, por ejemplo, ChatGPT. ¿Qué es lo que ocurre? Pues que hay otras aplicaciones que también usan el motor de ChatGPT. La más popular, la que más lo sonará, Copilot. Copilot, lo que está usando por dentro, en su núcleo, es ChatGPT. Concretamente usa los modelos de GPT-5X. Entonces, ¿Qué es lo que han hecho los de Microsoft? Pues en vez de desarrollar su propio modelo de inteligencia artificial, lo que han dicho, bueno, el motor de inteligencia artificial, que sea el de GPT, a través de una serie de acuerdos, y quiero integrar. GPT en todo mi ecosistema, en todo el ecosistema que tiene Microsoft montado, con la suite de Office, correo, etcétera, etcétera. Entonces son aplicaciones como Copilot que están usando ChatGPT, no es que desarrollen su propio modelo de inteligencia artificial, sino que usan uno existente. Lo mismo pasa con Bucla, Pocahut, que son dos herramientas que vamos a ver también en la sesión de hoy. no desarrollan su propio modelo de inteligencia artificial, lo que hacen es usar el modelo de GPT, o otros modelos, principalmente usan GPT, pero podrían usar otros, y lo que hacen es dar una nueva capa en el que dan un ecosistema y una utilización, una funcionalidad al usuario final más alta. De eso se trata, no tanto de qué modelo es mejor, sino, oye, ¿qué me permite hacer esta herramienta? ¿Qué es lo que me va a dar? Y algo similar ocurre con Gemini y notebook LM. Gemini es el motor, el LM, y luego herramientas como notebook LM lo que hacen es usar, por dentro lo que hacen es usar Gemini en su núcleo. Entonces, bueno, tener en cuenta que cuando hablamos de inteligencia artificial, los modelos principalmente son los que veis en pantalla, pero luego herramientas podemos tener muchísimas que lo que hacen es usar los modelos frontera, los modelos principales, que como os digo, a día de hoy son GPT, Gemini y Cloud. Aquí ahora uno se preguntará, oye, y entonces, Dani, ¿cuál me recomiendas usar? Pues bueno, honestamente, teniendo en cuenta que tanto ChatGPT como Gemini como Cloud están en la élite y puedes tener preferencias por uno o por otro, pero más o menos dan unos resultados similares, yo me centraría sobre todo en Gemini y en Copilot. ¿Por qué? Bueno, Copilot, cuando hablo de Copilot, en el fondo lo que estoy usando es GPT. Os recomiendo estos dos porque los tenemos licencia en la universidad y esto nos va a garantizar unos altos niveles de privacidad y un cumplimiento normativo mayor. Dicho de otra forma, si por ejemplo tú estás usando ChatGPT y hacen algo que no deben, no sé, tú les pasas unos apuntes para que te ayuden a generar unos ejercicios y luego esos apuntes hay una fuga y los publican en abierto y cosas así, aunque no lo deberían hacer y ponen en sus condiciones de privacidad que no lo van a hacer, pero si eso pasase, tú individualmente tendrías que demandar al chat GPT. Entonces, claro, yo creo que el común de los mortales tendría probablemente todas las de perder enfrentándose a una empresa tan grande. Sin embargo, si tú estás usando Copilot, y, no sé, le pasas tus apuntes para que te ayude a diseñar una práctica y luego hay una fuga y esos apuntes se filtran o pasa cualquier cosa que no debería pasar y que dicen en los términos y condiciones que no va a pasar, pero si pasase, ya no sería que tú individualmente fueses contra Copilot, contra Microsoft, sería que la Universidad Politécnica de Madrid y probablemente la CRUE probablemente sería algo a nivel universitario contra Microsoft. Entonces, claro, lo último que querría Microsoft con el ecosistema que tiene la universidad española es que haya cualquier tipo de conflicto de ese estilo. Entonces, claro, teniendo en cuenta que los niveles de calidad que dan unos y otros son similares hoy día, Yo personalmente me centraría en usar estas dos, que son las que tenemos licenciadas. Copilot desde hace un tiempo y Gemini, pues muy recientemente, que nos enviaron, de hecho, la semana pasada el correo. Entonces yo me centraría en usar esos dos LLMs, es mi recomendación personal. Oye, es que a mí me gusta mucho Cloud para hacer ciertas tareas de programación o hago proyectos con ChatGPT, que eso no lo tienen otras herramientas y es muy potente, o uso Growth para generar vídeos. Perfecto, úsalos, los puedes usar, claro. No obstante, para un uso educativo dentro de la universidad, con herramientas como Gemini Ecopilot tienes mucho que hacer, muy potente y de hecho el taller de hoy vamos a centrarnos, como decía al principio, en herramientas institucionales. Y me he explicado que me vayáis siguiendo poco a poco en esta parte de fundamentos y que el curso, insisto, que sea autocontenido. Ahora vamos a hablar muy brevemente de cosas básicas de prompting. Seguramente nuestro compañero Javier Conde, si asististeis a su taller, que fue uno de los primeros, si no el primero sobre prompting, Ya os hablé de técnicas de prompting, pero si alguno no lo tiene fresco o no ha asistido a ese taller, pues vamos a ver unos conceptos básicos para que nos quede muy claro. Ya sabéis que un prompt es al final una instrucción, una pregunta o un texto que estamos utilizando para interactuar con la inteligencia artificial. Lo que me gustaría aquí quedar claro, por si hay alguien que tiende a usar la IA como si fuese un buscador, es que cuando hablamos con una IA no penséis tanto en como cuando usábamos Google hace tiempo. que lo que hacía Google era buscar en su, no era una base de datos, pero bueno, similar, buscar en su red de conocimiento, en su base de datos, buscaba información clave. Entonces tú le decías cosas como ingeniería software, metodología Scrum. Y entonces, con esas palabras claves, Google te identificaba las páginas más relevantes, con más popularidad, con... Bueno, pues las que creían que eran las mejores y te las mostraba en primer lugar. Porque ahí lo que hacías en ese caso era buscar sobre una base de datos, podríamos decir. En este caso, cuando hablamos de un prompt, estamos hablando más de entrenar a un robot. Estamos hablando de hacer un entrenamiento a una máquina para que se comporte como tú quieras. Insisto, no penséis tanto en la IA como un buscador, sino como un robot al que yo voy a estar entrenando con una serie de instrucciones, ¿vale? Esta es la idea principal. En este sentido, ¿cómo hacer un buen prompt? Pues bueno, yo creo que estamos a buena hora, todavía nadie tendrá mucho hambre para mostrar esta foto de este buen cocido, ¿vale? A mí me gusta mucho poner este simming cuando hablo de prompting, Porque al final, cuando haces un prompt, es como si ibas a hacer un cocido. Si tú a un cocido le echas buenos ingredientes, si tú le echas un buen trozo de morcillo, de chorizo, de pollo, de morcilla, etcétera, etcétera, bien de verdura, lo cargas bien, lo concentras bien, el cocido te va a saber rico. Realmente has dado una serie de instrucciones que son muy completas. Para hacer el cocido, los ingredientes base de los que has partido son muy buenos. Y el proceso final, esa olla, cociendo a fuego lento todo, pues el resultado va a ser muy adecuado. Pero ¿qué es lo que pasa si para hacer un cocido lo que usas son un par de huesitos de pollo y un trozo de jamón ahí ya que ha pasado por cuatro caldos y que, vamos, ya no sabe a nada? Pues que es lo que ocurre, pues que ese caldo, ese cocido no va a estar muy allá, va a ser casi agua con un poquito de sabor. Entonces esto es muy importante que lo tengáis en cuenta y a mí me gusta el ejemplo este del cocido porque es muy gráfico. Si tú usas un buen prompt y eso significa le das bastante información al modelo, es posible que el resultado final o es seguro que el resultado final sea muchísimo, muchísimo mejor. Esta es una idea clave. Sobre todo pensando en la gente que usa la IA como si fuese un buscador y entonces lo que hace es escribir tres o cuatro palabras clave. No, no. Es que lo de las palabras claves venía bien para buscar en una base de datos, por un árbol de conocimiento. Pero para una inteligencia artificial, que lo que queremos es como entrenar un robot, nos va a venir infinitamente mejor algo como esto. Nos va a venir algo mucho mejor un prompt con esas características. Claro, conciso. Voy a poner ejemplos concretos ahora en este taller de creación de materiales de evaluación. Si yo le digo, hazme un buen examen tipo test, Pues vamos a ver qué entiende como un examen tipo test, porque puede entender cualquier cosa. Pero ¿qué es lo que ocurre si empiezas a decir, mira, para mí un buen examen tipo test, vamos a centrarnos en que hay cuatro opciones, una verdadera, tres falsas, de las falsas tiene que haber una que sea claramente falsa y dos que prácticamente sean verdaderas, que ayuden precisamente a que el estudiante piense. Si le empiezas, por ejemplo, a dar ejemplos, le dices, oye, te paso exámenes míos de otros años para que los puedas ver, a qué estilo de preguntas me estoy refiriendo. Si le empiezas a dar más contexto y a decirle, mira, estos son los apuntes concretos sobre los que quiero que generes las preguntas, te va a dar un resultado mucho mejor. No es lo mismo decirle... hazme un buen examen sobre modelos de desarrollo de software que decirle quiero que hagas un buen examen sobre modelos de desarrollo de software. Para eso básate en estos apuntes que te adjunto. El estilo de las preguntas tiene que ser similar a estos exámenes que te adjunto de años pasados. Además, quiero que de las preguntas haya distractores de alta complejidad que le ayuden al estudiante a pensar sobre cuál debe ser la respuesta correcta. Le empiezas a dar más contexto, más contexto, más contexto, va a ir ganando. Lo que haces dándole ese contexto es poniendo más ingredientes en este cocido, ¿vale? ¿Entendéis esto? Espero que os quedéis con la analogía del cocido. Para mí es muy gráfica, ¿vale? Entonces, vamos a empezar sabiendo que cuando ahora le pidamos a una IA hacer materiales de evaluación, vamos a necesitar dar unas instrucciones bastante detalladas, ¿vale? ¿Técnicas de prompting? Pues Javier les contaría muchas y estaría un buen rato hablando de ellas. Yo me quiero centrar en las tres que vamos a usar en esta sesión de hoy y para mí son muy gráficas. Por un lado, el prompt con muestras, con ejemplos. Si tú quieres que te haga exámenes, por ejemplo, y ayúdame a diseñar exámenes, algo que puedes hacer y que es tremendamente útil es pasarle exámenes de otros años. Si le pasas exámenes de otros años... ya va a entender lo que tú quieres, va a saber el estilo de redacción que tú tienes y por dónde vas a ir. Entonces, el prompt con muestras es tremendamente útil. Decirle ejemplos de cómo debe hacerlo. Luego, la cadena de pensamiento es esencial que la siga. No nos vale que directamente suelte en un modelo rápido, los modelos estos que veis que pone Fast, no vale que suelte lo primero que se le ocurra, no, no, queremos realmente despertar a los modelos razonadores y que realmente haya una cadena de pensamientos ahí detrás. Y aquí me gusta poner un ejemplo de mi hija, de Diana, una niña, ¿qué voy a decir? ¿Qué va a decir mi padre? Pues una niña listísima, guapísima, súper organizada, maravillosa, pero tiene cinco años. Claro, no olvidemos que tiene cinco años. Entonces, ¿qué es lo que ocurre? Que cuando está ahí jugando y yo le digo, Diana, mi amor, a cenar, ella no entiende. Vale, deja de jugar, ordena tus juguetes, ves al baño, lávate las manos, sécate las manos, que si no me pones todo perdido, y dirígete a la cocina, coge tus cubiertos y siéntate en la silla. Entonces, claro, ¿qué es lo que ocurre con esta cadena de pensamiento? Pues que no es lo mismo que yo le diga a mi hija, oye, a cenar, que le diga, mi amor, vamos a cenar. Entonces, vas recogiendo tus juguetes, déjalo todo bien ordenado, luego lávate las manos, sécate así bien, bien, y ya vienes para la cocina, coges tus cubiertos y te sientas con mamá y conmigo. No tiene nada que ver. Pues lo mismo tenemos que hacerlo con la inteligencia artificial. Si yo le quiero que me ayude a hacer un ejercicio complejo, No puedo decirle, oye, hazme un buen ejercicio sobre toma de requisitos en ingeniería de software. No, no, yo lo tendré que decir. Primero analiza, haz un enunciado para identificar los actores clave. Luego identifica las funcionalidades más importantes. Luego haz relaciones para hacer esto. Luego haz esto. Luego haz lo otro. Luego haz lo otro. Muchas veces cuando la IA no nos da el resultado que buscamos, no es tanto un problema de la IA, sino como un problema nuestro de que no lo hemos dado las instrucciones suficientemente detalladas. Os animo a pensar de esta forma porque eso os va a ayudar a tener muchos mejores resultados, que haya una cadena de pensamientos. Estos son, para mí, cuando le pides una buena cadena de pensamientos y además le dices qué pasos tiene que seguir, con eso noto unas diferencias y un nivel de calidad muchísimo más alto cuando me ayuda a diseñar ejercicios. Y lo de las muestras también, es algo que notas mucha diferencia. Con lo del role-prompting, que es decir, actúa como un profesor universitario de este tema. Hace un par de años quizás sí que notaba algo de diferencia, Últimamente no noto tanta diferencia. Viene bien el role prompting para ceñirle de todo el conocimiento que tiene o que es capaz de generar, ceñirle a una porción de él, de ese conocimiento. Pero bueno, yo personalmente, como un usuario, como una persona que hace un uso intensivo de estos sistemas, con el role prompting cada vez noto menos diferencias. Si lo uso, que si no lo uso. Me da algo similar. Sin embargo, cadena de pensamientos y prompt con muestras esencial. Entonces, estas son las técnicas de prompting básicas que quiero que tengáis en mente para ir bien la gestión. Y por último... En esta parte de fundamentación, lo que os quiero contar es de las herramientas generalistas. Vemos que en educación las que más se usan son ChatGPT, Gemini y Copilot. Pues ya sabéis que son todas multimodales, que conversan, que son capaces de buscar, de razonar, les podemos subir información, conversar por voz, etcétera, etcétera. Tienen muchísimas, muchísimas funcionalidades. Y para ir a ver una diapositiva como esta, que yo creo que os la mostraría... seguramente Javi Conde en su momento pues muy importante que veáis que tenemos muchas opciones ¿vale? muchas opciones aquí tenemos algunas de estas GPT Gemini que ofrece unas muy similares y Coilot Aparentemente ofrece menos opciones, pero luego tiene también sus agentes que te permiten hacer muchas cosas y luego hay modos de uso, como por ejemplo el lienzo o el canvas, que lo puedes activar manualmente con texto, lo puedes activar y eso es muy interesante. Los que estéis usando Copilot no perdáis de vista que arriba a la derecha tenéis, por defecto va a estar en automático, que es decidir cuánto tiempo va a dedicar a pensar el modelo. Pensad realmente cuál queréis, porque para hacer problemas complejos, por ejemplo, yo siempre pongo el 5.5 Razonamiento Profundo, que es uno de los modelos frontera que nos da GPT, que para hacer una actividad compleja es muy útil y se nota muchísimo la diferencia. Entonces, no perdáis de vista el que no lo dejéis todo por defecto, sino que os paréis a ver qué modelo estáis usando, ¿vale? Lo mismo con Gemini, que también aquí tienes las distintas opciones y, tal vez te lo he mencionado, pero tampoco profundizo mucho que no tenemos actualmente licencia con él. Entonces, estos tres modelos ya los conocéis, los habréis usado, los habréis visto anteriormente. Me quiero centrar en algo que vamos a usar mucho en esta sesión, que es el modo lienzo o modo canvas. Esto lo que hace es partir la pantalla en dos. y te va a permitir editar los documentos que tú estás creando o la información que tú estás generando, te va a permitir editarla en pequeños fragmentos. Esto, si por lo general no usas el modo lienzo y te pasas mucho rato haciendo scroll, que le pides algo a la IA y luego dices, ay, esto no me ha gustado, pero esto sí, subo a esta parte de la conversación, copio este párrafo, bajo, ahora copio este párrafo. Si soléis tender a hacer mucho eso, el modo lienzo o modo canvas os va a venir especialmente bien. Y este lo quería mencionar porque lo vamos a utilizar bastante en la sesión de hoy. Otro modo que os recomiendo usar a vosotros y a vosotras cuando queráis aprender algo y también que se lo recomendéis usar a vuestros estudiantes, es el modo aprendizaje. El modo aprendizaje, que tenéis aquí un enlace a distintas conversaciones, esto es del último informe que hicimos, que fue a principio del curso, con lo cual en tiempos de 8 meses está ya obsoleto, pero se entiende bien lo que hacen estos modos de aprendizaje, que es el modo estudia y aprende, o aprendizaje guiado, cada uno lo llama de una forma, Lo que hacen es tener un modo mucho más socrático. Lo que hacen es, en vez de darte la respuesta directamente, te hacen preguntas, te ayudan a pensar un poquito más, te empiezan a sonsacar qué información tienes para ir co-creando conocimiento, ¿vale? Entonces, estos modos de uso, de aprendizaje, muy útiles. Cuando queráis aprender algo nuevo, yo os lo sugiero utilizar porque, aunque es más lento, es mucho más efectivo a nivel de aprendizaje porque es mucho más socrático y hace muchas más preguntas. Y el modo licenzo también es esencial para crear ejercicios de una forma rápida y muy cómoda. ¿Vale? ¿Qué es también interesante? De este tipo de herramientas, pues la de compartir conversación, que tanto en ChargeGPT como en Gemini se puede hacer. En Copilot, ahora mismo, la versión que tenemos no permite compartir como tal, entonces, bueno, iríamos a capturas de pantalla y cosas de este estilo. Pero bueno, es una función en general que suelen tener las IAS, que es muy útil la de compartir conversación. Y otra es la de personalización. Esta opción es esencial, porque no sé si habréis notado, Estas sillas tienden a ser bastante pelotas, se creen que no tenemos abuela y tienden a ser bastante aduladoras. Entonces, ¿qué es lo que ocurre? Pues que esto para un proceso de aprendizaje puede venir bien si tienes la moral por los suelos, pero en general yo prefiero respuestas, yo es un gusto mío personal, prefiero respuestas rápidas, directas, concisas, prefiero que se base siempre en fuentes fiables, que me indique las fuentes. Entonces, ¿qué es lo que ocurre? Pues que tanto en ChatGPT, en el apartado de configuración y personalización, Como en Copilot, en el apartado de configuración, de personalización, lo que puedes hacer es proporcionar una serie de instrucciones personalizadas. Entonces ahí dices cómo quieres que trabaje contigo. Igual para Gemini, lo que pasa es que en Gemini se llama instrucciones, pero es muy similar, es añadir instrucciones. Entonces, estas funciones de personalización, cuando uséis estas herramientas, yo os recomiendo que os paréis un momento a ver cómo queréis usar esta... cómo queréis que os trate la inteligencia artificial, en qué tipo de lenguaje y con qué nivel de profundidad queréis que os dé las respuestas. Bien. Hasta aquí esta primera parte de fundamentación teórica, donde hemos introducido la inteligencia artificial y hemos hablado de ella en el contexto de la evaluación, del mundo de la evaluación, con los pros y las contras que tiene. Hemos hablado de los distintos LLMs y el ecosistema tecnológico que tenemos y hemos mencionado brevemente en nociones de prompting y de las herramientas básicas generalistas. Voy a consultar un segundo en el chat si hay alguna pregunta que me haya parecido... Había un compañero que dice, no estás compartiendo. [Orador 1]: No, tranquilo, está solucionado, no hay ninguna pregunta. [Orador 2]: Ah, vale, vale. Había visto ahí el chat y digo, madre mía, espero que se esté compartiendo. Sí, sí, todo bien. Sonia. Una vez dada esta fundamentación, que me parece esencial para que el taller sea autocontenido y para que tengáis conceptos fundamentales de prompting y de configuración de estas herramientas, vamos directos a crear materiales de evaluación con las herramientas institucionales que tenemos en la UPM. Primero vamos a cuestionarios de autoevaluación. Vamos primero a ver cómo crear este tipo de cuestionarios. Dos enfoques. Primero, con herramientas generalistas. Segundo, con herramientas especialistas. Cuando llamamos herramientas generalistas, son herramientas como Gemini o Copilot que te sirven para hacer un examen y para que te den la receta de unos burritos. Te sirven un poco para todo. Y luego vamos a hablar de herramientas especialistas, que son herramientas que en principio están pensadas exclusivamente para hacer exámenes de este estilo. Bueno, no tienen por qué ser tipo test, pero exámenes de autoevaluación. En general, mi impresión es que con cualquiera de estas herramientas, para llegar a un buen test, o a lo que yo como profesor considero un buen test, necesito refinar. Necesito refinar. Tú le pasas un PDF de 50 diapositivas o de 50 páginas y tú como profesor, tú sí sabes perfectamente, céntrate en la página 8, que aquí está el concepto clave, pero a lo mejor la IA le cuesta discernir eso. De hecho, en una prueba que hicimos, le pasamos unos apuntes y una pregunta era cuál era el nombre del profesor. Porque, claro, venía la primera diapositiva, el nombre del profesor. Seguro que algún alumno a lo mejor la fallaba incluso, pero en principio, claro, tú como profesor dices, yo, esta no es una pregunta clara, pero claro, tú le das el texto. Y le cuesta discernir cuál es el tema clave. Le cuesta también generar distractores. No es trivial que si tú le dices, dime la capital de España, no te diga Madrid, blanco, perro, azul. Es importante que diga, venga, capital de España, y que diga Madrid... Venga, voy a decir otra ciudad más o menos grande, cercana, Toledo, otra muy grande, muy conocida, Barcelona, y venga, y Sevilla. Entonces, la generación de distractores, que a los profes eso, después de años de trabajo, se nos da también, yo creo, en general... Poder crear buenos distractores de decir, esta va a parecer correcta, pero no es correcta y tiene que saber justo esto para identificar que es falsa y que la buena es la B. Entonces, eso no es trivial para una inteligencia artificial. Entonces, bueno, esta es mi impresión general a la hora de usar estas herramientas. Lo primero que os digo entonces es, oye, os va a ahorrar muchísimo tiempo... Te va a ayudar a ir mucho más rápido y te va a dar preguntas que algunas van a ser muy buenas, pero otras vas a tener que refinarlas. Sin duda alguna vas a tener que refinarlas, ¿vale? Para hacer este tipo de test también conviene mencionar algunos conceptos clave, porque normalmente cuando hacemos este tipo de preguntas, normalmente tipo test, las queremos para subirlas a Moodle, a nuestro campus virtual. Entonces, tenemos que estar familiarizados con los formatos que admite nuestro campus virtual, que puede ser Moodle XML, ICANN, GIF, etc. Entonces, tener en cuenta que hay distintos formatos y tener en cuenta que para importar en Moodle simplemente entras al curso, seleccionas la parte del banco de preguntas, seleccionas importar, seleccionas aquí el formato de entrada y luego ya, una vez has importado, has subido el archivo, le das a importar y, fundamental, comprobar el resultado, ¿vale? Entonces, estos pasos claves no los perdáis de vista, ¿vale? Vamos a ver ahora, vamos a hacer esto con herramientas generalistas, concretamente con Copilot y con Gemini. Vamos a usar ambas. Por un lado, directamente vamos a usarlas. Nos vamos a ir, en este caso, a Copilot. Vamos a coger un prompt que tengo por aquí. Vamos a irnos a Copilot, le vamos a poner un buen prompt y le vamos a subir unos apuntes. En este caso vamos a subirle unos apuntes de ingeniería de software, la parte más básica que se explica casi que es la ingeniería de software. Vamos a irnos. a un tema bastante básico, ¿vale? Que es de ingeniería de software. Vamos a cargarlo. Fijaros que ahora le quiero decir, aquí yo no tengo un modo como en otras que sea el Canva, ¿vale? No tengo aquí uno que es abrir lienzo o abrir Canva. Entonces, por si acaso no le ha quedado claro, abre el modo lienzo. Espero que me active el modo lienzo. Vamos a ver si me hace caso. Está trabajando en ello. Aquí, básicamente, yo le he subido mis apuntes y le he dado un zoom bastante detallado. Bueno, como veis aquí, mientras esto se va generando, aquí tenéis un prompt bastante detallado. Le digo que quiero 10 preguntas, 4 opciones, una verdadera, que haya preguntas sencillas, que haya algunas más complicadas. ...que las muestre en formato texto......que la tome bien y se tome el tiempo que necesite......y esto......como veis, lo que ha hecho ha sido......abrirme dos pantallas......ahora fijaros, este es el modo lienzo......alguno no está muy acostumbrado a hacerlo......esto es maravilloso......o sea, esto te ahorra una cantidad de tiempo......tremenda, tremenda......eh......ahora veréis por qué, ¿vale?... ...pues fijaros......aquí... me está dando preguntas, una característica propia de la ingeniería de software. Pues las modificaciones suelen ser relativamente económicas. Bueno, esto realmente, en comparación con otras ingenierías, no sucede. ¿En qué años se acuñó el término ingeniería de software? Pues esto, como le he dicho aquí, o algunas preguntas memorísticas, pues esto es lo que me da. El principal objetivo de la ingeniería de software, y ya es un poquito más compleja, vámonos a una media alta, fijaros, estas son preguntas más de razonamiento. ¿Por qué el modelo incremental reduce riesgos frente al modelo encascada? Aquí ya, si nos pusiéramos a la taxonomía de Bloom, estamos ya en un análisis mayor, no estamos en la parte de abajo tan memorística, estamos en una parte que exige mayor cognición. Entonces, fijaros que ya este tipo de preguntas ya tienen más complejidad, ¿vale? Entonces, hasta aquí dices, bueno, está bien. Luego aquí, por ejemplo, un proyecto con requisitos cambiantes, necesidad de feedback continuo y entregas rápidas, debería utilizar preferentemente. Y entonces, una vez más, es una pregunta que exige cierto razonamiento. No es, fijaros la diferencia con la primera pregunta de en qué año se acuñó el término ingeniería de software, que es puramente memorística. Usa el modo lienzo. Una vez tenemos esto... Y fijaros que ahora están marcadas todas las correctas. Quiero que desmarques las respuestas correctas. Por ejemplo. Entonces, lo que va a hacer ahora es... Tengo a la izquierda, tengo este chat en el que le voy dando instrucciones y aquí tengo el documento con el que estoy trabajando. Y me lo está modificando. Está tardando un poquito. A ver... Vale, me lo ha eliminado. De momento me ha dejado esto aquí tachado, que no se verá en la siguiente versión. Le puedo decir cosas como utiliza un vocabulario más técnico y formal. Por ejemplo. Entonces, lo que va a hacer es modificar, me aplica modificaciones sobre todo el texto que ya tenía. Para hacer esto... Claro, me está pidiendo más detalles. Me está diciendo un poco cómo quiere que lo formalice. No le voy a entrar en muchos detalles por agilizar el tiempo, ¿vale? Pero aquí, fijaros que la está rehaciendo. Fijaros que ya suena más... Mucho más técnico, mucho más, a lo mejor, al gusto de un profesor. A lo mejor, precisamente, tú como profesor te gustan más, oye, haz todos los exámenes, haz todas las preguntas que tengan algún tipo de guiño a Star Wars, por ejemplo. ¿Vale? Entonces, lo podrías hacer de esta forma. Esto del modo lienzo es bastante interesante, pero lo más interesante para mi gusto es que, fijaros que ya quito cuáles serán las verdaderas, yo puedo coger este texto directamente y decirle cambia esta pregunta para hacer referencia A ver si me cabe llevar, porque en la NASA fueron unos de los que... de los que acuñaron también el término de ingeniería de software, vamos a ver cómo la contextualizan. En el contexto de grandes proyectos, durante la década de los 70, como el proyecto Apolo, la creación de complejidad del software impulsó la acuñación del término formal de ingeniería de software en una conferencia internacional. Cada año en que dicho término fue acuñado. Entonces, fijaros que el resto sigue siendo exactamente igual. Y solo le da una instrucción para esta parte de aquí. Esto es esencial. ¿Para qué? Para no estar subiendo o bajando, subiendo o bajando. Y podría, por ejemplo, en esta decir esta es demasiado bueno voy a poner aquí esta es demasiado obvia es falsa. Complícala un poco para que se parezca. A la verdadera, al estudiante. Este tipo de cosas te suele costar, pero fijaros que ya he ido a una opción. Solo he cogido, oye, quiero que me modifique la D. Implementación temprana de prototipo. Pues bastante bien. No sé si hay algún informático en la sala, pero bastante bien. Bastante bien, realmente. O sea, me la ha complicado, me la ha hecho parecida a la anterior, pero me la ha hecho... El alumno puede dudar y decir, anda, los prototipos se usan para especificar, pero realmente no es la correcta. Entonces, fijaros, ya es sofisticado el distractor de la pregunta 4 para que deje de ser trivial y pase a ser plausible desde un punto de vista técnico. Entonces, esto es una forma que, insisto, muy útil de trabajar con el modo lienzo para hacer algo como diseñar un examen tipo test. Muy bueno, ¿vale? Podríamos seguir haciendo este tipo de cosas, pero yo creo que se ha visto la funcionalidad y la utilidad del modo lienzo en una herramienta como Copilot, ¿vale? Recordad que tenéis que decirle abre el modo lienzo, abre el modo canvas para que te active esto, ¿vale? Ahora yo le puedo pedir, oye, conviértelas a Moodle XML, las quiero subir en Campus Virtual. Lo primero que esto es una tarea, no sé, me da apuro que pueda fallar, No quiero que sea automático, no lo va a decir la máquina, lo voy a decidir yo. Quiero el 5.5 para zonamiento profundo. Porque si voy a generar un fichero que luego voy a cargar en Moodle, quiero estar lo más seguro posible de que me lo redacta, me lo prepara bien y así yo puedo cargarlo en Moodle. ...en Moodle sin errores, ¿vale? Entonces fijaros aquí......que hemos dicho, oye, vamos a decir......cuál es el que yo quiero que tú utilices, ¿vale? Y dame un archivo......listo para descargar. Convierto. Puntas. Entonces ya......lo que quiero es......oye, una vez ya tengo aquí el cuestionario... Genérame un Moodle XML que voy a cargar ahora en mi campus virtual. Mientras lo genera, ya sabéis, me voy al curso, banco de preguntas, y dentro del banco de preguntas me voy a la opción de importar. Y cuando le doy a importar, le digo que sea en formato, como le he pedido Moodle XML, pues Moodle XML. A ver, aquí está. Me da el documento. Y este documento lo voy a subir al campus virtual. ¿Vale? En este caso, en la carpeta de descargas. Examen del tema 1. Subir el archivo. Vamos a por ello. Parece que está bien. Mira, aquí está lo de la NASA. Parece que están bien. Vamos a continuar la importación. Luego me tengo que borrarlas, que si no mis álbumes se van a volver un poco locos. Entonces las preguntas, por ejemplo, esta es una de ellas, que es la que hemos dicho antes que era más de razonamiento, pues parece que la ha puesto bien. Vamos por si acaso, vamos a editar opciones en este caso. Quiero coger la pregunta, quiero asegurarme de que está bien, entonces voy a ir a darle a editar. para asegurarme que efectivamente esta es incorrecta y no le ha dado puntuación y le dice respuesta incorrecta. Esta me la ha puesto bien, facilita la identificación temprana y me la ha puesto correcta. O sea, que parece que está bien. Y luego, esto ya tendríamos aquí el techo. Ahora podríamos coger y decir, oye, me gustaría que cuando el alumno acertase le pusieses una frase motivacional del estilo de taza de Mr. Wonderful. Pues entonces tú lo puedes configurar aquí para decir, ahora añade un mensaje motivacional a......pueda ver el alumno cuando responda correctamente. Entonces yo le hago esto y ahora debería añadirme, no sé si para aquí directamente o me está generando de nuevo el archivo, me está generando de nuevo el archivo. en el que ya hay un mensaje de retroalimentación. Entonces, fijaros que esto, para los que no seáis informáticos, no seáis informáticos quiero decir no estéis demasiado familiarizados con los formatos de archivos y con este tipo de cosas que es tremendamente sencillo simplemente le dices un formato le dices que te lo conviertas en formato te recomiendo siempre en este punto que actives el razonamiento profundo el modelo más avanzado que haya para asegurarte que te lo haga bien y este archivo simplemente está listo para importar en móvil vale Pues ahora aquí ya tendríamos otro fittero XML, que en este caso, en vez de cargarlo a Moodle, lo vamos a abrir y si os fijáis, ya el feedback que se da aquí en esta pregunta no lo vamos a cargar en Moodle por ahorrar tiempo, pero te dice, excelente trabajo, has identificado el concepto clave. Diga, si comprendes estos conceptos, te ayudará a razonar mejor los modelos, etc. Fijaros que está muy bien la edición tan rápida que nos permiten herramientas como Compact, ¿vale? Oye, ¿lo podría hacer esto mismo en Gemini, que es una herramienta que, como sabéis y hemos mencionado antes, recientemente tiene la universidad licenciada? Puede hacer también, ¿vale? A ver... Puede hacer también, lo único que... La única diferencia en Gemini se puede hacer exactamente lo mismo que hemos visto, ¿vale? Pero... Lo mismo que hemos hecho, ponerlas en modo texto, ponerlas en el modo lienzo, descargarlas a XML. Lo mismo se puede hacer y además le puedes pedir, hazme el cuestionario como una web app. Entonces, ¡ah! No le ha adjuntado el PDF. Espera, espera, espera. Parece que no le ha adjuntado el PDF. Espera un momento. Vamos a juntarle el PDF. Ahora. Vale. le dices, genérame el cuestionario como una web. No le voy a decir que me las haga en Moodle XML ni nada de eso, ¿vale? Entonces, en este caso, cuando usamos Copilot nos va a venir muy bien para, bueno, esto lo podríamos realmente aquí crear un documento, un PDF, copiar, pegar. Podríamos usarlo como un cuestionario en papel, ¿vale? Si quisiéramos hacerlo en clase o en un examen. Podríamos, como hemos visto, exportarlo a Moodle, que nos viene muy bien para tener ese seguimiento en Moodle, nos viene de maravilla. Esto mismo que hemos hecho con Copilot, lo podríamos hacer, las mismas funcionalidades con Gemini, solo que en vez de usando GPT estaríamos usando Gemini Pro. Y la diferencia ahora, que está tardando un poquito, es normal, es que con Gemini podemos hacer cuestionarios interactivos. Con este podríamos hacer cuestionarios interactivos. Fijaros, ahora me ha generado un cuestionario interactivo, me está aquí mostrando las preguntas, fijaros. Pues, por ejemplo, ¿en qué contexto histórico y año acuñó formalmente el término ingeniería de Escofa? Y aquí te está diciendo varios. Imagínate que dices, mira, no lo tengo muy claro, voy a mostrar una pista. Es una cumbre histórica organizada para abordar los problemas de presupuestos y plazos excedidos en los... Bueno, pues con eso que me dices, pues tiene que ser uno de estos. Venga, voy a poner este. Perfecto. Vamos a la siguiente, ¿vale? Si compras la ingeniería tradicional con la ingeniería de software, ¿cuál es la implicación más directa de la integrabilidad? Pongo una al azar. y te lo explica. Si bien el software es modificable, realizar cambios tardíos, sigue siendo sumamente costoso e inflexible. Yo voy haciendo preguntas, algunas las acertaré, otras las fallaré, y lo que tengo es una web, voy viendo aquí las que acierto, las que fallo, me va dando pistas, una vez me va dando pistas, pues me pueden ser útiles o no, y cuando yo las tengo todas, Me viene aquí, oye, mira, has sacado un 2, dos correctas. Me va a decir, oye, ¿por qué no refuerzas aquí con unas tarjetas didácticas? Entonces esto, de repente, me va a generar unas tarjetas didácticas interactivas para repasar. Entonces aquí, origen del término, ingeniería del software. Te va a dar como respuestas para ir la crisis del software. ¿Qué es lo de la crisis del software? Diferencia física entre ingeniería tradicional e ingeniería de software. Me está dando unas tarjetas de autoestudio que vienen muy bien. Y además, lo que quiero sobre todo aquí que veáis es que Gemini, lo que están muy, muy bien, lo que está... bueno, aquí podría configurar, lo que está muy bien realmente de Gemini es que permite más fácilmente crear cuestionarios interactivos, ¿vale? De este estilo. Y además, este tipo de cuestionarios los puedes compartir con tus estudiantes, ¿vale? Alguno dirá, oye, pero creo que lo hagan en Moodle y así, si lo hacen en Moodle, lo puedo ver lo que han sacado, pero es cierto. Si lo quieres tener el registro de que lo han hecho y demás, sin duda alguna, mucho mejor Moodle. Si solo quieres, bueno, vamos a hacer unas cuantas preguntas y les comparto el enlace por si quieren repasar. Esto, como veis, para el estudiante es muy atractivo. Yo lo uso también. A veces les digo, como no me cuesta mucho realmente pedirle que me genere preguntas y leerlas para ver si están bien o no están bien... Y sobre todo, si son preguntas que hago para repasar, que no me las pienso tanto como unas preguntas de examen, lógicamente, pues oye, me permite rápidamente generarme unos recursos, un material de autoevaluación para el estudiante. Entonces, esto es lo que me permite Gemini. A diferencia, insisto, es que permite crear más herramientas interactivas, como por ejemplo web apps, ¿vale? Mi impresión general es que el nivel de contenido es adecuado. Lógicamente requiere refinamiento, pero es muy adecuado. Lo malo es que, claro, depende del prompting, depende de cómo vayas iterando tú. Tienes que meterle el formato en el que quieres. Entonces, bueno, está muy bien. O sea, mi impresión general es que está muy bien. Aunque, bueno, tienes un poco que hacer trabajo más de manual para llegar al resultado final. Tienes que trabajar con formatos. subir archivos y demás, que bueno, es algo que personalmente a mí no me resulta muy incómodo, pero entiendo que puede haber usuarios que sí, ¿vale? Aquí os he contado herramientas generalistas para crear preguntas de autoevaluación, pero es que luego están las herramientas especialistas. Son herramientas que básicamente sirven para esto, ¿vale? Para, en este caso, hacer cuestionarios. Hay tres herramientas que a mí me gusta mencionar, que están muy bien, que son BookLab, Kahoot y QuestionWell. Me voy a centrar, aunque QuestionWell es una que es bastante completa y que está muy bien, no me voy a centrar en ella, puesto que me quiero centrar, insisto, en herramientas que estén disponibles en la UPM. Me voy a centrar en BookLab y en Kahoot. En BookLab tenemos actualmente una licencia Campus que nos permite usarla A todo el profesorado. Y en Cajuta hay unas licencias nominales que los profesores podíamos pedir, no sé si las podemos seguir pidiendo, creo que sí, pero ahora Sonia o Jessica me pueden matizar si siguen pudiendo solicitar. Esas son unas licencias nominales que nos permiten también al profesorado usar Kahoot. Tanto BookLab como Kahoot son dos herramientas muy consolidadas, son empresas grandes y típicamente las habréis conocido porque nos ayudan a hacer cuestionarios gamificados, lo cual está muy bien. Lo que pasa es que ahora nos permiten crear cuestionarios rápidamente usando precisamente inteligencia artificial. A mí entre las dos, personalmente, me gusta más Booklab por dos cosas. Bueno, por tres cosas. Primero, la apariencia es mucho más profesional. Kahoot, no sé si lo conocéis, si lo habéis trabajado mucho, pero tiene un aspecto demasiado infantil para mi gusto. Sin embargo, Booklab me parece un estilo más sobrio, más adulto, más profesional, para mi gusto, más adaptado a la universidad. Pero bueno, eso es una cuestión de estética. Sin embargo, si vamos a funcionalidad, me gusta más Booklab porque, primero, permite exportación a Moodle. En Kahoot no permite una exportación a Moodle, lo cual hace que estés como casado con la herramienta. A mí me gusta una herramienta como Booklab. Yo tengo un montón de cuestionarios hechos. Ahora veremos la pantalla, tendré como 50 o algo así. Yo me los tengo todos exportados a Moodle y si por lo que sea el año que viene la universidad decide no renovar Booklab, yo sigo teniendo todo mi trabajo que yo hice con Booklab, lo sigo teniendo accesible. Y lo tengo en mi campus virtual. Entonces, ese es un motivo por el que me gusta mucho Booklab. Y además, por las respuestas que da, a mí me parece que usa unos modelos de lenguaje más avanzados. Las preguntas me parecen más adecuadas. Entonces, luego vamos a las impresiones. Vamos a hacer una pequeña demo con cada una de ellas. Vámonos primero a Kahoot. Vamos a empezar con Kahoot. Ya me he logado con mi cuenta de la UPM. Le puedo dar a crear un Kahoot. Fijaros aquí, viene nuevo. No está nuevo, esto tiene un año ya, pero bueno, así sigue llamando la atención. TPF a Cajú, asistido por inteligencia artificial. Aquí yo lo que hago es cargar un archivo. Voy a cargar, pues para tener una buena base de comparación, lo que voy a hacer es cargar el mismo archivo de antes, ¿vale? El mismo archivo que he usado antes, voy a cargar. Entonces, yo aquí tengo un selector en el que le digo las preguntas y demás. Digo que las genere las preguntas, no que las extraiga. ¿Y qué es lo que ocurre? Ahora va a ir generándome una serie de preguntas de tipo quiz. Esto es multidioma. En general, la IA tiene muchos problemas para... para el multilingüismo, ¿vale? Entonces, yo le meto los apuntes, vamos a hacer la prueba, vamos. Yo le meto los apuntes en español y le digo, por favor, que me las haga y llego aquí al inglés. ¿Por qué no están ahí? Estaba al principio. Bueno, que me las haga en catalán, no hay razón. Sería cuestión de buscar en inglés. Aquí le digo el nivel de dificultad que me haga 20 preguntas. Le digo que me las actualice en este caso porque las quiero en otro idioma. Vamos a verlas en español y ahora las actualizo para que veáis primero en castellano una cosa que quiero que apreciéis. Vamos a añadirlas. Ahora, fijaros, con estas preguntas que me ha generado, está muy bien que, por ejemplo, tiene este tipo de preguntas que son de deslizar. Está bastante bien. Aquí siempre empiezan con una de tipo encuesta, ¿vale? Como veis aquí. ¿O qué define mejor la ingeniería? Pues, hombre, comparar las cosas anteriores. ¿Qué caracteriza la ingeniería de software? La improvisación con la que me va a marcar esto, o sea... Esto es evidente que no. Esta pregunta, como tal, bueno, sí, está bien, tiene muchos clorines, te ponen una imagen de fondo, que bien. Cuando lo pones, te ponen música también, que está bien. A nivel de contenido, ¿cuál es una actividad principal del proceso de diseño? Si te dice especificación, hombre, marketing, decoración... Es que estas son evidentes que no pueden ser, y cierto, yo las puedo editar y las puedo cambiar, ¿vale? Pero... A mí lo que me da inicialmente me parece como más... Los distractores no me parecen tan buenos. Había algunas preguntas bastante buenas por aquí. [Orador 1]: Había visto... [Orador 2]: Pues, por ejemplo... Claro. ¿Cuál es una fase de ROOP? Esta es muy memorística. Me había parecido ver alguna... A ver... La otra me acuñó el término. ¿Verdadero o fácil? Entonces, fijaros que si te hace unas preguntas... Esta yo no la pondría. ¿Para qué se acuñó el término ingeniería? Esto no me importa mucho, la verdad. Sí, me da un examen que está bien, un cajud rápido, visual, divertido para los estudiantes, pero a nivel de contenido no me gusta tanto. Yo luego lo puedo guardar. Puedo, una vez que lo he guardado, puedo ponértelo a mis estudiantes. En este caso, ya sabéis cómo funciona. El curso no tiene este objetivo de uso de Kahoot, pero vamos, simplemente lo proyectáis en pantalla y los estudiantes se conectan y lo utilizan. Entonces, bueno, está bien. Está bien, lo podéis compartir con otros compañeros. Lo único que, claro, aquí tenemos dos cosas. Uno, que yo ahora empiezo a buscar una forma de exportar y no tengo un exportar como tal. Entonces, Cajú, pues muy bien, lo que me ha generado. Pero las preguntas no tienen tanta calidad y aunque visualmente pueden ser más atractivos, bueno... Yo, en este caso, como profesor, priorizo más la calidad en las preguntas. Y, en este caso, los modelos que están últimamente usando, me da la impresión de que no son los modelos frontera, los últimos modelos. Sin embargo, si vamos a Booklab, tenéis aquí, bueno, los apuntes luego tenéis como los atajos para llegar a cada sitio. En este caso, me voy a Booklab de un evento, voy a crear preguntas. Fijaros que aquí tengo un crear usando inteligencia artificial. Tiene una cosa muy interesante, que a mí me encanta, que lo hice el otro día y me quedé, vamos, alucinado, ¿no? Lo siguiente. Tiene, como hemos visto en Cajudo, de subir al PDF. Y, de hecho, bueno, lo vamos a hacer en un momento. Y mientras se hace esto, os lo cuento lo otro, ¿vale? Yo le subo un PDF, le digo, mira, a partir de este documento, genérame unas preguntas de tipo test. Fijaros que ya me va a crear, me da opción de, mira, quiero opciones de pregunta múltiple, quiero preguntas abiertas, quiero espacios en blanco, emparejamientos, puedo meter múltiples tipos de preguntas, ¿vale? Y lo voy a dar a generar. Fijaros que mientras eso está generando, lo que está haciendo es pulsar, justamente lo último que leí sobre esta herramienta es que está utilizando GPT, Ahora ha cogido mis apuntes y por fragmentos le está preguntando a GPT, la información que hay en los apuntes, en qué eventos acuñó por primera vez el término ingeniería de software. Entonces aquí te va poniendo unos cuantas, esta es la correcta. Imaginaros que esta yo, claro que es cómodo aquí editar o decir, venga, esta la borro, agrego otra opción nueva. Esto es bastante cómodo de editar, ¿vale? Entonces, bueno, lo que para mi gusto le falta aquí es que tenga un agente aquí y le puedas ir metiendo cosas. Yo creo que esto más pronto que tarde lo terminarán haciendo, ¿vale? Luego aquí todo esto lo puedes editar. Les decía que siempre hay refinamiento. Mencionada en el texto. Hombre, se sobreentiende que es mencionada en el texto. Si le hago un examen de unos apuntes, pues me refiero a estos apuntes. Y fijaros que aquí, bueno... tienen un toque un poquito memorístico, ¿vale? ¿Alguna? Bueno, ¿cuál es la actividad cuyo objetivo es este? Honestamente, estas preguntas me gustan un poquito más quizá que las de Kahoot, pero como preguntas como tal, me quedaría más con las otras. Me parecen unas preguntas bastante completas a día de hoy porque están usando el modelo Frontera, ¿vale? No obstante, puedes generar las preguntas con una guía generalista y luego eso, generar un PDF y que ese PDF se lo metes aquí, a estas herramientas. Fijaros que antes que Ajut, por ejemplo, tenían una opción de extraer preguntas del PDF. Bueno, aquí tienes más tipos de preguntas, emparejamiento, etcétera. Esto es una cosa que dices, bueno, está bastante bien. Eh... Otra cosa que me gustó es que no solo permite generar preguntas a partir de un PDF, te permite hacerlo, por ejemplo, de un vídeo de YouTube, de un enlace o de un audio. El otro día yo lo que hice es una clase, me la grabé con la grabadora del móvil, un móvil normalito, ¿vale? Le subí la clase, solo estaba grabado el audio, ¿vale? Era una clase teórica donde principalmente hablaba yo. Y luego le dije, oye, a partir de este audio que te he enviado, génerame preguntas. Y lo hizo muy, muy bien. Entonces, aquí en este caso, pues bueno, me permite mucha flexibilidad. Puedo subir vídeos, por ejemplo, esta charla cuando esté publicada y disponible, el vídeo lo podríamos llegar a subir, el enlace de YouTube, y te haría un examen tipo test sobre la charla, sobre los contenidos que hemos visto. Y luego, en general... En esta herramienta o ir a uno cualquiera, a un cuestionario que tenga cualquiera. Por ejemplo, aquí. Tiene algo muy interesante que es compartir evento, te permite ir directamente a Moodle XML. O incluso a Excel para tener tu... como un backup de las preguntas, las puedes exportar a Excel o las puedes exportar a Moodle XML, que está muy, muy bien. Entonces, entre las dos herramientas que tenemos, Kahoot y Booklab, las dos me van a permitir hacer cuestionarios gamificados rápidamente con preguntas bastante buenas. Para una clase de repaso está bien. Quizá para un examen yo las pondría un poquito más avanzadas, pero bueno, para una clase de repaso están bastante bien. Las puedes editar sobre la marcha fácilmente y además en BookLab puedes descargarlas en formato Moodle y usarlo como un cuestionario tradicional en vez de como un cuestionario gamificado. Y además BookLab te permite más fuentes de datos, no solo PDF. ¿Me he explicado? ¿Queda claro esto? Aquí tenéis una pequeña... Un enlace a los tutoriales oficiales de Kahoot y de Booklab de cómo usarlos y los atajos para llegar hasta ahí. Mi impresión general, como os decía, es que es un buen contenido. No tan bueno como el que se consigue con los modelos frontera, pero es un buen contenido. Sin embargo, te permite gamificación, te permite editar muy fácilmente los cuestionarios, fuentes de extra, exportación a Moodle, te da otras cosas que puede hacer que te merezcan la pena para hacer actividades de repaso, materiales de autoevaluación y puede que de evaluación con un bajo porcentaje de nota. Aquí quería contaros cuestionarios de evaluación, cuestionarios de evaluación o autoevaluación. En la segunda parte, aquí fijaros que hemos visto un montón de cosas. Hemos visto Copilot, para que os quede muy bien. Hemos visto Copilot con el modo lienzo, cómo editar preguntas, cómo editar todo el texto, cómo editar preguntas. Hemos visto Gemini, que funciona... A nivel funcional es muy similar, solo que además te permite Webpack. Y hemos visto Bookpack y hemos visto Kahoot, ¿vale? Son cuatro herramientas muy importantes. Y si hay algún asistente que dice, yo es que no soy muy de cuestionarios, a los estudiantes les ayuda muchísimo a estudiar. Y piénsalo de otra forma, con los modelos de evaluación continua. Si tú eres de los que pone un examen a final del cuatrimestre y otro profe pone seis parciales pequeñitos... El de los seis parciales pequeñitos van a estudiarlo poco a poco y el tuyo lo van a dejar para el final. Entonces, bueno, yo creo que todos los profesores queremos que nuestros estudiantes dediquen tiempo a nuestras asignaturas y los ejercicios de autoevaluación tipo test y similares es una estrategia muy eficaz, muy útil para que el estudiante ponga atención en un tema, ¿vale? No obstante, a veces queremos, bueno, a veces no, muy habitualmente queremos hacer cosas más complejas o con más profundidad que nos permiten un desarrollo mayor que una pregunta de tipo test. De hecho, bueno, pues sí, también los exámenes tipo test, pero también necesitamos ejercicios más complejos. para esto lo que vamos a usar son las herramientas generalistas concretamente Gemini y Copilot son las dos con las que vamos a trabajar ChargePT Cloud también nos daría unos resultados bastante buenos pero como os he dicho antes nos vamos a centrar en las dos que actualmente tenemos en la UPM una vez más temas de prompting o sea yo no le puedo decir hazme un buen examen no le puedo decir hazme un buen ejercicio de examen le tengo que dar un fijar algo así Mira, que me ayudes a hacer un ejercicio de examen para mis estudiantes de esta asignatura de segundo de informática. Voy a abordar un diagrama UML para hacer esto. El estudiante debe comprender bien los requisitos. Es importante que se preste atención a lo siguiente. Aquí ya le estoy diciendo, oye, mira, identifique casos de abusos, actores, relaciones. Esto es la información técnica que cada profesor tenga que dar en su asignatura. Pero lo que es muy importante, insisto, es esa imagen del cocido que os trasladaba antes, ¿vale? dar bastante información de qué es para vosotros un buen ejercicio. Para mí, un buen ejercicio de este tema es el que tiene todo esto. Entonces, se lo doy. Fijaros que aquí estoy... Bueno, no estoy activando la técnica de prompting de razonamiento paso a paso, pero digamos que le estoy dando detalladamente mucha información. Le estoy dando un ejemplo. Como veis aquí, adjunto un PDF que contiene un ejercicio de otros años. Le doy el contexto. Y le digo, oye, razonalo bien y tómate el tiempo que necesites. Con eso, lo que le estoy básicamente diciendo es tómate, activa ahora sí tu cadena de pensamientos. Como el ejemplo de antes lo he hecho con Gemini, vamos a hacer con... Lo voy a poner con Gemini, ¿vale? A ver... Le voy a coger el plant... No le voy a adjuntar el PDF por no andar ahora buscándolo, ¿vale? Pero sería recomendable. Y aquí, por defecto, tienen el modo flash. Cuidado con esto. Tienen el modo flash, que es, bueno, el que consume menos es más rápido. Te lo venden como, oye, para ti es más rápido. Ahora no sé por... Vale. Estoy usando la licencia nueva de la universidad y le he dado bastante caña a estos días, entonces ahora me está diciendo te dejo solo usar el Flash. Bueno, puedo usar el Pro. Voy a decir, puedo usar esto. Entonces, bueno. Le pido que me haga el ejercicio y le voy a decir, por cierto, que me abra el modo lienzo, tremendamente útil. Con el modo Pro. Entonces... En este caso, fijaros, yo le estoy diciendo cómo tiene que ser el ejercicio. Le estoy dando un ejercicio de otros años. Se lo estoy detallando mucho, mucho, mucho. Y para que la redacción de ese ejercicio me sea cómoda, esencial abrir el modo lienzo. O sea, esto es un antes y un después. Usar este tipo de modo. [Orador 1]: Vale. [Orador 2]: Voy a ir cerrando mientras tanto. Vale. Y ya me lo está dando. Me da un ejercicio de un vistazo no tiene mala pinta me parece me da directamente el código uml para hacer el diagrama razonablemente bien vale sigue trabajando en ello pero razonablemente bien ahora aquí yo pues podría decirle buscando el modo lienzo mira las funcionalidades son muy evidentes. Nada de entremezclarlas un poco más, porque lo que quiero es que los estudiantes aprendan a identificar requisitos que no son obvios. Estoy dándote una indicación para ese fragmento de texto. Claro, no quiero que le diga casi al estudiante un listado de todos los requisitos que va a tener un informático. Quiero que me lo entremezcle un poco, que me lo complique un poco para ver el estudiante esa capacidad que tiene de identificación de requisitos. Vamos a ver. Está cambiándolo. Parece que ahora ha seleccionado todos los cambios que ha hecho. Con lo cual, fijaros, a nivel de contenido sí que lo ha dado a punto, lo ha cambiado mucho. y efectivamente lo está complicando un poco. Ahora le voy a decir, ok, pero no lo pongas como un listado. Mezclalo. Entonces ahora digo, oye, no, no lo creo como un listado. Entonces, esta es una forma muy cómoda de ir editando ejercicios. Luego yo, esto es como de grano grueso, si os fijáis, porque estoy cogiendo un fragmento de texto bastante grande sobre el que ahora está haciendo modificaciones. Ahora me lo está poniendo en modo listado. Ahora aquí, fíjate, me dice la plataforma interactúa de manera transparente con los servicios de localización del API de Google Maps. Te puedo decir, no te hagas auto, no te hagas auto-pubbling y pon Waze. Voy a decir un trocito de texto. Oye, cámbiame este detalle. Eso es muy fácil. Esto lo podría haber hecho yo directamente. Fijaros que ahora la he hecho ya el cambio. Ahora ya no es Google Maps, es Waze. Y te pone el resaltado. Como veis, aquí te pone dónde ha hecho el cambio. Entonces, esta forma de trabajar ya puedo decir, complícamelo para hacer, complícalo para hacer que las llamadas estén dentro del sistema usando el sistema de videoconferencia Entonces aquí vas cogiendo trocitos de la práctica y vas modificando, bueno, esto es un examen, cogiendo fragmentos y los vas modificando, ¿vale? Esto es una forma muy cómoda de trabajar e insisto, podéis trabajar indistintamente con Gemini o con Copilot. De hecho, en uno estáis usando GPT, en el otro estáis usando Gemini Pro. Entonces, podéis ir alternándolas o si tenéis más preferencia por una o por otra, pues lo podéis usar. Tenéis ambas. Las tenemos, como veis aquí, dentro de nuestra universidad. Y nos garantiza más privacidad y más comunicación. Entonces, bueno, fijaros que ahora habrá esta modificación y podría seguir un poco peloteando el ejercicio, pero claro, realmente los que no sigan el enunciado, como tal, por el contenido teórico, pues no les va a resultar tan útil. Lo que quiero sobre todo es que veáis la filosofía que hay de trabajo. Mi planteamiento general es que es muy adecuado. El enunciado que hace es bastante, bastante adecuado. Esto no quita para que luego haya cosas muy obvias o alguna cosa que no se entienda bien o cosas de tu propia cosecha que digas, no, no, es que quiero preguntar exactamente esto. O sea, requiere un gran refinado por tu parte. Requiere un gran refinado. Aquí hay una rata luego en los que apuntes. Bueno, vosotros lo... lo cambio, ¿vale? Entonces, bueno, mi impresión general es que, oye, da un resultado muy, muy óptimo, ¿vale? Y esto lo he usado para un examen, pero fijaros, aquí tenéis otros ejemplos que he usado hace poco. En este caso, profesor de base de datos, genérame un ejercicio teórico sobre esto y un ejercicio práctico sobre esto otro. Y le paso mis apuntes para las prácticas. Muy, muy útil para las prácticas. Yo no sé si les pasará a más profesores y profesoras, pero yo ya paso un año y digo, ¿y qué les pregunto ahora si ya hemos hecho un sistema de A, B, C, D, E? A ver, quiero más ideas. Entonces, para prácticas también es muy interesante. Algo que a mí me gusta hacer y que creo que es tremendamente útil es, en este caso, adjunto una práctica del año pasado. En primer lugar, analiza con profundidad los objetivos de aprendizaje subyacentes. Te doy una práctica de otro año. Te digo que me analices, por favor, cuáles son los objetivos de esa práctica. Y cuando lo tengas bien analizado en detalle, después de eso, te pongo en otro prompt, lo corrijo, lo que tenga que corregir, porque puede que identifique unos objetivos de aprendizaje que no son realmente todos los que hay o que hay alguno que no está, etcétera, etcétera. Y luego le pido que genere el enunciado para la práctica, una completamente nueva. Entonces, esto de hacerlo en dos fases... es algo especialmente útil. Le pasas materiales, ejercicios, prácticas de otros años, le dices, oye, analízame cuáles son los resultados de aprendizaje que se obtienen con esta práctica, incluso le puedes pasar la guía docente donde vienen tus resultados de aprendizaje, y después de eso le dices, oye, genérame ahora un enunciado nuevo, que evalúe lo mismo, pero cambie el contexto. Y luego, aquí, por ejemplo, para identificar un apartado extra que incluye una sección de desafío avanzado para alumnos que busquen la nota máxima. Entonces, es muy cómodo, como veis aquí en naranjita, para personalizar ejercicios, para algún estudiante que va más avanzado darle algún apartado extra, para hacer adaptaciones curriculares... Es algo que nos viene muy bien. Y aquí tenéis abajo vuestro otro front. Me gusta poneros unos cuantos front que luego los podáis usar y adaptar a vuestra manera. Pero en general lo que os quería trasladar es para crear, primero hemos visto unas cuantas herramientas con las que hacer ejercicios de autovaluación, exámenes tipo test, etcétera. Después nos hemos centrado en ejercicios más complejos, como por ejemplo un ejercicio de examen o de una práctica, y hemos visto algunos prompts de ejemplo. Hemos visto algunos prompts de ejemplo, este sobre un ejercicio de examen, este sobre una práctica. Quedaros con lo de las dos fases, que es muy útil si le pasas ejercicios o prácticas de otros años, primero pedirle un análisis, luego revisas tú ese análisis, y ese análisis es uno de los inputs para la siguiente iteración. Y esto nos va a permitir rápidamente crear prácticas de un nivel de calidad similar al que tenemos. Porque recordad que eso es el cocido. Si tú lo que le echas al cocido es un buen material, saldrá un buen cocido. Si tú le pones buenos ejercicios de otros años, buenas prácticas, es razonablemente sencillo para una IA imitar ese estilo. Entonces, esto no quita para que luego, por supuesto, tenemos que revisarlo. Tenemos que adaptarlo, tenemos que probablemente añadir cosas que a la IA se le han pasado por alto y son muy importantes de preguntar, pero esto es una ayuda para, oye, tener más ejercicios, ir más rápido y además llegar a un nivel de calidad que a veces te pueden dar ideas que a ti no se te habían ocurrido como profesor. ¿Lo tenéis esto? ¿Alguna duda o pregunta hasta aquí sobre generación de ejercicios, prácticas, etcétera? Vale. Vamos a otro punto, ¿vale? Ahora vamos a ir a otro punto. Estos dos puntos los voy a contar un poquito más rápido, que tenemos menos tiempo y además son más complementarios, esto me preocupa menos. Tiene recursos de evaluación mediante Notebook LM. Esto lo voy a contar muy por encima porque además vamos a tener una sesión con el personal de Google que supongo que nos hablarán también de Notebook LM, pero por si alguno es una herramienta que no tiene en el radar... Es una excelente herramienta de análisis documental y de creación de recursos complementarios. Es una herramienta que está muy bien para que, dado, por ejemplo, unos apuntes, unas diapositivas, unos informes, unas normativas, dado esos recursos, empezar a hacer preguntas sobre ello. Esta parte de análisis documental es algo que lo podríamos usar Si tuviésemos el consentimiento de los estudiantes para que nos asistiesen las labores de evaluación, realmente yo por ejemplo a los estudiantes de TFG les pido primero consentimiento y luego si me dan su consentimiento me garantizan que el material que tienen es suyo y me dan el permiso para hacer un análisis con Notebook LM. Subo ahí el TFG y empiezo a hacerle preguntas para, a lo mejor, un documento de 150 páginas y tú a los puntos clave, sin hacer tanto scroll para arriba o para abajo, y nos viene muy bien para charlar con el documento. Pero en esta sesión, sobre todo, que es de creación de materiales de evaluación, me quiero centrar sobre todo en la parte de los recursos complementarios. Notebook es una herramienta que nos va a permitir crear materiales complementarios muy interesantes, muy potentes. En este caso, me he creado un notebook en mi cuenta UPM, ¿vale? Me he creado un notebook de una asignatura, que es administración de base de datos, concretamente el tema 1, ¿vale? En este caso, chisto, hay una parte de... A ver, voy a tratar de hacer esto aquí. Vale. Hay una parte muy interesante de charlar con el documento de análisis documental. Yo puedo decir, oye, según el texto que hace un administrador de bases de datos. Entonces, ¿qué es lo que va a ocurrir en este caso? Esto lo que va a hacer es fijarse en esta fuente. Concretamente, Se va al PDF y te dice, mira, en esta parte del PDF, en esta diapositiva de aquí, hay un texto que te dice esto. Concretamente, este texto, ¿vale? Te dice aquí la respuesta y aquí te dice la respuesta. Y esta te dice que son sus objetivos principales. Entonces, esto para los estudiantes es una herramienta de autoestudio muy buena. Yo, de hecho, lo que les tengo, yo además que la tenemos... institucional, todavía con más razón, yo les comparto directamente cuadernos con los apuntes que ya se han generado resúmenes, mapas mentales, etcétera, etcétera. Y eso lo veremos ahora a continuación, ¿vale? Pero, insisto, para los que no hayáis usado mucho notebook LM, quedaros con la idea de que tiene las fuentes, por un lado, y eso aumenta totalmente la fiabilidad, ¿vale?, realmente debe solo de tus fuentes. Podría decir según otras fuentes que hace un administrador de base de drones. Lo voy a poner como muy obvio. Lo que debería decirme es que solo tiene acceso al PDF que le he dado. Debería decirme algo así. Veremos ahora a efecto demo si esto me deja mal o no. Pero en general debería decirme oye, me tengo que guiar de tus apuntes. Las fuentes proporcionadas por mí quitan varios autores y obras de referencia que amplían la visión, como esta, esta y esta, efectivamente. Dado que el material se basa en estas referencias, si deseas obtener información de fuentes externas o tendencias, puedes realizar una búsqueda. Entonces, fijaros que tú le dices, búscame algo externo y lo que te hace es buscarte en tu PDF referencias que tienes y te dice, venga, vale. Pero tiene las fuentes que tú le proporciones, con lo cual aquí ganamos mucha fiabilidad y minimizamos las posibilidades de alucinaciones y tiene toda la verbosidad y toda… toda la parte textual que nos da Gemini. O sea, que en Notebook combina una serie de fuentes que tú cargas, que es la información en la que tú confías, y además, a través de Gemini, eres capaz de conversar con esos documentos. Esto sería para el análisis documental. Seguro que los de Google nos lo cuentan en mucho más detenimiento. Y luego, la parte que sobre todo quería contaros ahora Lo que hace es generarte distintos recursos. Hay muchos recursos y que son muy espectaculares, como por ejemplo los resúmenes de audio o las infografías y demás. Pero bueno, en este taller que va de materiales de evaluación, yo lo que quiero que veáis es cómo con esos apuntes, que en este caso van de bases de datos, me ha generado automáticamente un cuestionario. Fijaros, os recordará el que hemos visto con Gemini, porque en el fondo Notebook está usando Gemini, ¿vale? Entonces, es el mismo tipo de cuestionario. Lo único que este tiene una diferencia que a mí me gusta mucho, que si fallas, por ejemplo, te dice aquí, explica. Entonces, fijaros qué interesante que cuando al estudiante aquí le planteas un cuestionario, el estudiante falla una respuesta. Todo esto lo puedes compartir con tus estudiantes, ¿vale? O sea, son materiales de evaluación para el estudiante. Eh... Digo, estás incorrecta y luego me dice, bueno, es comprensible que hayas elegido esta, ya que el lenguaje cotidiano y diseñar y modelar parece lo mismo. Hay una distinción muy importante. Y todas estas explicaciones que están dando aquí son las explicaciones de los apuntes. Entonces, o te dice, en este caso de aquí, te dice... básicamente tú has fallado la pregunta, la has dicho aquí, explícamelo en este botón, la has dicho, explícamelo, en el panel del chat te empieza a explicar por qué la pregunta correcta es la que está dada como buena y no la que tú has elegido y te empieza a hacer una explicación detallada de por qué es así y a mí esto me da mucha tranquilidad porque es una explicación basada totalmente en mis apuntes, en mis fuentes. Aquí te hace un resumen. Perfecto. Y luego incluso lo puedes guardar como nota y decir, voy a generar una nota para guardarme muy bien esto del ciclo de vida y la arquitectura de las bases de datos. Veis un poco el flujo. El flujo es muy interesante. Subes tus apuntes. generas un cuestionario y todo esto lo puedes compartir con tus estudiantes. Los estudiantes pueden hacer el cuestionario y según van, pueden ir pidiendo pistas o no, y según vayan haciendo el cuestionario, si necesitan una explicación adicional, van a poner aquí una explicación y pueden conversar a través de este chat teniendo en cuenta siempre las fuentes que les has proporcionado. Entonces, esto a mí me parece un flujo de trabajo potentísimo, potentísimo, muy útil. Luego también, esto es un material de evaluación y de autoevaluación, porque en el fondo es más de autoevaluación porque tú al estudiante no le... Luego no puedes ver las que ha tenido bien, las que ha tenido mal. Para eso lo tienes que exportar en Moodle XML y poner en tu campus virtual. Pero si lo que quieres es tener materiales para que los estudiantes hagan cosas, es muy útil. Igual que los datos de las tarjetas, que también es una forma de autoevaluación. ¿Qué signos representan al software diseñado para la gestión y administración? Este ejemplo. Un sistema de base de datos especializado en mantener información mediante cuatro componentes. Datos, hardware, software y usuarios, creo. ¿No? Usuarios. Vale. Oye, no me queda clara esta. ¿Podrías explicarme por qué no es? Le das aquí a explicar. Fijaros que el chat empieza a dar una explicación, ¿vale? Entonces, he estado aquí una vez más a dar una explicación. Y con esta explicación que ha proporcionado... una vez más basada en los apuntes. Y seguiríamos con este tipo de tarjetas, que es un recurso de autoevaluación muy útil para el estudiante. ¿Lo tenemos esto? Ha sido un poco breve, pero yo creo que es suficiente para que en un taller de creación de materiales de evaluación no perdáis de vista Notebook LM, que nos va a permitir generar un montón de recursos. Por último, vamos a comentar muy brevemente dos usos un poquito más disruptivos de la inteligencia artificial hoy día, que puede ser el uso de agentes inteligentes. Sin ser este un taller detallado de agentes inteligentes, que no es ese el objetivo, ya hemos hecho en el pasado cursos sobre agentes inteligentes. En este caso, simplemente quiero mencionar que los agentes inteligentes pueden ser realmente un recurso que complemente nuestros materiales de evaluación muy bien. ¿Qué recurso, qué agente os proponemos usar? Pues Copilot Studio Lite, que es actualmente con el que tenemos licencia. Luego Google tiene también Gemini, sus propios recursos, sus propios agentes. que se llaman gemas, pero ahora mismo no lo tenemos activado en nuestra licencia, entonces los paso por alto y me centro en Copilot Studio Lite. En Copilot Studio Lite, en el panel izquierdo, tú puedes ver los agentes y puedes crear un nuevo agente. Cuando creas un nuevo agente, le tienes que dar esta información. Principalmente instrucciones, y ahora lo digo, y ya si que es una hora peligrosa, aquí metemos lo del cocido. Aquí ya Ya tienes que meter esa buena imagen del cocido, seguirme el símil, una instrucción muy detallada de lo que tiene que hacer el agente. Y le tienes que dar una serie de conocimientos, unos ficheros. Que en el caso de Copainito Studio Lite, con la licencia que tenemos, lo que hay que hacer, no te permite que le subas tal cual el fichero, le tienes que dar una URL pública del fichero para que la consulte. Pero bueno, esto es un detalle menor, creo. Entonces, bueno, así configuramos los agentes de Copilot Studio, ¿vale? Copilot Studio Lite, estamos en la versión básica, ¿vale? También le puedes quitar capacidades, como por ejemplo aquí, de, bueno, no quiero que mi agente cree gráficos o no cree imágenes, etcétera, etcétera. Y tienes aquí unos flags de, oye, quiero que busques también por internet o no, no, quiero que busques solo en los ficheros que yo te he dado, ¿vale? Esto es como el panel para configurar Copilot Studio, ¿vale? Os cuento aquí un ejemplo que hemos hecho. Un asistente de prácticas. Yo tengo que asumir... Bueno, lo voy a poner... Esto sería la configuración, perdonad, para que lo tengáis ahí en mente y luego podáis repasar. Le dais a crear agente, le dais aquí en el panel izquierdo a crear nuevo agente. Se te abre un panel con la información y tú le vas proporcionando la información que necesitas, ¿vale? Pongo aquí el prompt, que es lo que más me interesa, ¿vale? En este caso, ¿qué es lo que ocurre? Tenéis que asumir, yo creo que todos lo tenemos que asumir, que una vez les ponemos a nuestros estudiantes, por ejemplo, una práctica, un trabajo, se lo van a pasar directamente a la IA de turno para que les ayude a hacerlo. Entonces, yo algo que empecé a hacer hace un tiempo y que ha funcionado bastante bien, es que les digo, mira, si le pedís directamente a la IA la solución, te la va a dar, pero no vas a aprender nada. Y esto no puede ser, porque de lo que va realmente es de que aprendas. Entonces, en este caso es un asistente de prácticas. Lo que hago yo es decirle, mira, te doy un enunciado, usa la información de este enunciado, ¿vale? Y lo que puedes hacer es explicar con claridad, aclarar requisitos, proponer ejemplos genéricos, guiar paso a paso la interpretación del enunciado. Lo que no te dejo que hagas es proporcionar una solución completa, generar, en este caso, como es de informática, generar códigos software. No puedes asumir requisitos que no están en el texto. Y te estoy dando de forma muy detallada lo que puedo y lo que no puedo hacer. Entonces, claro, no es lo mismo poner una práctica a los estudiantes y decir, bueno, asumo que van a usar la IA, pues que la usen y no aprendan, puede ser. Pero la otra opción que yo he estado haciendo, y que al principio pensaba que los estudiantes no iban a pasar mucho, pero luego he visto que sí, es, mira, yo te doy un agente. Ese agente ya está cargado del enunciado y está configurado por mí como quiero que te ayude, que te ayude a pensar. Está puesto con un modo socrático, les ayuda a pensar. Entonces, claro, el estilo de interacción está diseñado para que el estudiante aprenda. Entonces... Ya que asumo que van a usar la inteligencia artificial, lo que hago es darles un agente y ese agente les va a ayudar precisamente a pensar un poquito más. Entonces, podemos usar los agentes de esta manera con nuestros estudiantes, muy interesante, y otra forma que tenemos es hacer enunciados que sean agénticos, ¿vale? Es decir, en vez de poner un PDF directamente en el que venga el enunciado de la práctica, podemos crear pequeños agentes que les vayan a dar poco a poco el enunciado. ¿Esto cuándo tiene sentido? Pues, por ejemplo, nosotros que hacemos ingeniería de software, nos viene muy bien que en vez de leer todos los requisitos a través de un enunciado, lo lean a través de... extraigan esa información hablando a ciertos agentes que simulan, en este caso, esto simulaba ser un... el software para gestionar un gimnasio dentro de la universidad, ¿vale? Entonces ponemos a una persona que es una administrativa, luego ponemos a una morintra y luego ponemos a estudiantes. Tú sales la aplicación, entonces a cada uno le doy un rol, le doy unos conocimientos y son capaces de que el enunciado sea más interactivo esto en algunos casos dependiendo de la disciplina que tengáis puede ser más o menos útil pero sí que quería mostrar que los agentes inteligentes se pueden utilizar para crear materiales de evaluación y complementar los materiales de evaluación es una forma sencilla que tenemos de crear agentes y que podemos, por ejemplo, crear un agente que nos sirva de asistente de las prácticas o crear un agente que nos sirva para hacer unos enunciados un tanto diferentes que en ciertos casos nos pueden venir muy bien. Bien, con las dos menos dos minutos, quería tratar de ser puntual, lo estoy diciendo, creo. Esto es lo que hemos visto, lo que hemos compartido en este taller de este par de horas. Primero una fundamentación sobre la inteligencia artificial y sobre cómo afecta a la educación y más concretamente al proceso de evaluación. Luego hemos visto qué tecnologías hay disponibles, cuáles son los principales LMS y nos hemos centrado en aquellas tecnologías que tenemos disponibles dentro de la UPM. Y antes de ponerlas a usarlas como un pollo sin cabeza, muy importante pensar en los conceptos básicos de Prompting, que habéis tenido una sesión detallada y que aquí hemos recapitulado dos o tres conceptos clave, y conceptos básicos de todas las herramientas generalistas, concretamente el modo lienzo, el aprendizaje guiado, compartir conversaciones, son cositas que pueden ser bastante útiles. Y luego, la mayor parte del taller la hemos centrado en cómo crear materiales de evaluación asistidos ...por las herramientas de inteligencia artificial......que nos proporciona la UPM......cuestionarios de autoevaluación......que lo hemos visto con herramientas generalísticas......como Copilot y Gemini......luego con herramientas especialistas......como Booklab y Kahoot......cada una tiene sus pros y sus contras......luego creación de ejercicios......más avanzados... Y hemos finalizado dando unas breves pinceladas de creación de recursos de autoevaluación con notebook LM y uso de agentes inteligentes para tener unos materiales de evaluación más completos. Espero haberme explicado bien, que haya quedado todo claro. Voy a dejar de compartir la pantalla para que me veáis en grande y poder veros en grande. Espero que haya sido útil, provechoso este ratito y, sobre todo, que lo tengáis más en... Que integréis más en vuestro día a día todavía la inteligencia artificial para que os vaya ayudando. Si tenéis alguna duda o pregunta, son las dos. Yo no tengo problema en contestaros ahora. Bueno, no sé si hay alguna duda, Daniel, que ahora mismo no tengo abierto el chat. Nada, agradecerte la presentación. Bueno, la verdad es que esto evoluciona tan rápido que algunas cosas que quieras ir al día, pues rápidamente se te quedan obsoletas. Yo quería insistir mucho en algo que se ha comentado, que se comenta en múltiples seminarios de estos y es cuidado con dónde subimos las cosas. Hemos hecho un esfuerzo creo que importante para que la comunidad tenga dos herramientas y ya no se tenga que quedar solo con una. Y os invitamos a que utilicéis estas dos. Ha habido algunas personas que a raíz del correo que mandamos la semana pasada me han dicho pues a mí me gusta más esta otra y por qué no contratáis esta otra. Es una cuestión de dinero exclusivamente. Hay herramientas que escalan razonablemente bien. Y otras que no escalan. Para que os hagáis una idea, CharGPT son 20 euros por número de profesores por 12 meses. Si echáis la cuenta, es una cuenta bastante fácil, pues sale en torno a medio millón de euros. no tenemos esa capacidad económica. Estamos muy pendientes y hablando con todos los proveedores para que en algún momento decidan hacer licencias campus o acercarse un poco a las universidades, pues obviamente no tenemos ninguna preferencia por nuestro lado y abriríamos la posibilidad a todas las que se acerquen o que podamos contratar. Entonces, si en algún momento esas cosas se ponen a tiro, pues En cualquier caso, y para contratación de otras herramientas y demás, vamos a organizar un seminario ya más cerca del verano para explicar un poco los mecanismos de contratación de las cosas que no podemos contratar de forma centralizada. Pero no quiero hacer spoiler de algo que vendrá, así que ya os lo contaremos. No sé si hay alguna pregunta en el chat. Las estaba viendo yo y decía Sonia que las había ido contestando sobre la marcha. Yo quería ir muchos comentarios de agradecimiento, quería devolver el agradecimiento. Muchas gracias a todos los asistentes por estar atentos y por los comentarios que estáis dando. Y gracias Sonia, Jessy, por estar pendientes del chat y contestando las dudas que hayan podido surgir. Muy bien, pues nada, gracias a todos. Nos vemos la semana que viene. Un abrazo. Gracias. Hasta luego. Adiós.