[Orador 2]: No sé si hay alguna cuestión, alguna pregunta que queráis trasladar a los ponentes de esta sesión. Por aquí. [Orador 8]: Ponente de la evaluación por pares, creo que eres tú. Vamos a ver, yo estoy utilizando este año por primera vez el taller, ¿no? Y tú me estás diciendo que tú evalúas a tres alumnos, evalúas a un compañero y el profesor, o sea, nosotros evaluamos a ese mismo compañero. ¿Y eso se puede hacer a través del taller? Sí. ¿Y esos tres puntos los cojas aleatoriamente? [Orador 4]: A través del taller tú haces que el cliente reparta aleatoriamente tantos trabajos para una misma comunidad. A cada alumno le asignaba tres trabajos y a cada trabajo le asignaba tres trabajos. Y luego yo, a mayores juradas, si finaliza el proceso de evaluación por parte de los alumnos, entraba y hacía otra evaluación. Luego pondrías y dices que el trabajo de los alumnos valga X a la regla de 3 y el trabajo tuyo Y. Yo normalmente lo que hacía era un 80%, porque es que si no se quejaban, un 80% el trabajo de la evaluación del profesor y un 30%. Yo lo que hacía eran correcciones. Es decir, a mí me decían los alumnos que este problema que decía que comentaba él, No, es que el feedback del alumno, dice el alumno que los compañeros no tienen criterios. Yo veía que el feedback, yo leía los feedbacks, si el feedback que me habían dado no era el adecuado, yo corregía. Es decir, yo daba nota por encima de lo que me parecía que era. si no la vayamos a poner debajo, al final es un poco... supone trabajo pero bueno... Sí, la primera vez supone trabajo y después ya van fijándole... Sí, sí, luego es sencillo, una vez lo tienes copias el curso y... Sí, bueno, ok, gracias. [Orador 2]: Me dicen que nos están grabando por el micrófono ambiente, tenemos otra cuestión por lo cual no hace falta eso. [Orador 7]: Yo tenía una pregunta para ustedes tres. Sí. Cuando decías que las rubricas parecía que no habían funcionado, que no... suponía que debías guiarles, pero que al final no. Yo quería preguntarte si esa rúplica se la practicabais sin más, o había un pequeño entrenamiento, una formación, porque claro, una herramienta sirve también si sabes usarla, ¿no? [Orador 1]: Sí, a ver, la rúplica nuestra que le proponíamos era relativamente simple, era que programasen X aspectos de la presentación del trabajo, y eran realmente habituales dentro de nuestro entorno, o sea, eran como muy habituales dentro del ámbito de la arquitectura. Lo que sucede es que nosotros, de alguna manera, yo creo que la rúbrica en el fondo no verbalizaba adecuadamente las diversas categorías que había, por eso perdí la ratón, había que afinarla un poquito más. Tengo un melón muy grande. Y luego, además, con el problema añadido que es que yo creo que el alumno no sabía en el fondo lo que estaba valorando. En esto te doy la razón, pero nosotros cada vez pecamos de ingenuos pensando que de esta manera obtendríamos un resultado más lineal. Si hay rúbrica, todo el mundo usa la rúbrica, el resultado será más homogéneo y no. El ejercicio era así de trivial. y lo otro que vimos es que, fundamentalmente, somos visuales y donde nos sentíamos más a gusto los alumnos era valorando un plano, si lo que representaba el plano estaba bien, si como lo explicaba estaba bien, no tanto los valores cuantitativos del estudio de la densidad de viviendas, etc. Eso se vio que no había tanta correlación. En resumen, Tú te ponías una nota y según como tú veías, valorabas equivalentemente a los demás compañeros. Pero no coincidía en nada como si los compañeros te veían. Y eso creaba una especie como de dislexia que estábamos analizando a ver dónde pasa. Entonces lo vamos a repetir con alumnos de máster, a ver si en asignatura equivalente las cosas se van acordando y evidentemente mejorando la rubrica porque entendemos que le hace falta matices. Pero claro, en el mundo de la arquitectura, de la percepción visual, del comentario de un dibujo, del comentario de una obra de arte, del comentario de una fotografía... Lo objetivo y lo subjetivo depende mucho de la cultura. Piensa que en esta asignatura el problema que tenemos es que vienen alumnos Erasmus de diversos países. Está mal hecho el modelo porque tenemos 18 alumnos y no tenemos 3 alumnos europeos, 2 alumnos latinoamericanos. No es homogéneo. [Orador 7]: Todo es mía culpa, pero hay que repetirlo y mejorar. La técnica bien hecha puede ayudar a que esa ingeniería de alumnos pueda coincidir mejor. [Orador 1]: pero es un reto en el mundo de la arquitectura y en el mundo de la valoración de cosas predominantemente subjetivas. Por eso estamos donde estamos también. [Orador 2]: Es fácil encontrar casos, por ejemplo, que sobre el mismo proyecto, los alumnos están corrigiendo con un profesor de la asignatura de proyectos, a lo mejor están presentando un cuarto, están trabajando en el despacho del profesor de proyectos de primero y segundo, tienes un proyecto cuadrado, está todo perfecto, ningún problema y cuando llega luego a la revisión, este proyecto es una mierda, esto es un corral, tíralo a la basura, suicídate, tírate por... Entonces al final incluso esta misma disparidad de criterios, esta subjetividad sobre todo en aspectos artísticos, gráficos, hace que incluso el mismo alumno, en función del perfil que tenga, que haya mamado más aspectos de diseño, o que sea más tecnólogo, o que sea más friki, o que sea como queramos, automáticamente te está generando una disipabilidad en la evaluación espectacular. Falta una homogeneidad de criterios muy complicada, sobre todo en estas asignaturas en las cuales tienes propuestas de intervención que son muy variables. No sé si... Sí, por favor. [Orador 3]: Sí. Bueno, eso puede ser una opción, pero desde los estudios de Reikus y de Reikus de los 40 sobre las fases de tránsito del experto al experto, se postula que parte del avance consiste en la capacidad de auto evaluarse y de reflexionar sobre el trabajo de otros. O sea, cuando ya tienes cierto ojo clínico, empiezas a ver cosas que antes no veías. Y eso puede ser un sesgo, es decir, habría también que hacer un estudio longitudinal y ver cómo se va desarrollando esta capacidad a lo largo del proceso formativo. Es muy probable que al principio, aunque la pública esté bien, aunque esté bien hecha, no distinga una serie de cosas. Aunque ya le empiece a señalar, fíjate en esto, no sería correcto eliminarla, ¿verdad? Pero probablemente, conforme se van formando, empiecen a distinguir cosas que no distinguían en las etapas asistentes. iniciales de la formación. Entonces hay también un sesgo de maduración del alumno, maduración entre comillas, del alumno a lo largo del proceso. [Orador 2]: Incluso hay un problema de implantación. Hace unos años que se implantó Bologna, pero también estamos en su escuela y en la mía, estamos en escuelas diferentes, el trabajo con rúbricas, el trabajo de autoevaluación, etcétera, Es totalmente ajeno a la mayoría de profesores, la gran mayoría son externos que vienen, doy la clase, cojo y me voy. Por su corrijo en casa, todo este trabajo adicional de diseñar un sistema de autoevaluación, un sistema de rúbicas formal que se ajusta a los contenidos, a las necesidades, se están viendo venir un poco las orejas al lobo cuando ahora te viene Generalitat en nuestro caso y te dice tienes que acreditar la carrera. a ver cómo has cumplido lo que estás poniendo en la ficha. Entonces, en estos momentos es cuando, sobre todo campos más artísticos, al menos nosotros lo estamos viendo en la parte de arquitectura, no sé si a lo mejor en Bellas Artes ha sucedido algo parecido o no, pero en nuestro caso se ha visto como, hey, hay que ponerse las pilas y volver al sistema de la rúbrica que estaba definida inicialmente y que no se ha vuelto a implementar. O sea, al final el examen es un 4 o un 5. O el ejercicio es un 3, un 4. O el proyecto es un 4, un 6. ¿Y por qué un 4, un 6? Que en muchos casos al final tienes la nota, al final del curso, sin ningún feedback previo. Y tienes al alumno rebotado diciendo, ¿y ahora por qué tengo un 4? ¿De dónde sale el 4? Entonces, es un proceso que creo que nosotros creímos en esta parte artística, técnica, en los próximos... 5 o 10 años tiene que acabar saliendo mucho más desarrollo, datos, establecer las lógicas de manera formal. Interesante a mi me parece que lo que se ha comentado también del posible valor formativo que pueda tener la nube, que también se va dirigiendo a la nube a que empiece a ver esas cosas que a lo mejor sus capacidades todavía no ven. [Orador 1]: De todas maneras, nosotros en el mundo de la arquitectura usamos un método, yo llamo método cátalo, mátalos todos que Dios escogerá los buenos. Es un método brutal, el profesor llega y el alumno después de un tiempo decir Funciona, estructuralmente se aguanta, está bien insertado en el tejido histórico, pero es SEO. Son palabras elegantes con palabras juntas, ¿no? Eso no quiere decir que falle el sistema, o sea, nuestros estudiantes están en una carrera que tiene más años que otras, todos los días hacen proyectos y se cuecen a fuego lento, pero es lo de los palos que le iban a dar, al final acaba saliendo... Acabas adquiriendo. Lo difícil, de alguna manera, es racionalizar el proceso. A nosotros nos interesa porque en un momento determinado nosotros tenemos que poner números, valores. Y ya no es la época en que todo vale. Ahora mi estudiante protesta con razón porque le has puesto un 4 porque pierde una beca. ¿Y por qué no le pones un 9,5? Porque tiene matrícula de honor. Y en una universidad pública, seamos serios, Es ley, hay que cumplir esas cosas. Para el resto de los estudios es bajar de las nubes del ojoísmo de que somos fantásticos y de que somos una institución pública que tenemos que enseñar bien. Y ese proceso, a lo mejor empezamos tarde, pero nos motiva, sobre todo porque nos movemos en un mundo donde las tecnologías de la información son nuestros estudiantes, o sea, lo de la realidad aumentada va de serie, porque luego vas a enseñar el proyecto a un cliente. O sea, en la informática gráfica, pero al mismo tiempo tienes que ser capaz de hacer una buena fotografía y dibujar a mano alzada un boceto. Y a mí no tengo saber de matemática. Eso crea un tipo de perfil especial, que no es que sea perfecto. Nosotros lo que intentamos es mejorarlo con un cierto procedimiento científico y que los profesores nuestros, aparte de profesionales de la calle que saben mucho y tienen buenos encargos, sean buenos profesores. Que es un poco la asignatura y lo que estamos intentando con dignidad y con trabajo. [Orador 5]: No he oído en ningún momento, pero creo que es una reflexión que deberíamos hacer los docentes, y la crítica es buena obra de la ciencia, pero es superar el ejercicio de reflexión sobre la actividad que plantea, y la de la crítica, porque si es la que no funciona, pues es la verdad. Eso no lo hacemos nosotros. y parte del éxito de la rústica está en el trabajo que nosotros hacíamos, en el beneficio de la rústica. Creo que el trabajo llega con consecuencias muy largas, pero que no es lo que hacemos también en la rústica, y es que no hacía mucho trabajo. [Orador 3]: Toda profesión tiene dos aspectos. Un aspecto más rutinario, más estabilizable. Y otro aspecto más creativo, más inventivo, más insight. Y habría tal vez que tratar de ver los dos. Se puede hacer un division de los profesores, ver la confiabilidad entre árbitros, ver qué aspectos observan y tratar de sistematizarlos. Pero si lográsemos sistematizar la creatividad, es que ya no es creativa. Es decir, la estandarizamos y entonces ya no es creativa, es estándar. Entonces, hay una frontera ahí que hay que ver. Entonces, hay cosas que sí podemos más o menos estandarizar. Hay otras que son juicios expertos, son insider expertos de esto es una estupidez. Y oye, pero ¿por qué no sé? Yo siento aquí mi conocimiento. No funciona. Es un conocimiento tácito, ¿no? pero es el que permite avanzar, entonces sí hay que tratar de hacer una disección entre los dos y ver qué cosas son estandarizables y cuáles cosas, por más que hagamos, si las pudiésemos estandarizar, pues es que ya las cosificamos, ya son inertes y ya se detuvo el avance. Última pregunta antes de irnos al café, que nos vamos fuera de tiempo. Y el tiempo es solo. Última pregunta. [Orador 6]: Para el trabajo de evaluación por país. Son más que nada varias cuestiones sobre la implementación. ¿Cuántas prácticas tenéis en los medios de comunicación? [Orador 4]: cuando se hacen partículas normalmente, lo que pasa es que solamente si lo anulamos, una que supone el 35% de la nota que era el completo que se estaba anulando y otra que es el 65% restante dentro de la nota. [Orador 6]: Y eso es con los elementos de corrección total. Lo hemos aplicado al 35% de la campana. ¿Y hay tiempo suficiente en la organización para que los alumnos puedan dedicar parte a ese tipo de corrección? Sí. Yo lo veo, nosotros siempre vamos pillados a la hora de correr. para cumplir plazos, extraer notas y muchas veces las correcciones se hacen una vez que ya terminan las clases y ya está el periodo de exámenes. Entonces, pedirle ese trabajo a los alumnos no sé si es posible. [Orador 4]: Yo quiero decir que esta práctica, la que yo mostraba, tenía un tiempo de corrección de los tres, de una hora y veinticinco minutos. Una hora y veinticinco minutos creo que tendríamos porque realmente es una práctica que a nivel de código supone unas... Es un poco tecnicista esto, pero supone unas 200 líneas de código. Quiero decir, no es un programa, no es una cosa grande de evaluar. Entonces, para ellos no suponía nada, pero tenían ejemplos de cosas que ellos no pensaban. Es decir, se encontraban con soluciones que eran las que ellos pensaban. Y debería ser igualmente válido. Si todo ello es el feedback, dices, mira, está bien o no. Pues yo no lo haría así, pero me parece que lo que estás haciendo está más o menos bien. Y luego, claro, el problema es para nosotros. En este caso, para evitar copias, que hemos tenido bastantes problemas, corregíamos todo un profesor, en este caso era yo. Estamos hablando de 110 trabajos que por mucho que sean Este tiempo, al final, supone una cosa. Era en medio del curso. Quiero decir, era antes de Navidad. Tenían que entregarla, si no recuerdo mal, la larga del formulario. Tenían que entregarla antes de Navidad y teníamos que tener las correcciones dentro de su pesado. Entonces, estuvieron. Y para ellos no fue mucho problema porque al final, bajo una hora y veinticinco minutos, lo sacan en cualquier momento. Y ahora sí, el cambio positivo. O sea, si al final de cuentas es un ejercicio muy muy grande, igual lo que no tienen es capacidad para evaluar. desde mi punto de vista. Es decir, tienes que aportarlo mucho. Es decir, mira, un ejercicio que sea pequeñito, que sea manejable, que ellos entiendan más o menos los conceptos que tienen que ser y que no les suponga mucho. Si al final les pedimos más horas, las que están empleando gente, primero te pueden cumplir. Porque eso de, es que empleando gente, dice, no, no, no. Es el de, se ha ganado la gente y tenemos un problema, ¿no? Les decíamos, bueno, esto os va a suponer este tiempo. Y no se iba mucho más, ¿eh? Era totalmente efectivo, es un campo que rellenaba y ellos ponían lo que habían tardado. No había ninguno que se fuera mucho más allá. Algunos que tardaban menos, algunos que tardaban más, pero en mente, estábamos sobre ese punto, que es más formalizado. En este caso sí, es dentro de las reglas culturales. [Orador 2]: Pero este año es otro cáncer, es otro tipo de cáncer. Agradecer a todos los presentes vuestra atención, vuestra interacción con los presentes y si tenéis más dudas y más preguntas.