Evaluar con IA: un ejemplo práctico

Si quieres escuchar, antes o después de leer este artículo, un resumen dialogado en formato podcast, creado por la IA generativa de NotebookLM, lo adjunto aquí abajo. El podcast ofrece en un formato creativo y muy motivador los contenidos de este artículo. Lo he escuchado y no lo hace nada mal. Todas las ideas de mi artículo aparecen en el podcast y quizá te motive más escucharlas a través de un diálogo en audio. Tardarás en escucharlo más o menos el mismo tiempo que leer este artículo, y quizá te anime a leerlo después o seleccionar los contenidos que más te interesen.

Enlace al podcast

Uno de los retos que traerá la IA en el ámbito educativo será la posibilidad de que facilite, ayude, oriente al docente en el proceso de evaluación. La pregunta que subyace cuando abrimos este melón es: ¿Podrá evaluar tal y como yo evalúo, como si fuera una prolongación mía? Para que eso suceda, la IA debe saber cómo evalúo, conocer los detalles de mi cultura de trabajo, tener claros mis objetivos y criterios de evaluación, incluso conocer el proceso de aprendizaje de cada estudiante, su evolución, dificultades, errores comunes y aciertos aprendidos, estilo de escritura, contexto. 

Lo primero es relativamente fácil de aportar. El docente puede, como es el caso que comparto aquí, alimentar a la IA con los criterios de evaluación de tareas específicas. No serán los mismos para un texto argumentativo que para una prueba PAU o una exposición oral. Estos criterios se pueden determinar en la programación didáctica de inicio de curso y podrían incorporarse a rutinas de evaluación en las que la IA pueda si no ser la que sustituya al docente en la evaluación y calificación, sí aporte un informe detallado de la aplicación de los criterios a las tareas realizadas por los estudiantes, de tal forma que al docente le sea relativamente fácil ajustarlos en su evaluación y calificación que él considere oportuna para casa caso. Puede que con el tiempo, esa ayuda de la IA sea tan fina y adaptada que la diferencias entre la evaluación de ésta y la del docente sean casi inexistentes. 

Sin embargo, a día de hoy es difícil pensar en ese horizonte ideal, ya que la IA generativa, si bien ha mejorado sustancialmente sus análisis de textos, aún carece de herramientas que permitan realizar seguimientos individualizados de los estudiantes y un análisis más cualitativo y flexible. A esto se suma un factor esencial: el docente conoce al estudiante, sus limitaciones, esfuerzos e inercias, contextos complejos. La IA no puede calibrar la subjetividad del proceso de aprendizaje. Para eso está el docente. De ahí, que el modelo más plausible a medio y largo plazo en materia de evaluación con IA sea el híbrido, es decir, una colaboración mutua en la que la IA facilite el análisis detallado previo y después el docente afine y ajuste la subjetividad de dicho análisis y su calificación final. Es el caso que comparto contigo. La IA crea análisis evaluativos de textos argumentativos en el área de Filosofía de Bachillerato, propone una calificación en función de criterios previamente fijados por el docente y aporta un informe de evaluación para la labor del docente y otro en el caso de que quien use el asistente sea un estudiante y quiera aprender de sus errores y mejorar sus textos. 

He creado un asistente que permite:

• a los estudiantes: evaluarse a sí mismos y aprender a mejorar sus textos, mediante un informe detallado del grado de consecución de los diferentes criterios de evaluación del docente y consejos de mejora;
• a los docentes: tener a mano una evaluación de los textos de sus estudiantes a partir de criterios previamente alimentados por él mismo y de ea forma mejorar la evaluación y calificación de este tipo de tareas, así como poder aportar al estudiante un informe detallado de la calidad de su tarea.

Al entrar en el asistente, puedes hacerlo en calidad de docente o estudiante, y la IA ajusta su intervención a tu rol. En ambos casos, aporta un informe de la evaluación de la tarea. En el caso del docente, más detallado y didáctico; en el del estudiante, más somero y directo, atendiendo a fortalezas y debilidades y consejos de mejora.

Este informe responde a criterios de evaluación personalizados por el docente, no a criterios generales o estándar. De esta forma, aseguramos que la IA realice un análisis evaluativo más acorde con los objetivos y formas de evaluar del docente. Igualmente, el asistente está configurado para aportar un informe con un modelo alimentado por el docente a partir de esos criterios. 

Por esta razón, quizá si utilizas este asistente compruebes que no se ajusta a tu forma de evaluar o a todos los criterios esperados. Cada docente evalúa de formas diferentes, pese a que coincidamos en muchos aspectos del proceso. Es aquí donde la IA generativa puede aportar una ayuda valiosa: la personalización y la agilización funcional de la evaluación. 

Pasemos a analizar algunos ejemplos de uso de este asistente. Recientemente, en 1º de Bachillerato de Filosofía, pedía a mis estudiantes, antes de redactar en clase su texto argumentativo, que buscaran datos y construyeron argumentos, así como elaboraran un esquema previo de su texto. Tras esta fase de preparación, un día realizaron en clase el texto argumentativo sin ningún material. Les indiqué que si querían, podían incluir antes de empezar el texto, un esquema para guiarse y recordar la estructura de su texto. El tema: ¿Son iguales las mujeres y los hombres? Un tema que enlaza con un contenido curricular que pretende profundizar acerca de los conceptos de innato y adquirido. La tarea no es la única dentro de este bloque; está acompañada de otras tareas paralelas que ponen en funcionamiento múltiples competencias y que utilizan o no la IA como herramienta heurística. Los estudiantes debían buscar datos científicos y filosóficos que apoyaran sus ideas o las contrastaran a través de una reflexión. El texto argumentativo puede estructurarse a través de argumentos o bien a través de una reflexión abierta, con múltiples perspectivas. Todo esto se lo digo al asistente cuando entro con el rol docente, adjuntando imágenes del texto argumentativo. Las imágenes deben ser nítidas, legibles y contener todo el texto, sin cortarse a los lados o estar inclinado. Se le puede facilitar el texto también en PDF u otro formato digital, aunque en mi caso, al estar manuscrito por el estudiante en el aula, lo escaneé en mi casa y lo pasé por la thermomix de la IA. 

Este asunto de si pedir textos que el estudiante haga en casa o en clase viene siendo recurrente tras la irrupción de la IA generativa en las aulas. Mi enfoque es híbrido. Pido al estudiante que use la IA en casa -lo hará de todas formas sin mi permiso- para enfocar la argumentación, obtener datos, ejemplos y reajustar esquemas de trabajo. Todo eso deben facilitármelo en papel antes de la prueba escrita en clase, donde no dispondrán de IA ni materiales de apoyo. La IA ayuda, pero no sustituye las competencias del estudiante. La idea es que las amplifique. Aún así, en este asistente que comparto contigo he incluido un quinto criterio de evaluación que no pondera en porcentaje, pero sí penaliza. 

Estos son mis criterios:

• Estructura lógica y organización (20%)
• Adecuación de los contenidos a la tarea (20%)
• Calidad de la argumentación (50%)
• Corrección gramatical y uso del lenguaje filosófico (10%)
• Uso de IA generativa y plagio (factor de penalización si corresponde)

En mis clases, he adoptado una postura no defensiva de la IA. No quiero que la usen mal a mis espaldas, sino que sepan usarla, facilitando su aprendizaje a través de un uso activo y creativo. 

• Activo, porque busco que la IA ayude al estudiante a comprender, estructurar, esquematizar, aplicar... sin recurrir al cómodo copia y pega. 
• Creativo, porque busco que el estudiante sea quien controle el proceso de su aprendizaje, no que la IA le sustituya. 

El objetivo es que el estudiante refuerce destrezas cognitivas y creativas, y lo haga con apoyo pero sin delegación. Para ello, hay que usar un modelo híbrido de evaluación, donde la IA tenga un papel previo en el modelaje de la tarea, pero después desaparezca, poniendo al estudiante en el centro de su aprendizaje.

El quinto criterio tiene una función no tanto punitiva como preventiva. Alerta al estudiante de que es posible saber qué elementos de su redacción son detectables por la propia IA como plagio o mera copia pasiva de los contenidos. Aún así, mi experiencia es que los estudiantes son poco sutiles a la hora de ocultar sus huellas delictivas. No es difícil detectar la mano de la IA en sus tareas. El mejor ataque en estos casos es adoptar un enfoque educativo, no policial. Generar experiencias de aprendizaje en las que el copia y pega sea estéril o una herramienta de construcción didáctica del trabajo, previa a tareas autónomas. Cuando pido a mis estudiantes que usen la IA, además de pedirles todas las pruebas de lo aprendido de ella, les pido también el link de interacciones con ella. Entregarlo supone un porcentaje tímido, pero determinante, en la calificación.

Pasemos a mostrar el primer ejemplo de evaluación de un texto argumentativo. Estas son las imágenes del texto aportado al asistente:

Junto a las imágenes, en el rol de docente, le aporté contexto de las características de la tarea. Automáticamente, el asistente ejecutó su evaluación. La transcribo tal cual:

Informe de Evaluación del Texto Argumentativo

Estudiante: [Nombre]
Nivel Educativo: 1º de Bachillerato
Materia: Filosofía
Tema: ¿Son iguales los hombres y las mujeres?
Fecha de Evaluación: [Fecha]

---

Evaluación por Criterios

1. Estructura lógica y organización (20%)

Calificación: 7/10
✅ Puntos positivos:

• El texto presenta una introducción, desarrollo y conclusión bien diferenciados.
• Se observa un hilo conductor claro en la argumentación.

❌ Aspectos a mejorar:

• La introducción podría ser más clara en la formulación de la tesis.
• La conclusión sintetiza bien la idea general, pero podría cerrar con mayor fuerza.
• Hay algunos saltos entre párrafos que podrían mejorarse con conectores más precisos.

✍ Consejo:
Para mejorar la cohesión, podrías utilizar más conectores argumentativos como "por lo tanto", "en consecuencia", "sin embargo", "por otro lado".

---

2. Adecuación de los contenidos a la tarea (20%)

Calificación: 8/10
✅ Puntos positivos:

• Se mencionan fuentes relevantes como la Declaración Universal de los Derechos Humanos y leyes constitucionales.
• Se incluye una distinción entre igualdad y equidad, lo que demuestra una buena comprensión del tema.

❌ Aspectos a mejorar:

• Se menciona la discriminación en algunos países, pero falta un análisis más profundo de los aspectos filosóficos del tema.
• Podría ser útil incluir alguna referencia a filósofos que hayan tratado la cuestión de la igualdad.

✍ Consejo:
Podrías profundizar más en el aspecto filosófico, mencionando autores como John Stuart Mill (El sometimiento de las mujeres) o Simone de Beauvoir (El segundo sexo).

---

3. Calidad de la argumentación (50%)

Calificación: 7/10
✅ Puntos positivos:

• Se presentan datos relevantes, como la diferencia salarial en Perú y estudios de neurociencia sobre la inteligencia.
• Se usa el ejemplo de Marie Curie para reforzar la idea de que el género no define el éxito.

❌ Aspectos a mejorar:

• Algunos argumentos son afirmaciones sin una fundamentación clara (por ejemplo, "hay que brindar oportunidades para alcanzar el éxito" podría justificarse con datos o referencias).
• Se menciona que los hombres suelen quejarse de la equidad en pruebas físicas, pero no se presenta evidencia para sostener esta afirmación.

✍ Consejo:
Sería recomendable utilizar más ejemplos o referencias filosóficas para reforzar los argumentos. También podrías anticipar contraargumentos y refutarlos.

---

4. Corrección gramatical y uso del lenguaje filosófico (10%)

Calificación: 6/10
✅ Puntos positivos:

• Se entiende bien el mensaje y no hay problemas graves de redacción.
• Se usa un tono formal adecuado para un texto argumentativo.

❌ Aspectos a mejorar:

• Se observan errores de ortografía ("mas gusta" en lugar de "más gusta", "expección" en vez de "excepción").
• Algunas frases son confusas y necesitarían una reformulación para mayor claridad.

✍ Consejo:
Antes de entregar un ensayo, revisa la ortografía con un corrector y lee el texto en voz alta para detectar frases confusas.

---

5. Uso de IA generativa y plagio (factor de penalización)

📌 No se detectaron indicios de plagio ni uso de IA generativa.

---

Resumen de Evaluación y Calificación Final

Criterio	Calificación (sobre 10)	Ponderación	Nota ponderada
Estructura lógica y organización	7	20%	1.4
Adecuación de los contenidos	8	20%	1.6
Calidad de la argumentación	7	50%	3.5
Corrección gramatical y lenguaje	6	10%	0.6
Nota final (redondeada)	7/10	100%	7.1 → 7

---

Conclusiones y Recomendaciones

✔ Aspectos positivos:

• El texto tiene una estructura clara y cumple con la consigna.
• Se presentan datos y ejemplos relevantes.
• Se hace una distinción clave entre igualdad y equidad.

⚠ Aspectos a mejorar:

• Algunos argumentos necesitan mayor fundamentación.
• Es importante mejorar la ortografía y la claridad de ciertas frases.
• Incluir referencias filosóficas fortalecería la argumentación.

💡 Recomendaciones para el próximo ensayo:

• Utilizar citas de filósofos para respaldar los argumentos.
• Prestar mayor atención a la corrección gramatical antes de entregar el texto.
• Revisar la coherencia entre párrafos utilizando conectores adecuados.

📌 Ejercicio recomendado:
Elaborar una lista de conectores argumentativos y usarlos en la reescritura de algunos párrafos.

📖 Recurso sugerido:

• Libro: "El arte de argumentar" de Anthony Weston.

---

Evaluador: [Nombre del docente/evaluador]
📅 Fecha de Evaluación: [Fecha]

🔎 Reflexión para el estudiante:

1. ¿Qué aprendí de esta evaluación?
2. ¿Cómo mejoraré mi próximo texto?

Si entras en el asistente con el rol de estudiante, facilita este otro informe:

Evaluación del Texto Argumentativo

1️⃣ Estructura lógica y organización (20%)

✅ Aspectos positivos:

• El texto presenta una introducción clara con la pregunta central que se abordará.
• Se observa una estructura en párrafos con una progresión lógica de las ideas.
• La conclusión recoge el tema y reafirma la necesidad de seguir luchando por la igualdad.

❌ Aspectos a mejorar:

• Aunque la introducción plantea la pregunta, no desarrolla una tesis explícita desde el inicio, lo que puede dificultar la claridad del enfoque argumentativo.
• Algunos párrafos tienen ideas muy condensadas, lo que podría afectar la fluidez de la lectura.
• La conclusión es adecuada, pero podría reafirmar mejor los argumentos clave presentados en el desarrollo.

✍ Consejo:
Reestructura la introducción para que la tesis quede clara desde el principio. Ejemplo: "A pesar de las diferencias biológicas entre hombres y mujeres, la igualdad de derechos es fundamental para una sociedad justa. En este texto, analizaré cómo el reconocimiento legal y social de la igualdad ha evolucionado y qué retos persisten."

📊 Calificación: 7/10

---

2️⃣ Adecuación de los contenidos a la tarea (20%)

✅ Aspectos positivos:

• Se mencionan referencias a la Declaración de los Derechos Humanos y la Constitución Española.
• Se incluyen ejemplos históricos y científicos, como la mención a Marie Curie y estudios de neurociencia.

❌ Aspectos a mejorar:

• Falta de referencias filosóficas concretas. Se podría incluir la perspectiva de filósofos como John Stuart Mill (El sometimiento de las mujeres) o Simone de Beauvoir (El segundo sexo).
• Algunas afirmaciones, como que hombres y mujeres tienen el mismo nivel intelectual, emocional y social, podrían fortalecerse con datos o explicaciones más profundas.

✍ Consejo:
Incorpora al menos una referencia filosófica directa para respaldar tu postura. Por ejemplo, podrías mencionar:
"Como plantea Simone de Beauvoir, la mujer no nace, sino que se hace. Esta idea nos lleva a reflexionar sobre cómo los roles de género influyen en la percepción de la igualdad."

📊 Calificación: 7/10

---

3️⃣ Calidad de la argumentación (50%)

✅ Aspectos positivos:

• Se presentan argumentos con base en datos (brecha salarial, neurociencia).
• Hay una buena diferenciación entre igualdad y equidad, lo cual muestra comprensión del tema.

❌ Aspectos a mejorar:

• Faltan contraargumentos o refutaciones. Un buen texto argumentativo no solo expone una postura, sino que considera otras visiones y las rebate.
• Algunas ideas quedan implícitas sin suficiente desarrollo. Por ejemplo, se menciona que la equidad no significa tratar a todos por igual, pero no se explica del todo cómo se debe aplicar en la sociedad.

✍ Consejo:
Introduce un contraargumento y refútalo. Ejemplo:
"Algunos sostienen que la igualdad de género es innecesaria porque hombres y mujeres ya tienen los mismos derechos ante la ley. Sin embargo, la existencia de la brecha salarial y la discriminación laboral demuestran que la igualdad legal no siempre se traduce en igualdad real."

📊 Calificación: 6/10

---

4️⃣ Corrección gramatical y uso del lenguaje filosófico (10%)

✅ Aspectos positivos:

• Lenguaje claro y comprensible.
• Se evita un tono excesivamente coloquial.

❌ Aspectos a mejorar:

• Se detectan errores ortográficos y de puntuación ("mas justa" → "más justa", "se expone igualdad salarial" → "se establece la igualdad salarial").
• Algunas frases son demasiado largas, lo que dificulta la lectura.
• Faltan conectores argumentativos en algunos párrafos (por ejemplo, "por ello", "en consecuencia", "en este sentido").

✍ Consejo:
Lee en voz alta el texto para identificar frases largas y reescribirlas con más claridad. Usa conectores para dar más fluidez.
Ejemplo:
"La equidad es clave en la igualdad de género. Sin embargo, muchas personas la confunden con el trato idéntico, cuando en realidad implica ofrecer oportunidades justas para todos."

📊 Calificación: 6/10

---

5️⃣ Uso de IA generativa y plagio

✅ No se detectan indicios de uso de IA o plagio en el texto.

📊 Penalización: 0%

---

📢 Calificación final

Criterio	Ponderación	Nota
Estructura y organización	20%	7
Adecuación de los contenidos	20%	7
Calidad de la argumentación	50%	6
Corrección gramatical y lenguaje	10%	6
Penalización por IA/Plagio	0%	0
Nota final (redondeada)	100%	6.5 (7/10)

---

📌 Aspecto principal a mejorar:

💡 Desarrollar mejor los contraargumentos y añadir referencias filosóficas.

📖 Ejercicio recomendado:
Escribe una refutación breve a una idea contraria a tu postura y agrégala en el texto.

📢 Consejo final:
Tu texto es sólido, pero puede mejorar en profundidad argumentativa y en la inclusión de referencias filosóficas. ¡Sigue practicando y notarás mejoras en tus próximos ensayos! 🚀

El resultado de la evaluación es similar, aunque en el caso del rol de estudiante es un análisis más escueto y funcional. La calificación es también similar. Comparando varios ejemplos de evaluación con este asistente, he observado que la inercia inicial del docente es ofrecer criterios más exhaustivos y precisos que permitan una evaluación más eficaz y exigente. Esto no siempre corresponde con la evaluación que el docente realiza a pie de aula, que normalmente incluye factores más subjetivos que suavizan la calificación y ablandan los criterios. En este caso que he compartido, mi calificación se sitúa en el 8, incluso 9, no en el 7, aunque en líneas generales las observaciones del asistente de IA son reconocibles y justas. Hay que tener en cuenta que a medida que usemos este tipo de asistentes evaluadores será necesario reajustar el pdf de los criterios con el que alimentamos su forma de evaluar, de tal forma que con el tiempo acabe realizando un análisis más conforme con nuestra forma de evaluar.

La actitud más recurrente del docente respecto a la IA generativa -actitud que en parte comparte con el estudiante- es creer que ésta te ofrece una ayuda inmediata y eficaz desde el inicio, sin necesidad de un aprendizaje previo y ajustes posteriores. Para saber usar la IA generativa hay que aprender primero a hablarle, estructurar de forma eficaz el esqueleto de los prompts, así como evaluar su uso y ejecución, ajustando muchas veces su resultado. No te lo hace al instante y ya está. Hay que aprender. Requiere paciencia y trabajo previo. Esta es la razón por la que tanto docentes como estudiantes a menudo declinan de usarla, la usan como enciclopedia o interpretan erróneamente sus posibilidades y límites.

Es necesario propiciar una didáctica de la IA generativa. Por eso es tan importante la formación del profesorado. Pero no desde un enfoque técnico o profiláctico, como suele ser común, sino desde perspectivas didácticas que confronten su uso directo en el aula, en contextos mensurables, de humilde arquitectura y múltiples contingencias. En mis formaciones a docentes insisto mucho en este enfoque que adopte una actitud activa y creativa. Es en el uso real donde se pone en funcionamiento la reflexión-acción, una toma de decisiones que se adapta a objetivos. necesidades, realidades diversas y cambiantes. Igualmente, es necesario practicar una pedagogía compartida en los centros educativos, entre docentes, con los estudiantes, con las familias. Aprender juntos, dialogar, confrontar y ayudarnos a saber usar la IA con cabeza y corazón. No basta con adoptar un enfoque individualista. Los múltiples retos de la IA educativa no se pueden enfrentar solos. Aprender juntos y tomar decisiones juntos es esencial. 

Antes de que las consejerías de educación nos lo digan -es cuestión de tiempo-, es necesario ir pensando como comunidad educativa:

• Cómo incorporar la IA generativa a nuestras programaciones didácticas, lo que supone una reflexión individual pero también de los equipos didácticos de departamento e interdisciplinares.
• Cómo acordar criterios compartidos de uso en el aula, incorporando la IA al proyecto de digitalización de centro, a los proyectos educativos que llevemos a cabo y el proyecto de centro.
• Cómo evaluar con IA, provocando el aprendizaje mutuo a través de proyectos de formación en centro y maridajes mutuos.
• Cómo hablar de IA con las familias, como parte de un objetivo más amplio, como es hablar de los retos de la digitalización, distopías cotidianas (uso del móvil, por ejemplo) y posibilidades creativas.
• Cómo hacer pedagogía de la IA en el aula, con nuestros estudiantes, propiciando un uso activo y creativo, y no meramente reproductivo. Los estudiantes no nacen sabiendo, hay que enseñarles a usar este nuevo medio. No basta con nacer en una generación inmersiva, hay que saber usarla. Y esa es parte de nuestra labor.

Como ves, muchas más preguntas que respuestas, pero necesarias. Ahí te dejo el enlace al asistente, por si quieres probarlo, pero recuerda que está adaptado por mí a mi contexto y criterios. Aún así puedes hacerte una idea del potencial que la IA generativa puede llegar a suponer en unos meses o años. A saber. Todo va tan rápido. Ánimo. Siempre adelante.

Para acceder al asistente, pincha sobre el icono