Estándares de calidad en diseño instruccional e-Learning – Parte 2-Quality Matters

En la primera parte de esta serie de artículos te hablé del estándar iNACOL, creado específicamente para evaluar la calidad de los cursos impartidos a nivel de primaria y secundaria. En este artículo, te hablaré de Quality Matters, uno de los estándares más utilizados en Estados Unidos y que se enfoca específicamente en cursos dirigidos a alumnos de educación superior.

¿Qué es Quality Matters (QM)?

QM nació en 2003 en la Universidad de Maryland, Estados Unidos, a partir de la iniciativa de una serie de profesionales que buscaban una forma de medir y garantizar la calidad de un curso online. A lo largo de estos años y tras haber recibido incialmente fondos del Gobierno para desarrollar una solución, han evolucionado para convertirse en una institución que promueve la mejora continua en el diseño de cursos online para las organizaciones que forman parte de ella.

Dentro de este proceso de mejora continua, establecen diferentes etapas de adopción de esta filosofía de calidad que se centra en la utilización de una rúbrica que contiene un total de 43 estándares, agrupados en 8 categorías. En el sitio web de QM puedes ver un resumen de la rúbrica (sin anotaciones) de forma gratuita.

La rúbrica de QM

Como comenté anteriormente, la rúbrica de QM contiene 43 estándares específicos que están agrupados en 8 categorías:

1. Introducción y visión general del curso (9 estándares específicos)
2. Objetivos de aprendizaje (5 estándares específicos)
3. Medición y evaluación (5 estándares específicos)
4. Materiales instruccionales (6 estándares específicos)
5. Actividades del curso e interacción de los alumnos (4 estándares específicos)
6. Tecnología del curso (5 estándares específicos)
7. Apoyo a los alumnos (4 estándares específicos)
8. Accesibilidad y usabilidad (5 estándares específicos)

Para cada estándar específico se establece

• Una puntuación, que va de 1 a 3 , que refleja la importancia del estándar. Un estándar de 3 puntos se considera esencial. No se trata de que, dependiendo de lo bien que esté diseñado un curso respecto a un estándar específico se le pueda asignar una puntuación de 1 a 3, sino que, si el estándar se cumple, la puntuación predefinida se asignará al mismo. Por ejemplo, el estándar 1.6 tiene una valoración de 1 punto y requiere que se describan correctamente los prerequisitos del curso. Esto quiere decir que, la puntuación máxima que va a obtener este estandar es 1 punto, es decir, lo que se debe buscar es si el estándar se cumple o no se cumple, no si está mejor o peor hecho.
• Las anotaciones, que corresponde a la parte más importante de la rúbrica y que contiene ejemplos específicos tanto para encontrar evidencias en el curso sobre ese estándar como para realizar recomendaciones de mejora, en el caso que dicho estándar no se cumpla.

Adicionalmente y como gran aporte metodológico de esta rúbrica, QM busca garantizar la consistencia interna de los cursos a través de la identificación de estándares específicos que demuestran la alineación entre los componentes más importantes del mismo: objetivos de aprendizaje, actividades, materiales, herramientas y evaluación. En la rúbrica se identifican estos estándares específicos a través de un símbolo de alineación.

¿Cómo se valora un curso con la rúbrica de QM?

La primera recomendación que establece QM es que la valoración se haga sobre un curso «maduro», es decir, algún curso que al menos se haya publicado dos veces y donde los autores ya hayan identificado áreas de mejora en el mismo.

La valoración oficial de QM involucra a 3 revisores: uno que actúa como master reviewer o jefe de equipo, otro que actúa como Subject Matter Expert (SME, experto en contenidos) y un tercer revisor que tiene experiencia en diseño instruccional. Los 3 revisores deben haber completado y obtenido la certificación de peer reviewer (par revisor) de QM. El master reviewer además, debe tener amplia experiencia en la valoración de cursos.

El autor del curso debe dar acceso a los 3 revisores para que realicen el curso somo si fueran alumnos del mismo. Cada uno entonces, con la rúbrica en mano, busca las evidencias que demuestren el cumplimiento de cada estándar y completa su reporte. El master reviewer recoge las valoraciones de los otros dos validadores y elabora el reporte. La forma de establecer si un criterio se cumple es por mayoría: si dos validadores consideran que el estándar se cumple, entonces se asigna la puntuación a dicho estándar. El reporte incluye las recomendaciones de mejora para aquellos estándares que no se cumplan y el autor del curso tendrá un mes para incorporar las recomendaciones sugeridas y volver a analizar el curso. Es por ello que se dice que todo el proceso está concebido para que los cursos cumplan la norma, ya que la primera revisión incluye las recomendaciones y se le da la oportunidad al interesado de incluir los cambios sugeridos.

¿Cuándo se considera que un curso es de calidad, según QM?

El curso debe obtener al menos 85 de los 99 puntos máximos establecidos en la rúbrica para que se considere que es de calidad. Sin embargo, hay que tener varias cosas en cuenta:

• Los estándares de alineación son de obligatorio cumplimiento, es decir, el curso debe ser consistente. Es más, si en el proceso de valoración del curso se descubre que el primero de los estándares de alineación no se cumple (estándar 2.1, que el curso tenga objetivos medibles), se debe detener el proceso hasta que el autor los modifique.
• No solo valen los puntos, sino las recomendaciones hechas por los peer reviewers. Esto quiere decir que, se espera que los diseñadores del curso sigan las indicaciones y recomendaciones hechas por los revisores para mejorar el producto final. Incluso se pueden recibir recomendaciones de mejora para estándares que sí se cumplen, siguiendo con la filosofía de mejora continua que establece QM.
• Si se quiere obtener el sello de QM y que este aparezca en el curso, se debe superar el proceso completo, estar suscrito como institución a QM y pagar la tasa correspondiente (alrededor de US$1,000).

Si, por otro lado, no estás interesado en el sello oficial pero quieres que tus cursos cumplan con la norma, puedes inscribirte en los cursos que QM ofrece en su web donde aprenderás a aplicar la rúbrica en tus cursos. También puedes ir más allá y certificarte como peer reviewer, que te preparará para valorar no solo los cursos que diseñas sino también para realizar valoraciones internas de la calidad de los cursos de tu organización y si lo deseas, pertenecer al pool de revisores de QM que te permitirá participar de evaluaciones a otras instituciones.

Mi experiencia con QM

La organización donde actualmente trabajo está suscrita a QM y por ello he tenido la oportunidad de certificarme tanto en la aplicación de la rúbrica como en la evaluación de pares (peer reviewer), por tanto, puedo contarte de primera mano mis impresiones sobre la misma.

Las ventajas…

Cuando tienes un equipo multidisciplinar, con personas que provienen de diferentes carreras y experiencias, es muy útil contar con un marco de referencia que te permita definir parámetros de calidad de tus productos de aprendizaje, especialmente en un campo tan amplio como la formación online y que además se actualiza de una manera vertiginosa. QM provee ese marco de referencia, te permite formar internamente a un equipo y sensibilizar a quienes no tienen conocimientos en diseño instruccional en la complejidad que esta tarea requiere. Por tanto, la primera ventaja que veo es que proporciona un lenguaje común y un marco de referencia para sentarse a conversar sobre calidad en diseño instruccional.

La segunda ventaja es que te permite controlar internamente el diseño de tus cursos, sin necesidad de pasar por un proceso formal de acreditación. Esta es una ventaja tanto para los diseñadores instruccionales como para los jefes de proyecto, ya que provee evidencias del trabajo realizado.

La tercera ventaja, la principal para mi gusto, es su apuesta por la mejora continua: siempre se puede mejorar el diseño de un curso, no importa que ya haya pasado la valoración con la máxima nota, ya que continuamente mejoran las investigaciones, se crean nuevas tecnologías y tenemos mejor y mayor acceso a los datos de rendimiento de nuestros recursos de aprendizaje. Todos estos insumos pueden (y deben) incorporarse en futuras ediciones de los cursos. Esto, por supuesto, tiene que ser apoyado por los líderes de la organización, y ojalá, establecido en las metas de los equipos.

Las desventajas…

Como mencioné al principio de este artículo, QM fue creado pensando específicamente en los alumnos de universidades, es decir, educación formal y académica. Por tanto, no considera aspectos propios de la formación corporativa o entornos de educación informal o social. Sin ir más lejos, no contempla aspectos propios del diseño de MOOCs, tarea en la que estado inmersa en los dos últimos años. Por tanto, hay que ser muy prudente al considerar todos los estándares, ya que en algunos casos no se adecúan a la realidad de los entornos en los que trabajamos.

La segunda desventaja no tiene que ver con la rúbrica ni con el modelo, sino con las personas que lo utilizan y que normalmente no tienen conocimientos avanzados en diseño instruccional. Me refiero a que un estándar de calidad en diseño de cursos no garantiza que el curso que estás impartiendo sea relevante, ya que QM no valora ni la necesidad ni la implementación del curso, solo el diseño del mismo. Para que un curso sea de calidad se necesitan muchos más parámetros para medirlo, incluyendo datos, alcance e impacto. Por tanto, mi recomendación para quienes trabajan con QM es que le den la importancia justa, ni más ni menos.

Dentro de este mismo tema, otra reacción que tiene la gente que no está familiarizada con el diseño instruccional, es que consideran que una vez que un curso supera el estándar, entonces ya es un modelo para el resto. Las personas que trabajan conmigo saben que suelo ser muy reiterativa con esto: QM no establece el máximo de calidad, sino el mínimo. Que un curso cumpla con el estándar no significa que no sea mejorable o que pueda tomarse como referencia. El diseño de un curso siempre puede mejorarse.

Con esto termino mi segundo artículo de la serie. Me encantaría saber si ya conocías QM o cuál es el sistema que utilizas para valorar la calidad del diseño de tus cursos. ¡Te espero en los comentarios!

Una última cosa: si quieres descargar una copia en español de la rubrica QM (sin anotaciones) suscríbete al blog y accede a la zona de descargas.