Guía para el diseño de proyectos de innovación y mejora en la enseñanza universitaria

Visitas: 358
Dr. Fco. Javier Bará Temes (UPC)
Dr. Sebastián Rodríguez Espinar (UB)
CONSIDERACIONES PREVIAS
Si el diseño, desarrollo y evaluación de los proyectos de investigación en los diferentes campos disciplinares, que son objeto de enseñanza en la universidad, está regido por modelos formales ya asumidos por la comunidad universitaria, el estado incipiente de formalización de la innovación y mejora de la calidad de la enseñanza en nuestras universidades reclama un esfuerzo por adoptar reglas y procedimientos, que permitan convertir la experiencia innovadora en fuente de conocimiento para la extensión de una forma de hacer más eficaz y eficiente.

 

Por otra parte, cualquier propuesta de mejora de la calidad de la enseñanza universitaria debería tomar en consideración las diferentes formas o perspectivas, que pueden adoptarse por los diferentes agentes, a la hora de visualizar o concretar el propio concepto de calidad. Por otra parte, parece obvio admitir la necesidad de asumir un cierto marco explicativo, que permita identificar el conjunto de factores que determinan la propia calidad de la enseñanza. Dicho de otra forma, no parecería un proceder racional si se propusiesen acciones de mejora que no se sabe a qué conducen, ni por qué están ligadas a la consecución de lo que se propone.
Así mismo, de todos es conocida la importancia que tiene, para llevar a buen término una propuesta de mejora o de innovación, que exista un clima de compromiso institucional ‑en el nivel que reclame la tipología de la mejora propuesta‑, a la vez que se da una clara implicación de todos los promotores de la misma. De aquí que propuestas en solitario (por más esfuerzo personal que se esté dispuesto a ofrecer), que no tomen en consideración el apoyo de los que naturalmente están a su alrededor, tengan escasas probabilidades de éxito. En consecuencia, es de interés tener presente que la situación contextual en la que se generan las solicitudes de proyectos de mejora presenta:
1. Desigual trayectoria previa de proyectos de innovación y mejora en las universidades, con diferentes niveles de apoyo al profesorado para la elaboración de los mismos.
2. Posible situación diferencial de partida, en cuanto a los procesos previos de evaluación sobre los que se fundamenta la propuesta.
3. Diferencias en el grado de inserción de los proyectos presentados, en planes de mejora institucionales.
4. Desequilibrio estructural de los grupos‑equipos solicitantes, tanto por lo que respecta a la situación académica de sus componentes como al conocimiento específico, no ya de su ámbito disciplinar, sino de la naturaleza de la mejora o innovación que se propone.
Finalmente, es pertinente tener presente algunas notas que ayudan a situar la naturaleza de un proyecto de mejora, innovación o cambio en la docencia universitaria, que si bien se toman como sinónimos, estrictamente hablando no lo son[1]:
5. Sobre las limitaciones de la simple mejora metodológica. Ha de entenderse que las mejoras que centra su atención en los cambios de los métodos o estrategias didácticas están condicionadas por la respuesta que se da a preguntas como:
a) ¿Es suficientemente autónomo el equipo proponente para generar cambios en la enseñanza, que vayan más allá de un simple cambio formal?
b) ¿Es posible separar contenidos y metodología docente?
c) ¿Cuáles son los elementos definitorios de la propuesta metodológica?
Parece que no es fácil obtener respuestas afirmativas a las dos primeras cuestiones. Tanto el diseño del currículo como las formas de evaluar han de ser actividades que se generen en colaboración y no como resultado de una acción individual. Por otra parte, una concepción instrumental del método, que utiliza a las formas (técnicas o procedimientos) como elemento de innovación, deja fuera, como invariables, los contenidos que se enseñan. Finalmente, ha de asumirse que el objeto de conocimiento (disciplina) y el sujeto que aprende han de ser los elementos que orienten la propuesta metodológica. Es decir, ha de atenderse tanto a la estructura conceptual de la materia como a la estructura cognitiva de quien aprende.
1. Sobre la naturaleza cíclica del diseño de las mejoras e innovaciones. Los expertos ponen de manifiesto la necesidad de asumir el principio de la racionalidad en toda propuesta de innovación o mejora. Bajo la denominación de la espiral de la racionalidad, se considera que todo proceso de mejora debería estar sometido a estas cuatro fases[2]:
a) ¿Por qué mejorar? Un problema constituye el origen de la innovación. Se han de identificar con claridad el aspecto, dimensión, actividad… que no funciona o no facilita que se logren los resultados previstos.
b) ¿Cómo se identifica el problema o desajuste? Para que algo cambie es necesario que aflore una tensión diferencial entre la situación presente y la deseada, a la vez que aparecen las personas con iniciativas para buscar un nuevo equilibrio.
c) ¿Qué emerge de la evaluación de la situación? La propuesta de mejora debe contener, lo más explícitamente posible, tanto el nexo crítico y razonado entre la práctica existente y un nivel de calidad determinado como la conexión entre la nueva práctica (innovación) y los objetivos de calidad previstos.
d) ¿Cómo se determinará la pertinencia / adecuación de la mejora? Sólo a través de la evaluación de la innovación. La propuesta de evaluación de la innovación que se adopte debe de caracterizarse por permitir una triangulación de:
i. Las fuentes de información (alumnado, profesorado, etc.).
ii. Las estrategias de evaluación (cuantitativas, cualitativas).
iii. Situaciones (diferentes momentos y /o realidades‑destinatarios).
2. Características de una buena propuesta de mejora. En definitiva, el conjunto de acciones que se presentan en la propuesta de mejora debería tener un perfil de calidad que respondiese a las siguientes características:
a) Contextualizada: Deberá tomar en consideración el momento y situación de la titulación, centro o servicio evaluados, así como al conjunto de actores que intervienen en la situación cuya mejora se propone. Ha de ser realista, acorde con el momento presente.
b) Coherente con la evaluación realizada: deberá estar asociada a las fortalezas y debilidades señaladas, por lo que es conveniente precisar la correspondencia entre los juicios de valor (puntos fuertes y débiles explicitados) y la propuesta de mejora.
c) Fundamentada: la calidad y pertinencia de la evidencia aportada no deben dejar lugar a la duda sobre la idoneidad y pertinencia de las acciones consideradas en la misma.
d) Viable‑factible: es necesario que se analicen los posibles obstáculos en su ejecución. Desde un punto de vista estratégico, las medidas que se han de tomar deben producir los efectos a corto y medio plazo. Por lo tanto, son formulaciones que miran hacia el futuro, si bien parten de la experiencia pasada.
e) Priorizada: Consensuada entre el mayor número de personas implicadas, como garantía de compromiso en la ejecución de dicha propuesta. Debe interesar a buena parte de los implicados.
f) Creativa: en ocasiones se trata de aportar nuevas soluciones a viejos y reiterados problemas.
g) Sistematizada: su diseño o pliego de condiciones debería incluir:
i. Objetivos y sus indicadores de logro.
ii. Acciones a realizar.
iii. Responsables.
iv. Planificación de la ejecución.
v. Recursos–coste.
vi. Sistema de seguimiento que permita comprobar periódicamente la situación del proyecto.
vii. Sistema de evaluación de la efectividad de la mejora.
La información que sigue toma como referente el protocolo diseñado para la petición de un proyecto de mejora de la calidad docente en las universidades catalanas y pretende ser de ayuda para la adecuada cumplimentación del mismo. Una vez identificados los diferentes apartados que reclama una aclaración, se hacen explícitos los indicadores de los criterios de evaluación que tomará en consideración la comisión que ha de proceder a la adjudicación de las ayudas correspondientes.
ESQUEMA‑GUÍA PARA EL DISEÑO DE UN PROYECTO DE MEJORA, ACORDE CON LOS CRITERIOS DE EVALUACIÓN ADOPTADOS
El objetivo de este Esquema‑Guía es el de poder ofrecer un referente de racionalidad, en el momento de plantearse la posibilidad de acometer el diseño de un proyecto de mejora/innovación en la enseñanza universitaria. La toma en consideración de los criterios de evaluación adoptados permitirá un más correcto ajuste del proyecto, así como conocer, una vez producida la resolución de la misma, los puntos que mejorar en el supuesto de la no‑concesión de las ayudas solicitadas.
1. PERTINENCIA DE LA MEJORA
La finalidad de una propuesta de mejora constituye el norte que marca el propio diseño de las acciones que ejecutar. Sin embargo, la reflexión sobre la propia situación que provoca la propuesta inicial debe ayudar a precisarla y, de esta manera, satisfacer los requisitos de calidad que están subyaciendo en toda convocatoria competitiva. La propuesta definitiva que recoja el proyecto presentado debería haber tomado en consideración la respuesta a los siguientes puntos:
1. Reflexión sobre creencias y opiniones.
a) ¿Cree que puede aportar algo significativo en su proyecto?
b) ¿Considera que el proyecto le exigirá una significativa dedicación y esfuerzo?
c) ¿Desea acometer un proyecto que sirva para mejorar la calidad del aprendizaje del alumnado?
d) ¿Cree que la calidad de su proyecto será una baza importante para un resultado positivo?
e) ¿En qué nivel de importancia el proyecto puede contribuir al cambio en el contexto próximo?
2. Otros factores/acciones que podrían contribuir a la mejora de la situación actual.
a) Identificar otras contribuciones al proyecto.
b) ¿Es el momento más adecuado de abordar un proyecto como el que se plantea?
c) ¿Sería necesario abordar otras acciones conjuntas para la puesta en marcha del proyecto?
d) ¿Se ha identificado a otros agentes que puedan apoyar/participar en el proyecto?
e) ¿Se da un clima colaborativo?
f) ¿Se dispone de suficientes recursos documentales específicos para elaborar el proyecto?
g) ¿Hay posibilidad de asesoramiento directo por parte de la institución?
En el caso que nos ocupa, el primer criterio de calidad (perspectiva extrínseca) de una propuesta de mejora es el de su pertinencia:
1. A las características de la convocatoria.
2. A la propia naturaleza de la mejora.
Estos dos subcriterios se operativizan en una serie de indicadores, cuya presencia o ausencia en el proyecto determinarán la puntuación del mismo en este apartado.
1.1. Pertinencia de la mejora con relación a la convocatoria.
CONTEXTO EN EL QUE EMERGE EL PROYECTO
Más allá de ser conforme con los aspectos puramente técnico‑administrativos exigidos, el proyecto de mejora debe tomar en consideración y hacer explícito:
1. Que la situación de partida responde a un proceso de evaluación previo de carácter institucional en el nivel de titulación, centro, departamento, etc. En su defecto, debería argumentarse (simplemente por no haberse dado la ocasión) la ausencia de tal situación.
2. Que la propuesta de mejora está conectada o asociada al plan estratégico o de mejora de la unidad evaluada. Si no fuese así, debería argumentarse su especial necesidad.
3. Que el proyecto tiene una claro apoyo institucional en el nivel y amplitud que reclaman las características de las acciones propuestas. Este apoyo es de especial interés en proyectos que exigen aportación de recursos de la propia institución o que la naturaleza de los mismos reclama una específica intervención que posibilite su ejecución (coordinación de la enseñanza, suspensión temporal de normativas, disponibilidad de espacios y tiempos, etc.).
4. Que se aporta suficiente evidencia, en el caso de proyectos interdisciplinares o interdepartamentales, de la adecuación y compromiso de los diferentes protagonistas (campos disciplinares y profesorado). No ha de olvidarse que este tipo de proyectos tiene valoración prioritaria.
5. Que el tipo de acciones propuestas está claramente incluido dentro de los aspectos priorizados por la convocatoria (punto 1.2). El orden reseñado no debe entenderse como orden de prioridad o valor. Por otra parte, en la inclusión de acciones referidas a varios aspectos, deberá cuidarse tanto la intensidad de cada una de ellas como la coherencia entre las mismas.
Por ejemplo, ante una situación de un significativo déficit inicial de los estudiantes en una materia determinada, parecería coherente y suficientemente intenso proponer:
a) Elaboración de material específico de autoaprendizaje.
b) Impartición de un seminario previo al inicio de la materia.
c) Apoyo tutorial durante el desarrollo de la materia (entre estudiantes de igual o superior nivel).
d) Modelo de evaluación continua.
1.2.‑ Pertinencia de la mejora con relación a su propia naturaleza.
EL PORQUÉ DEL PROYECTO DE MEJORA
Este criterio hace referencia a las primeras fases de la espiral de la racionalidad a la que nos hemos referido con anterioridad: se ha de justificar (con la aportación de evidencias concretas) que la situación presente reclama poner en acción medidas que fortalezcan las debilidades detectadas. Los indicadores de que un proyecto cumple con este criterio son:
1. SE APORTA EL ANÁLISIS DE LA SITUACIÓN ACTUAL
Si se parte de una situación ya evaluada, sería conveniente:
a) Ordenar la evidencia que pone de manifiesto el desajuste o problema.
b) Valorar la tipología y calidad de la evidencia que puso de manifiesto el desajuste o problema a fin de determinar la necesidad o no de nueva información.
c) En caso afirmativo, explicitar las fuentes y estrategias que utilizar, a fin de partir de un diagnóstico adecuado de la situación.
En el supuesto de una problemática escasamente documentada, el proyecto de mejora debería dedicar especial atención a la fase de diagnóstico de las fortalezas y debilidades de la misma, ya que se corre el riesgo de no fundamentar adecuadamente la propuesta de mejora que se debe desarrollar.
Problemáticas como las de inadecuados resultados académicos en una determinada titulación, materia o conjunto de asignaturas requieren aportar evidencias diagnósticas que vayan más allá del simple recuento estadístico de las calificaciones. Difícilmente pueden proponerse acciones de mejora a partir de este tipo de información. Disponer de evidencia para responder a cuestiones como las siguientes pueden orientar mejor la decisión sobre qué medidas adoptar para mejorar el rendimiento de los estudiantes:
a) ¿Qué características/tipología de estudiantes parecen estar asociadas a resultados positivos o negativos?
b) ¿Qué tipología de evaluación se utiliza para determinar el nivel de rendimiento que reflejan las notas?
2. SE EXPLICITA LA HIPÓTESIS EXPLICATIVA DE LA SITUACIÓN
Este indicador pone de manifiesto si se apuntan, con una cierta fundamentación, las causas o razones del porqué de la situación. Es decir, identificamos los factores que, desde nuestra perspectiva, deberían ser objeto de atención a la hora de proponer las acciones de mejora. No es necesario señalar que, como en cualquier otro tipo de tarea que pretende acercarse a un cierto nivel de racionalidad científica, la consulta a determinadas fuentes documentales puede ponernos en contacto con situaciones o realidades parecidas. En este sentido:
a) Es conveniente conocer proyectos parecidos.
i. ¿Se han desarrollado experiencias previas en su universidad? ¿En otras universidades?
ii. ¿Ha establecido contacto para la obtención de información?
iii. ¿Qué características se han tomado de dichos proyectos para diseñar el suyo?
La acción informativa de las propias universidades a través de sus servicios o unidades de apoyo a la docencia e innovación facilitaría esta tarea.
b) Es conveniente la consulta a revistas y recursos documentales específicos.
En el conjunto de las Universidades Catalanas existen suficientes recursos documentales que facilitan esta consulta. Las competencias que se han adquirido para la búsqueda documental en el ámbito de la investigación disciplinar son transferibles al diseño de un buen proyecto de mejora docente.
Al final de esta Guía encontrará información sobre fuentes de fácil consulta. Las revistas reseñadas ya indican la universidad de localización. Las direcciones de Internet son sólo una selección que pone de manifiesto la potencialidad de esta vía para contactar con temáticas de interés.
En definitiva, las aportaciones anteriores permitirán valorar el tipo de evidencia externa que apoya la adecuación y validez del proyecto.
3. MOTIVACIÓN PARA ACOMETER LA INNOVACIÓN
Si se desea acometer un proyecto que sirva para mejorar la calidad del aprendizaje del alumnado, parece lógico explicitar la concepción que se tiene de ese aprendizaje de calidad que se persigue. ¿Cuáles son los indicadores de calidad del aprendizaje universitario? Si se expresa en términos de competencias, ¿qué competencias van a mejorar ‑o nuevas que adquirir‑ con el diseño de una página web para el desarrollo docente de una asignatura?
Desde la perspectiva de la docencia de calidad, también ha de reflexionarse sobre los indicadores de la misma: ¿Qué objetivos se persiguen con la coordinación entre materias? ¿Es un simple ajuste de contenidos? En definitiva, la clara exposición del porqué del proyecto permitirá valorar la reflexión que se ha realizado sobre las creencias y criterios de calidad que han llevado a considerar como problemática la situación actual y, por tanto, en su formulación aparecerán los ingredientes del concepto de calidad del proceso de enseñanza‑aprendizaje que se asume.
2.‑ EL DISEÑO DE LA MEJORA O INNOVACIÓN
En el marco de la actividad docente se corre el riesgo de dejarse presionar por la constatación de los resultados sin la suficiente reflexión ‑valoración previa‑ sobre la adecuación del diseño de nuestra innovación. Tres criterios deberían ser tomados en consideración:
2.1.‑ Relación entre la situación inicial y los objetivos de mejora.
Parece lógico que los objetivos del proyecto estén claramente asociados a los puntos débiles del diagnóstico realizado. Dicho de otra manera, es necesario asegurar la correcta dirección del proyecto de innovación o mejora docente.
En ocasiones, proyectos relacionados con la elaboración de material (en sus diferentes soportes) no expresan con claridad el modo de uso del mismo. La disponibilidad de un determinado recurso no puede ser objetivo en sí mismo, si no es porque está asociado a una específica metodología de enseñanza que lo reclama.
Por tanto, indicadores específicos de la calidad de un proyecto son:
1. Los objetivos apuntan claramente a mejorar las deficiencias detectadas.
Una excesiva distancia entre lo que se pretende y la realidad del problema no es un buen indicador de calidad de un proyecto.
a) Adecuada definición de los objetivos del proyecto: claros, precisos y operativos, que permitan visualizar tanto las acciones que realizar (objetivos de proceso) como los resultados que se deben alcanzar (objetivos de logro).
b) Los objetivos son pertinentes a los factores implicados en la hipótesis explicativa de la situación inicial. De aquí la importancia de una correcta fundamentación que avale que nuestra propuesta de acción tiene razonable probabilidad de que produzca los cambios deseados en la situación de partida.
En ocasiones se acude a una propuesta de acción tutorial para solucionar problemáticas asociadas a factores que poco tienen que ver con lo que cabe esperar de la tutoría:
i. Inadecuadas secuencias curriculares.
ii. Normativas de matrícula que obligan a asumir cargas lectivas que llevan al no presentado.
iii. Ausencia de coordinación entre materias que conllevan una dispersión o multiplicación de demandas de trabajo repetitivo…
Los objetivos de un proyecto deben dirigirse a la “yema del huevo”, si bien puede haber razones estratégicas que aconsejen una aproximación más periférica al problema detectado.
2. Están identificados los indicadores que permitirán constatar los niveles de logro de los objetivos. No es necesario, ni en muchas ocasiones posible, que el proyecto de mejora pretenda pasar de la noche al día de la situación problemática. Sí que parece razonable que se establezcan niveles de logro en los objetivos, que justifiquen la inversión de energía (recursos personales y materiales) que reclama el proyecto.
Aminorar la magnitud de un proyecto o secuenciarlo en fases sucesivas puede ser garantía de éxito y continuidad en el apoyo institucional del mismo.
2.2.‑ Adecuación de las acciones de mejora o innovación.
La creencia de que por hacer cosas diferentes necesariamente se mejora tiene poco apoyo empírico, pero si además lo que se pretende hacer se expresa de manera confusa, indefinida o incompleta, la posibilidad de valorar la calidad de un proyecto es tarea ardua. Por ello, ha de tenerse presente el cumplimiento de los siguientes indicadores para satisfacer este criterio de calidad en un proyecto de mejora:
1. Coherencia entre los objetivos propuestos y las acciones que se propone ejecutar.
2. Clara y precisa definición de las acciones diseñadas para conseguir los objetivos previstos.
3. Adecuada planificación de la ejecución del proyecto. Deben estar claramente identificados:
a) Los responsables de la ejecución de las acciones previstas, así como las demandas de trabajo exigidas.
b) El momento de ejecución de las diferentes acciones propuestas.
c) Los mecanismos de coordinación y seguimiento del proyecto.
Es evidente que el primer indicador es clave: ¿Por qué hacer “X” para conseguir “Y”? Cabe preguntarse también sobre la intensidad de la acción. Con demasiada frecuencia se esperan resultados de acciones que, salvo un milagro, sólo sirven (y puede ser mucho en una determinada situación) para comenzar a sensibilizar sobre la problemática. En todo caso, parece necesario reflexionar sobre la adecuación del tipo de acción propuesta y el objetivo perseguido.
Sin duda alguna, sobre este indicador de calidad gravita una buena parte de la variabilidad en la calidad de los proyectos de mejora. Como en tantas situaciones y problemáticas abordadas científicamente en los respectivos campos disciplinares, el saber el cómo y el por qué permite asegurar la adecuación del qué hacer.
El resto de indicadores responde a las lógicas exigencias de asegurar que se ha pensado en el día D, después de obtener la ayuda solicitada.
2.3.‑ El coste de la innovación.
El criterio de calidad de un proyecto que toma como referente su coste es siempre cuestión controvertida. En el caso que nos ocupa ha de tenerse presente, de una parte, la regulación que establece la propia convocatoria con relación a los conceptos susceptibles de ayuda, así como a la exigencia de especificación de alguno de ellos (apartado 4). Por tanto ha de asegurarse que las partidas solicitadas de subvención se ajustan a lo regulado en la convocatoria. De otra parte, el proyecto debe satisfacer los indicadores específicos que se señalan:
1. Los recursos que exige el proyecto están claramente determinados.
2. Se han incluidos todos los necesarios.
3. Los recursos solicitados son necesarios para el desarrollo del proyecto.
4. Las aportaciones internas, si son necesarias están garantizadas.
5. El presupuesto solicitado es razonable con relación a la previsión de logros propuesta.
Si bien en la evaluación de la previsible eficiencia de la innovación que recoge el último indicador puede darse un componente de variabilidad en los juicios de los propios evaluadores, según se opine sobre la ratio objetivos/euros, la evidencia que apoye una valoración positiva en el resto de indicadores debe ser aportada en el proyecto.
Finalmente, el protocolo que se debe cumplimentar en la solicitud de ayuda pide un específico formato de información para este apartado (MQD 2003 – Annex 3). Alguna aclaración puede facilitar su cumplimentación:
a) Los costes marginales no incluyen, entre otros, partidas como las del coste de la dedicación al proyecto del profesorado y otro personal ya contratado, amortizaciones de equipos e instalaciones o gastos de mantenimiento. Entiéndase por tales, aquellos nuevos costes necesarios para desarrollar el proyecto. Debe especificarse la totalidad de tales costes.
b) La financiación (aportación) para satisfacer dichos costes SÍ que puede tener diversas procedencias: la ayuda que se solicita, la aportación de la propia universidad, o aportaciones de otros proyectos de igual o diferente naturaleza.
c) Dada la limitación máxima de ayuda que solicitar, es necesario priorizar –y justificar tal priorización‑ el tipo de recursos que se solicita y si se solicita financiación total o parcial de dichos recursos (fundamentales para el proyecto).
3.‑ LA EVALUACIÓN DE RESULTADOS
Este tercer criterio general exige que el proyecto tome en consideración no sólo la concreción de los resultados que espera alcanzar, sino que de manera especial y detallada explicite las estrategias de evaluación que utilizará para obtener la evidencia que permita evaluar tanto el nivel de logro de los resultados como el propio proceso de ejecución del proyecto. La evaluación de este último ha de ser fundamental para poder valorar en su justo término los propios resultados. Indicadores de calidad de este criterio son:
1. Está adecuadamente explicitada la forma de evaluar los resultados del proyecto.
2. Las estrategias/técnicas de evaluación previstas son adecuadas a los objetivos y acciones del proyecto.
3. Se tienen en cuenta todas las fuentes de información significativas.
4. El tipo de evidencias aportadas en la evaluación prevista (cuantitativas y cualitativas) permitirán responder a la pregunta “¿Se han logrado (y en qué nivel) los objetivos previstos?”.
No debe olvidarse que la evaluación de la ejecución y resultados del proyecto formará parte de la memoria justificativa del mismo que habrá de entregarse (Base 16a de la convocatoria). El modelo de evaluación de la innovación o mejora que se adopte debe de caracterizarse por tomar en consideración:
1. Diferentes fuentes de información (alumnado, profesorado, observadores/expertos externos…). Es de especial interés aportar evidencias sobre el grado de satisfacción de los implicados.
2. Datos o evidencias cuantitativas y cualitativas.
3. Atención a los diferentes momentos del proceso y a los diferentes resultados previstos o no previstos que pueden haberse producido.
En los cuadros siguientes se ofrece información para poder seleccionar los aspectos de carácter evaluativo que mejor se adecuen a las características del proyecto.
EL PROCESO DE EJECUCIÓN DE LA INNOVACIÓN. Check‑list
En esta fase de la evaluación habrán de analizarse todos aquellos aspectos relacionados con el proceso de desarrollo de la propia evaluación. Cuatros puntos son de especial importancia:
1. El nivel de cumplimiento de las acciones y actividades diseñadas ha sido correcto.
a) La ejecución del programa de actuación se ha ajustado al plan previsto y refleja tanto la orientación como las metas del mismo (¿Se tienen indicadores del cumplimiento de las acciones? ¿Se dispone de un análisis de incidencias? ¿Qué podemos concluir del mismo?
b) Las actividades desarrolladas han estado relacionadas con los objetivos deseados.
c) Ejecución de acciones no previstas (¿Cuál es su justificación? ¿Cuál es la valoración de su desarrollo?
2. Las acciones de coordinación previstas han sido cumplimentadas.
3. El tiempo de intervención real en la innovación ha respondido a las previsiones realizadas.
4. La participación e interés del alumnado ha sido el adecuado en el desarrollo de las actividades de innovación.
a) El nivel de absentismo en las actividades no ha sido significativo.
b) Se ha dado un correcto aprovechamiento del tiempo real de actividades.
c) Se ha dado una actitud positiva de los estudiantes en el desarrollo de las actividades.
5. La disponibilidad de recursos materiales se ha adecuado a las previsiones iniciales.
a) Los materiales a disposición del alumnado han sido adecuados y han estado disponibles en el momento preciso.
b) Se han dado facilidades en el acceso a los recursos de consulta.
6. Puede considerarse satisfactorio el nivel de implicación de los diferentes agentes de la innovación.
(¿Se ha dado un clima de colaboración? ¿Ha habido posibilidad de asesoramiento directo por parte de la institución?).
TIPOS DE LOGROS
1. Rendimiento de la innovación/mejora.
a) Nivel de logro de los objetivos
i. Indicadores cuantitativos y cualitativos. Los resultados de la evaluación demuestran la efectividad de la innovación: la mayoría de los estudiantes han alcanzado los niveles de logro previstos.
2. Satisfacción de los destinatarios y ejecutores de la innovación.
a) Del proceso de ejecución.
b) Del nivel de logro de los objetivos.
La evidencia de los datos de la evaluación señala que la mayoría de los estudiantes y del profesorado tienen opiniones favorables sobre el proyecto desarrollado.
3. Impacto de la innovación: De la innovación al cambio.
El mayor impacto de un proyecto de innovación es el de conseguir afianzar la innovación; es decir, pasar de la innovación al cambio, impidiendo una vuelta a las prácticas anteriores. En este aspecto, la evaluación del proyecto ha de permitir establecer una valoración sobre puntos como:
a) ¿Es necesaria la aportación de nuevos recursos para mantener la innovación?
b) ¿Qué valores se prevén hayan sido consolidados en la innovación?
c) ¿Será necesario convencer a otros para instaurar el cambio?
d) ¿Qué otro proyecto de innovación puede emerger a partir de la consolidación del concluido?
Por otra parte, ¿en qué medida la innovación realizada ha contribuido al fortalecimiento de la cultura de la calidad?
e) Estableciendo comunicación con otros grupos de innovación.
f) Difundiendo la experiencia en los diferentes ámbitos institucionales.
4. La eficiencia de la innovación.
a) ¿Están claramente determinados los recursos‑gastos generados por la innovación?
b) ¿Es fácil y clara una transformación en unidades monetarias?
c) ¿Es razonable el gasto en relación a los resultados alcanzados?
ESTRATEGIAS PARA LA OBTENCIÓN DE EVIDENCIAS
1. Registros e Indicadores.
a) Registros institucionales / de la organización.
b) Ratios de intervención / Intensidad de la intervención.
c) Observaciones directas.
d) Estimaciones indirectas.
2. Análisis por Encuesta.
a) Cuestionario.
b) Entrevista.
c) Incidente crítico (observación directa o autoinforme de una específica conducta en una determinada situación).
3. Procesos de Grupo.
a) Grupo nominal (+10 personas heterogéneas).
b) Entrevista de grupo (+10 personas homogéneas).
4.‑ EL CURRÍCULO Y LA IDONEIDAD DEL GRUPO
Si bien la tradición, práctica y cultura en este tipo de proyectos no es muy relevante en términos generales, también es cierto que cada vez más se dan las condiciones para que los indicadores de este criterio (lógicamente asumido por la comunidad universitaria) sean semejantes a los que se viene utilizando en el ámbito de la investigación disciplinar. El carácter competitivo de la convocatoria hace necesario señalar los indicadores de calidad que tener presente en la evaluación de los proyectos:
1. El/La responsable del proyecto tiene suficiente experiencia en la gestión/conducción de proyectos/grupos.
2. Se dan evidencias documentales del responsable del proyecto de su saber y saber hacer con relación a la calidad de la enseñanza.
3. La experiencia previa del responsable/grupo en la temática abordada es garantía de éxito del proyecto.
4. Se aportan indicadores externos (publicaciones, reconocimientos de la comunidad universitaria) de la competencia del grupo en la temática de mejora que se presenta.
5.‑ MÁS ALLÁ DE LO EXIGIDO: DE LA MEJORA AL CAMBIO
Este último punto no es objeto de consideración en la convocatoria de referencia, pero sí que forma parte de una reflexión comprensiva sobre cualquier iniciativa de innovación o mejora que se piense acometer. Máxime si dicha iniciativa toma el corpus de un proyecto financiado en convocatoria pública.
Uno de los problemas más referenciados en el análisis del día de después de un proyecto de mejora es el que haya tenido final; es decir, terminó el proyecto, y con el informe oficial se acabó la experiencia. Es evidente que el indicador clave que muestra el verdadero resultado de un proyecto de mejora (su impacto real) es aquel que muestra la consolidación de la mejora o innovación; es decir, que se ha producido un verdadero cambio.
Algunos de los puntos a tener presente para que desde el primer momento se trabaje en la dirección del cambio se refieren a:
1. Socializar la información sobre el proyecto: comunicar su desarrollo a otros agentes internos y externos motivados por la mejora de la enseñanza.
2. Asegurar la comunicación entre los diferentes grupos que desarrollan proyectos de esta naturaleza (cada vez más aparecen grupos con o sin incentivos y reconocimiento de las propias universidades).
3. Valorar el nivel de dependencia que el proyecto tiene para consolidarse en la aportación constante de recursos. Mal indicador si tal situación se da.
4. Tener presente la búsqueda de respuesta a cuestiones como:
a) ¿Qué valores se prevén hayan sido consolidados en la innovación?
b) ¿Será necesario convencer a otros para instaurar el cambio?
c) ¿Qué otro proyecto de innovación puede emerger a partir de la consolidación del concluido?
INTERNET Y EL DESARROLLO PROFESIONAL PARA LA DOCENCIA
Teaching and Learning Centers
Center for Teaching & Learning Services (University of Minnesota). www1.umn.edu/ohr/teachlearn/.
Center for Excellence in Education. (Indiana University). Interesante su Virtual Textbok. http://cee.indiana.edu.
Derek Bok Center for Teaching and Learning (Harvard University). http://bokcenter.fas.harvard.edu/. (En la sección Visitors pueden encontrarse, entre otros, interesantes documentos sobre evaluación).
Educational Development Resource Center (Hong Kong Polytechnic University). http://hednet.polyu.edu.hk/. Contiene 500 links to resources for teaching development, student learning, staff development, educational research and Teaching Webs.
Faculty Development Services (University of Pittsburgh). www.pitt.edu/­ciddeweb/FACULTY DEVELOPMENT/FDS/fds.html.
Institute for Learning and Teaching (Centro a nivel nacional en el Reino Unido). www.ilt.ac.uk/
Interesante web de la Western Michigan University. www.wmich.edu/teachlearn/.
Instructional Development Center (Queens University ‑Canadá‑). www.queensu.ca/idc/idcresources/ Su Resource Library dispone de unos 3800 libros, artículos, videos y revistas sobre university teaching and learning.
Searle Center for Teaching Excellence (Northwestern University/Chicago and Evanston). http://president.scfte.nwu.edu/ (Selección de Web Sites related to Teaching and Learning).
Teaching and Learning Centers Nation‑Wide. http://trc.virginia.edu/Links/Centers.htm (Web que permite conectar con múltiples Teaching and Learning &Centers de universidades norteamericanas.
Teaching & Technology. Universidad de Calgary (Facultad de Trabajo Social). http://fsw.ucalgary.ca/ (Resources for Instructors. Diversas secciones para el conjunto de tareas del profesorado, desde la planificación al uso de las TIC.
Web de la Indiana University Scholarship of Teaching and Learning Tutorial. http://aahe.ital.utexas.edu/sotl_tutorial.html
Webs específicas
Higher Education Resources (Web “abierta” con algunas secciones de especial interés). www.teach‑nology.com/highered/.
Higher Education Resources (Varias secciones de interés: Organizations, Publications, Centers for excellence, Technology/software). http://polaris.acast.nova.edu/‑mulvey/educate.htm.
Higher Education Resources Hub. www.higher‑ed.org/index.htm.
Higher Education and New Technologies (Suiza). www.edutech.ch.
The National Teaching and Learning Forum. www.ntlf.com. Incluye la Revista FORUM y un Book‑store en conexión con amazom.com.
Higher Education Support Program. www.osi.hu/hesp Faculty and Curriculum Development. Summer School (humanidades y CC. Sociales) del Eureste de Europa.
Teaching Portfolios (University of Texas. El Paso). www.utep.edu/cetal/portfoli/intro.htm.
Problem Based Learning. www.unimaas.nl/pbl/link.htm. Web de la Universidad de Maastricht con numerosos links sobre el tema.
Revistas de interés general en la Enseñanza Universitaria
Active Learning in Higher Education.
Assessment and Evaluation in Higher Education.
Canadian Journal of Higher Education.
College Teaching.
Co‑operative Learning and College Teaching.
Higher Education.
Higher Education Policy.
Higher Education Quarterly.
Higher Education Research and Development.
Improving College and University Teaching.
Innovative Higher Education.
Innovations in Education and Training International.
International Journal for Academic Development.
Issues & Inquiry in College Learning and Teaching.
Journal of Higher Education.
Journal on Excellence in College Teaching.
New Directions for Teaching and Learning.
Planning for higher Education.
Quality in Higher Education.
Research in Higher Education.
Review of Higher Education.
Studies in Higher Education.
Teachers College Records.
Teaching Excellence: Toward the Best in the Academy.
Teaching in Higher Education.
Tertiary Education and Management.
To Improve the Academy.
Revistas de docencia en los diferentes campos disciplinares
Academic Medicine.
American Journal of Pharmaceutical Education.
Australasian Journal of Engineering Education.
College Mathematical Journal.
Economics of Educational Review.
Educación Médica.
International Journal of Mathematics Education and Technology.
Educational and Training Technology International.
European Journal of Engineering Education.
International Journal of Engineering Education.
Journal of Chemical Education.
Journal of College Science Teaching.
Journal of Dental Education.
Journal of Economic Education.
Journal of Engineering Education.
Journal of Geography in Higher Education.
Journal of Geological Education.
Journal of Legal Education.
Journal of Medical Education.
Journal of Social Work Education.
Journal of Technology and Teacher Education.
Mathematic Teacher.
Medical Teacher.
Physics Education.
Physics Teacher.
Review of Engineering Formation.
Science Education.
Teacher Education Quarterly.
Teaching History.
Teaching Philosophy.
Teaching of Psychology.
Teaching Sociology.

 

 

[1] Scott (1996:158), entiende por cambio al acto de realizar algo diferente (definición transitiva) o a la observación que nos aporta evidencia de que algo es diferente (definición intransitiva). El progreso/mejora implica un juicio de valor sobre la naturaleza del cambio; es decir, el cambio ha ido en la dirección deseada. Finalmente, la innovación se refiere a la idea, práctica o recurso (material) que es percibido como nuevo por la persona o grupo que lo adopta.
Scott, G. (1996) Effective Management and Evaluation of Flexible Learning Innovations in Higher Education. Inovation in Education and Training International, 33 (4), 154‑170.

[2] Fernández, M. (1996) Evaluación e innovación educativa. En: C. Rosales (Co.) I Congreso de Innovación Educativa. v.1. Santiago de Compostela: Tórculo Edicions. ( pp. 61‑68).

Copyright © por AA-MAGISTERIO-Safa-Úbeda Derechos Reservados.
Publicado en: 2005-06-19 (41 Lecturas).

 

 

Deja una respuesta