Introducción

La redacción de documentos técnicos es básica en la vida profesional de todos los que ejercemos nuestra profesión. Una buena escritura puede representar la diferencia entre adquirir financiamiento o no, entre ser contratado o no, ser ascendido o no, o bien, recibir aceptación de publicación de nuestros trabajos o no.

La habilidad para redactar trabajos se adquiere con la práctica y se enriquece con la lectura de otros trabajos e incluso con la lectura de documentos o publicaciones que no tienen relación con nuestra profesión, como literatura universal, revistas técnicas, reportajes, etc.

Sin embargo, una de las herramientas más valiosas es la revisión y evaluación de nuestros documentos por otros profesionistas colegas. Esta actividad permite no solamente mejorar nuestra redacción, sino también la del evaluador. El aprendizaje entonces es mutuo.

El proceso de revisión por pares antes de la publicación o aceptación de proyecto, puede ser muy extenuante

Yo soy profesor docente del Centro Universitario de la Cost Sur, imparto cursos como ecología forestal, manejo del fuego, gestión ambiental entre otros, en la carrera de Ingeniería en Recursos Naturales y Agropecuarios.

Seminario de Investigación I es uno de estos cursos, en el que los estudiantes deben entregar como trabajo final, un protocolo de investigación, ya sea en formato de tesis o en formato de propuesta de proyecto experimental. Es para este curso para el que desarrollé la estrategia de implementación “Revisión y Evaluación de Protocolos por Colegas – Peer Review“. El objetivo fue el de implementar el enfoque instruccional de contenido creado por estudiantes y trabajo colaborativo.

¿Qué? y ¿Por qué?

El curso se basa en una serie de presentaciones donde a los estudiantes se le explican las secciones o partes del método científico, y las secciones en las que se divide un protocolo para tesis de licenciatura, el requerido para la titulación de la carrera donde imparto el curso.

Básicamente se les explica cada parte y como tarea deben redactar la parte que se les explicó en un periodo de tiempo determinado. De tal manera que construyen su protocolo en estas secciones que posteriormente son evaluadas por el profesor.

Debido a la gran variedad de intereses en la investigación y el conocimiento, los temas y sus contenidos no son compatibles generalmente con los del profesor. Por lo que en ocasiones resulta muy demandante de tiempo y esfuerzo, además de que el aporte en contenidos es muchas veces muy pobre.

El alumno al finalizar el curso-taller, presenta su protocolo al resto del grupo y la audiencia tiene obligación de participar haciendo comentarios u observaciones. Sin embargo, la participación suele ser muy pobre debido a que los compañeros no están enterados de los temas que se presentan, muestran poco interés y al final, el curso se vuelve muy poco atractivo para el alumno.

Por esta razón decidí implementar una nueva estrategia centrada en el estudiante donde, además de las obligaciones y responsabilidades de cada alumno, agregué una más: la revisión por pares o peer review.

Elegí esta estrategia porque pensé que incrementaría el interés por los trabajos de los otros compañeros, porque pienso que se aprende bastante cuando se revisan y evalúan otros trabajos. Esto no solamente despierta mayor curiosidad a los alumnos, sino que podría ayudar a mejorar su redacción, los contenidos y la revisión bibliográfica que hacen para completar el marco teórico.

Como resultado de esta estrategia, los alumnos debieron terminar de redactar en tiempo y forma cada sección del documento, como resultado de un mayor interés y creatividad en sus propios trabajos; y mejorado su participación en la sección de preguntas y comentarios después de cada presentación.

¿Cómo?

En primer lugar se presentó el contenido del curso a los alumnos, así como las obligaciones y responsabilidades incluyendo las formas de evaluación. Se explicó la forma de trabajar para cada sección en la redacción del documento y presentación del  protocolo.

Se explicó en que consiste la revisión por pares o arbitraje, cuáles son sus objetivos y ventajas/desventajas y los procedimientos para realizar esta actividad. Entre las necesidades les planteé que era necesario contar con una Rúbrica, y les expliqué en que consiste. Les dejé de tarea que pensaran en un proyecto que les gustaría desarrollar, un tema que les interesara, redactado en un enunciado o párrafo, dependiendo de la claridad de sus intereses.

En la siguiente clase, cada alumno presentó su propuesta o interés y posteriormente les asigné un “colega“ o árbitro. Les expliqué que a lo largo del semestre estarían trabajando con esa persona y con su trabajo. La tarea para la siguiente semana fue buscar en la web rúbricas para evaluar protocolos. Ya en clase trabajamos sobre los contenidos que cada quien encontró y construimos una rúbrica adecuada a nuestro curso.

“Poner aquí el vínculo a la rúbrica construida para el curso“

Captura de pantalla del documento que se utilizó para evaluar los protocolos en el Seminario de Investigación I

Continuación de captura de pantalla de Rúbrica para evaluación de protocolo de investigación

A lo largo del curso presenté las secciones del protocolo como lo había hecho anteriormente.

Al concluir la fecha límite de entrega de cada sección, los compañeros se intercambiaron sus documentos a través de un grupo de trabajo creado en Facebook, como se acordó desde el primer día de clases.

“Poner aquí el vínculo al grupo de Faceboook para el curso“

Integrantes del curso de Seminario de Investigación I – 2016 B

Los documentos fueron evaluados sección por sección de acuerdo a la rúbrica, pero también añadieron observaciones, comentarios y sugerencias. Hubo alumnos muy estrictos y comentarios muy detallados, y otros que solo se limitaron a evaluar de acuerdo a la rúbrica, o hicieron comentarios generales.

“Poner aquí ejemplos de evaluaciones de los alumnos“

Ejemplos de evaluaciones entregadas por los alumnos en diferentes formatos

Al inicio del curso se acordó que esta estrategia recibiría un 10% de la evaluación final e incluyó: entregar la rúbrica y comentarios en tiempo y forma (publicación en el grupo). Las revisiones se consideraron completas cuando además de la rúbrica incluía comentarios y observaciones adicionales.

Reflexión

La estrategia nos pareció en su momento muy adecuada, interesante y creativa a todos al inicio del curso. Sin embargo, hubo comentarios a lo largo del curso que consumía bastante tiempo a cada alumno y fue motivo de excusa para no presentar en ocasiones sus evaluaciones a tiempo. Además las secciones ocasionalmente no fueron subidas a tiempo, atrasando el trabajo de los demás compañeros. No observé desacuerdos entre los revisores asignados que ocasionaran conflictos mayores, pero pudo darse el caso sin haber sido detectado.

La presentación parcial del protocolo se tuvo que atrasar una ocasión debido a que las revisiones no estuvieron completadas a la fecha límite, lo que forzó a trabajar más rápido y con menor calidad la parte final del protocolo. Esto redujo un poco la calidad del documento y presentación final.

De cualquier manera los alumnos en general reportaron que esta estrategia les había ayudado a mejorar el contenido de sus trabajos pues además de observar y aprender de los documentos que revisaron, les ayudó a poner mayor atención a los puntos más importantes a desarrollar en su trabajo. Algunos llegaron a comentar que esta estrategia les ayudó a realizar una revisión de literatura más fructuosa, más rápida y a seleccionar mejor el material bibliográfico.

Considero que asignar un solo revisor a lo largo del curso para un mismo compañero, pudo haber contribuido a generar aburrimiento o falta de interés en participar en las revisiones. La apatía de algunos alumnos por entregar sus tareas a tiempo pudo haber influido también en el retraso de entrega de tareas de sus compañeros, generando un desinterés o aversión en entregar sus respectivas revisiones; un tipo de reacción en cadena.

Probablemente implementar esta estrategia con una ligera modificación, como asignar un revisor diferente para cada sección, contribuiría a mejorar la participación y entrega de tareas a tiempo de la mayoría.

Este curso lo he impartido en los últimos seis semestres bajo una estrategia similar en la que yo soy la única responsable de realizar las evaluaciones. Ha sido muy extenuante para mi debido a que los alumnos tienen intereses que difieren bastante de los míos y para los cuales no tengo experiencia. Además imparto cinco cursos adicionales y no me daba tiempo para realizar evaluaciones profundas a cada trabajo, que por lo general promedian más de 20 alumnos por semestre.

Encuentro esta estrategia como una forma de disminuir la carga evaluadora que me forzaba a realizar revisiones muy generales y poco enriquecedoras a los trabajos de los alumnos. Además encontré que la redacción de los muchachos mejoró bastante entre semestres.

Aunque la participación incrementó, el conocimiento sobre los temas particulares que se requiere para mejorar los contenidos, no fue mejorado con esta estrategia. Me gustaría implementar adicionalmente una estrategia donde mis colegas investigadores contribuyeran significativamente de acuerdo a los intereses compartidos alumno/investigador.

Evaluación

El método de evaluación fue en primer lugar la rúbrica. En segundo lugar se esperaba que la redacción del documento final tuviera mejor calidad y esto lo reflejaría el título de la investigación.

“Mostrar títulos de protocolos iniciales y finales“

La imagen anterior muestra un ejemplo del título inicial del trabajo de un alumno, mientras que la posterior muestra como quedó al final

“Mostrar capturas de revisiones subidas al grupo“

Capturas de pantalla donde se muestran las evaluaciones subidas por los alumnos a sus compañeros – peer review

“Evaluaciones de la estrategia“

Ejemplo de evaluaciones de la estrategia de revisión por pares, publicadas por los alumnos en el grupo.

En general la calificación del alumno se dividió en:

30% documento final

25% presentación parcial del protocolo

25% presentación final del protocolo

10% fichas bibliográficas

10% revisiones por pares subidas al grupo de Facebook (en este porcentaje se evaluó que haya subido las revisiones en la fecha límite, y que haya incluido rúbrica y comentarios)

Mirando hacia adelante

Considero que esta estrategia contribuye sustancialmente a mejorar el desempeño de los estudiantes en la redacción de documentos técnicos. La recomiendo para cursos similares o bien, para otros cursos donde la redacción de un documento de este tipo sea parte importante de la evaluación final.

Probablemente, la contribución de otros colegas investigadores enriquecería aún más el contenido de estos protocolos. Aunque como parte de las sugerencias que hago a mis alumnos incluye visitar a uno o dos profesores con experiencia en su tema para que les proporcione asesoría o bibliografía, sería bueno también incluirlos en la revisión de los documentos como otro punto a evaluar en el curso. Pero esto dependería de la disponibilidad de los profesores para participar. Es posible que el uso de tecnologías virtuales sería una forma de implementar esta estrategia, pero también dependerá de la disponibilidad y familiarización de los profesores con estas herramientas.

Existen otros cursos en el CUCSUR donde los alumnos presentan en seminarios abiertos al público universitario sus trabajos finales a manera de pequeños congresos. Probablemente se podría implementar esta estrategia de manera virtual para mejorar la calidad de las investigaciones estudiantiles. Seguiré explorando esta alternativa.

Otros recursos

Existe una gran variedad de recursos en la web que pueden ayudar a mejorar esta estrategia, los cuales revisé y seguiré revisando:

En esta página de la Universidad de Washington en San Luis, en el Centro para Enseñanza, se recomienda planificar esta estrategia antes de iniciar el curso y documenta como hacerlo. Recomiendan asignar tres revisores a cada alumno y que se mantengan durante todo el semestre:

https://teachingcenter.wustl.edu/resources/writing-assignments-feedback/planning-and-guiding-in-class-peer-review/

En esta página de la Universidad de Vanderbilt, en el Centro para Enseñanza, se propone una guía para realizar evaluaciones de aprendizaje en Arbitraje de Documentos preparados por alumnos:

https://cft.vanderbilt.edu/guides-sub-pages/peer-review-of-teaching/

En este documento “La evaluación entre iguales: beneficios y estrategias para su práctica en la universidad“, se explica como contribuye la evaluación por pares en la formación de los alumnos y proporciona estrategias para desarrollar en el aula:

http://www.revistaeducacion.educacion.es/doi/359_092.pdf