Página inicial: 69 Página final: 85
HACIA LA EDUCACIÓN BASADA EN LA EVIDENCIA: UN MÉTODO Y UN TEMA[1]
Celia Camilli -Trujillo [2]
Universidad Complutense de Madrid, España
E-mail: ccamilli@ucm.es
Delia Arroyo-Resino[3]
Universidad Internacional de la Rioja, España
E-mail: delia.arroyo@unir.net
Isabel Inmaculada Asensio -Muñoz[4]
Universidad Complutense de Madrid, España
E-mail: macu@edu.ucm.es
Patricia Mateos- Gordo[5]
Universidad Complutense de Madrid, España
E-mail: patrimat@ucm.es
Para citar este artículo /To reference this article /Para citar este artigo
Camilli –Trujillo, C., Arroyo-Resino, D., Asensio –Muñoz, I. & Mateos- Gordo, P. (2020). Hacia la educación basada en la evidencia: un método y un tema. Revista Electrónica en Educación y Pedagogía, 4(6), 69-85. doi: http://dx.doi.org/10.15658/rev.electron.educ.pedagog20.05040606
Recibido: octubre, 29 de 2019 /Revisado: diciembre, 20 de 2019 / Aceptado: marzo, 6 de 2020
Resumen: La revisión de la investigación, cuando se realiza de manera sistemática, es una metodología que puede enclavarse dentro de los paradigmas existentes -cualitativo, cuantitativo o mixto-, y tiene como finalidad, generar evidencia: a) que informe de la continuidad de la investigación en una línea determinada, o b) que guíe la toma de decisiones para la mejora de las prácticas y políticas educativas. El artículo se centra en las características y las fases del proceso metodológico de la revisión sistemática, que se aplica a una investigación educativa particular, con el objetivo de ilustrar su utilidad como metodología de obtención de evidencias. Se aplica a un tema concreto -la investigación sobre los Trabajos fin de Grado (TFG) o Proyectos fin de Carrera (Final Projects)-, un método de revisión sistemática integrativa y mixta, como ejemplos, para dar respuesta a la pregunta de revisión: ¿Con qué técnicas de recogida y análisis de datos se investiga sobre los TFG o Final Projects en la literatura científica? Se presentan los resultados, tanto cuantitativos como cualitativos. Se concluye que, en el ámbito revisado, la práctica y la política educativa continúan basándose en las creencias predominantes, y éstas no siempre tienen como base los resultados de la investigación, a partir de lo cual se genera la evidencia. Se ponen de manifiesto las limitaciones relativas al establecimiento de criterios para el cálculo de la evidencia, y las aportaciones de esta metodología tanto en el tema de investigación elegido como ejemplo, como, en general, para el avance científico en educación.
Palabras clave: Método de investigación (Tesauro); investigación educativa, investigación sobre literatura científica, proyecto final de carrera, revisión sistemática, trabajo fin de grado (palabras clave del autor).
Towards evidence-based education: a method and a topic.
The review of research, when carried out systematically, is a methodology that can be embedded within existing paradigms - qualitative, quantitative or mixed - and aims to generate evidence: a) which reports research continuity in a given line of research, or b) which guides decision-making for the improvement of educational practices and policies. The article focuses on the characteristics, and stages of the methodological process of systematic review applied to a particular educational investigation, in order to illustrate its usefulness as a methodology for obtaining evidence. More precisely, an integrative and mixed method of systematic review is applied to a specific topic - the research on Final Degree Projects (FDP) Or Final Projects- as examples to answer the review question: What data collection and data analysis techniques are researched on FDP or Final Projects in the scientific literature? Both quantitative and qualitative results are presented. As a conclusion, in this research topic, practice and education policy continue to build on prevailing beliefs, and these beliefs do not always have as a basis the results of the research, from which evidence is generated. The limitations relating to the establishment of criteria for evidence calculation are highlighted, as well as the contributions of this methodology on both the research topic chosen as an example and, in general, for scientific advancement in education.
Key words: Research method (Thesaurus); Educational research, Scientific literature research, Final Project, Systematic review, Final Degree Project (author's keywords).
Em caminho até a educação baseada na evidência: um método e um tema
Resumo: A revisão da pesquisa, quando é realizada de maneira sistemática, é uma metodologia que pode ser incorporada dentro dos paradigmas existentes - qualitativa, quantitativa ou mista -, e tem como objetivo gerar evidências: a) que informe da continuidade da pesquisa em uma linha determinada, ou b) que oriente a tomada de decisões para o aprimoramento de práticas e políticas educativas. O artigo está enfocado nas características e as fases do processo metodológico da revisão sistemática, que se aplica a uma investigação educativa especifica, com o objetivo de ilustrar sua utilidade como metodologia para obtenção de evidências. Se aplica a um tema especifico- a investigação sobre os trabalhos de conclusão de curso (TFG) ou projetos de conclusão de carreira (Final project)-, Um método de revisão sistemática integrativa e mista, como exemplos, para responder à pergunta de revisão: Quais técnicas de coleta e análise de dados se pesquisa os TFG ou Final projects na literatura cientifica? Os resultados são apresentados, tanto quantitativos e qualitativos. Conclui-se que, no âmbito revisado, a prática e a política educativa continuam baseadas nas crenças predominantes, e nem sempre têm como base os resultados da pesquisa, a partir do qual é gerada a evidência. São ressaltadas as limitações relativas ao estabelecimento de critérios para o cálculo da evidência e as contribuições dessa metodologia, tanto no tema de pesquisa escolhido como exemplo, e, em geral, para o avanço científico da educação.
Palavras-Chave: Método de investigação (Tesauro); pesquisa educativa, pesquisa sobre literatura científica, projeto de conclusão de carreira, revisão sistemática, trabalho de conclusão de curso (palavras-chave do autor).
INTRODUCCIÓN
La revisión de la investigación tiene como funciones principales, el establecimiento del estado del arte, cuando se realiza en una investigación primaria, y la acumulación de evidencias en torno a un tema de investigación, cuando se emplea en investigación secundaria. Es indiscutible que la ciencia avanza, porque el trabajo en una disciplina se asienta en los cimientos puestos por quienes antecedieron en su estudio. En este sentido, la revisión de lo conseguido por otros, es, en cualquier ciencia, el punto de partida de la investigación actual, porque de ello se deriva el estado de la cuestión en el que se encuentra el problema de investigación que se pretende resolver. Por otra parte, la evidencia como base para la adopción de programas, prácticas y políticas educativas, está dando lugar al movimiento de la educación basada en la evidencia, que se está imponiendo por el éxito que sus planteamientos están teniendo, especialmente, en medicina. La mayor trayectoria de revisiones (sistemáticas y meta-análisis) proviene de las ciencias de la salud (Davies, 2000), a través de redes internacionales de investigación, como la Colaboración Campbell y la Colaboración Cochrane.
En cuanto a educación, son notables las iniciativas norteamericanas que han trabajado en la elaboración de estándares de calidad para la valoración de estudios basados en evidencias, como el programa What Works Clearinghouse (WWC) del Departamento de Educación o la Best Evidence Encyclopedia (BEE) del Center for Data-Driven Reform in Education (CDDRE) de la Universidad John Hopkins (Blanco, 2012). También son importantes en Europa los trabajos del The Evidence for Policy and Practice Information and Co–ordinating Centre (EPPI, 2019) del Instituto de Educación de la Universidad de Londres, que ha hecho contribuciones metodológicas y ha realizado revisiones sistemáticas en una gran cantidad de temas, y el Evidence Informed Policy and Practice in Education in Europe (EIPPEE, 2011), con la participación de 23 países europeos y siete organizaciones con sede en cuatro países no europeos, interesados en estudiar la naturaleza y el alcance de acciones que vinculan la evidencia de investigación con las políticas educativas en la Unión Europea (Camilli, 2015).
La revisión de la investigación, cuando se realiza de manera sistemática, se convierte, en sí misma, en una metodología de investigación, que puede enclavarse dentro de cualquiera de los paradigmas existentes, ya que admite un proceso de síntesis más cualitativo, cuantitativo o mixto (Harden & Thomas, 2005), centrada en el cambio para la mejora, a través de la generación de una evidencia que informe sobre la toma de decisiones que ha de guiar la práctica. Johnson & Onwuergbuzie (2004) plantean que ha llegado el momento de la investigación mixta, o integradora, que se refleja en los diseños de modelos mixtos y de métodos mixtos. Un principio de la investigación mixta, es el de pragmatismo, el cual plantea que los investigadores deben crear, conscientemente, diseños que respondan efectivamente a sus preguntas de investigación, aunque se alejen de la lealtad al diseño monométodo o puramente cualitativo o cuantitativo.
Desde una perspectiva cuantitativa, en la que la síntesis se hace, básicamente, en torno a criterios y valores numéricos y con herramientas estadísticas, la metodología de revisión se conoce con el nombre de meta-análisis. Este enfoque tiene como principales ventajas, la objetividad y la replicabilidad (Botella & Zamora, 2017). Las revisiones sistemáticas, tal y como indican Higgins & Green (2011), son un método que intenta recopilar toda la evidencia sobre un tema específico, en función de los criterios de elegibilidad, establecidos previamente, para minimizar sesgos y, así, obtener conclusiones más confiables. Este tipo de revisiones son, muchas veces, un paso previo para el meta-análisis, que además exige que los estudios primarios puedan combinarse estadísticamente (Glass, 1976, 1977). Es por eso, que las revisiones sistemáticas suelen incluir, solamente, estudios primarios cuantitativos, experimentales y completamente aleatorizados. Sin embargo, esto, en investigación educativa, no siempre es posible, por lo que se realiza vote counting, análisis narrativos (Cooper, 1998) o revisiones sistemáticas orientadas a la síntesis de estudios primarios cualitativos, como meta-estudios, meta-etnografía, teoría formal fundamentada, meta-síntesis y meta-métodos, entre otros (Dixon-Woods et al., 2006; Jackson, 1980).
La publicación y divulgación de los resultados de las revisiones sistemáticas y meta-análisis, cobran especial importancia, porque de ellas depende que la información llegue de la manera correcta a los destinatarios que han de llevar a cabo las prácticas. En ese sentido, son notables los esfuerzos que se están haciendo en ciencias de la salud, en el terreno de la psicología (Rubio-Aparicio, Sánchez-Meca, Marín-Martínez & López-López, 2018), o de la medicina, con la protocolización de publicaciones, por ejemplo, a través de la declaración PRISMA (Urrútia & Bonfill, 2010).
Así pues, se pueden encontrar numerosas revisiones sistemáticas realizadas, en los últimos años, en el campo de la educación en España. Sin ánimo de ser exhaustivos, se destacan los trabajos de López, Barceló & Camilli (2011), investigadores de la Universidad Nacional de Educación a Distancia (UNED) y de la Universidad Complutense de Madrid (UCM), sobre meta-análisis en aprendizaje cooperativo; de Camilli & López (2015), sobre la investigación cualitativa en educación; de Cabrera (2016), de la Universidad de la Laguna, sobre rendimiento académico; de Camilli & Römer (2017); sobre la alfabetización mediática; de Camilli (2018), sobre educación mediática en España; de López & Camilli (2018), sobre los beneficios de la mentoría; de Puertas et al. (2018), de la Universidad de Granada, sobre el tema de la inteligencia emocional en los docentes; de García-Martínez & Martín-Romera (2019), de la Universidades de Granada y Valladolid, sobre liderazgo pedagógico; de González-Rodríguez, Vieira & Vidal (2019), de la Universidad de León, sobre variables que influyen en la transición de la educación primaria a la secundaria; de Suárez-García, Álvarez- García & Rodríguez (2020), de la Universidad de Oviedo, sobre el acoso escolar; o de Prieto (2020), de la Universidad Internacional de la Rioja (UNIR), sobre gamificación, motivación y aprendizaje en universitarios.
Al hacer un juego de palabras, se podría decir que es evidente que la revisión sistemática es una metodología cada vez más frecuente en la búsqueda de evidencias educativas. En el número que la Revista Colombiana de Educación (2014) dedica a la Educación Basada en la Evidencia, la mayor parte de los trabajos del monográfico, se agrupan bajo este epígrafe, siendo el doble el número de revisiones que el número de investigaciones seleccionadas para el mismo. Las revisiones y análisis bibliométricos que lo componen, se centran en diversos temas de interés educativo; pero, cabe destacar, la realizada por Hederich, Martínez & Rincón (2014), quienes hacen una síntesis de la investigación sobre Educación Basada en la Evidencia, desde una óptica bibliométrica. La unión de la revisión sistemática, como método, y la obtención de evidencias como objetivo de investigación, es prometedora en cualquiera de los campos y temas de interés para la investigación educativa actual. En esta diada, se sustenta gran parte del apoyo científico que la disciplina de la Educación necesita, tanto para una investigación fructífera como para que estos frutos lleguen a los profesionales.
Aunque el trabajo que aquí se presenta, es esencialmente metodológico, el método -la revisión sistemática-, se aplica a un tópico: los métodos de investigación que se utilizan en Educación actualmente, acotándolos a un tema de interés internacional, como es la literatura científica que versa sobre el Trabajo fin de Grado (TFG) o Proyecto final de Carrera (Final Project). La revisión sistemática, como ya se ha indicado, es una metodología susceptible de ser aplicada en múltiples objetos de interés pedagógico. En este estudio, se ha elegido como tema el TFG, por su importancia e interés en la formación universitaria. Una muestra de la importancia del tema, es que al TFG se le han dedicado, al menos en España, dos congresos específicos, uno en Bilbao, en 2014 y otro en Valladolid en 2017 (Sotos, 2020). Como muestra del interés que el tema suscita, baste decir que, en Dialnet Plus, la última búsqueda realizada en marzo de 2020, arrojó 4.414 documentos (artículos, tesis, capítulos de libros y libros), entre los que no se encuentra ninguna revisión sistemática.
El objetivo principal del artículo, es ilustrar la problemática y la utilidad de la revisión sistemática como método de obtención de evidencias que guíen la investigación educativa y la práctica, en este tema en particular; y, a partir del mismo, en la investigación educativa en general. De esta manera, con la finalidad de que sirva de ejemplo metodológico, se presenta a continuación una revisión sistemática centrada en los métodos de la investigación primaria, que se han realizado sobre TFG o Final Project, que pretende, como primer objetivo específico, responder a una pregunta de revisión concreta acerca de los métodos y técnicas de investigación empleados en las publicaciones científicas, publicadas en torno al tema. El segundo objetivo específico se centra en el análisis de la necesidad y de las ventajas e inconvenientes de la propuesta metodológica de revisión sistemática, desde un enfoque integrativo y mixto en el panorama actual de la metodología de investigación educativa.
METODOLOGÍA
El método empleado consistió en una revisión integrativa y mixta, la cual tiene por objetivo sintetizar teorías, analizar problemas metodológicos y hallazgos empíricos provenientes de estudios primarios experimentales y no experimentales (Harden & Thomas, 2005; Whittemore & Knafl, 2005). Este método se caracteriza por integrar estudios primarios cuantitativos y cualitativos, en donde se combina información que procede de la teoría, con la literatura empírica, por lo que incorpora metodologías diversas, para comprender el contexto del tema y su procedimiento; sus fases son: a) formulación del problema o de la pregunta de revisión (Andrews & Harlen, 2006); b) revisión de la literatura; c) evaluación de información cuantitativa y cualitativa; d) análisis de datos cuantitativos y cualitativos, y e) interpretación y discusión de resultados (Russell, 2005). Para el análisis de los datos se emplearon las herramientas de Excel, SPSS versión 21 y Atlas.Ti versión 8.
Pregunta de investigación que guía la revisión (Review question)
¿Con qué métodos de investigación y con qué técnicas de recolección y análisis de datos, se aborda la realización de los Trabajos fin de Grado (TFG) o el Proyecto fin de Carrera (Final Project) en la literatura científica?
Revisión de la literatura
La revisión de la literatura se hizo a través de la consulta de las bases de datos bibliográficas Education Resources Information Center (ERIC), SCOPUS y Web of Science (WOS). Se utilizaron como descriptores: careers project, degree project, final degree project, final project, final project report, final degree project y undergraduated project, en el título, palabras clave o resumen de los documentos.
Criterios de inclusión y exclusión
Los criterios de inclusión fueron estudios primarios: a) cuantitativos y cualitativos; b) llevados a cabo en la universidad; c) en cualquier disciplina; d) sin criterio de temporalización; e) escritos en inglés o en español; f) con resumen; g) a texto completo; h) provenientes de cualquier tipo de documento, y i) relativos al TFG o Final Project.
Proceso de revisión: fases y diagrama de flujo
Los documentos encontrados se organizaron en una tabla Excel, en la que las filas correspondieron a cada estudio y las columnas, a las diferentes categorías de análisis. En una primera vuelta, de un total de 261 documentos encontrados, cumplieron con los criterios de inclusión 72 estudios y se eliminaron 189, esto porque: estaban repetidos (48); no tenían resumen (28); se referían a los resultados del TFG en la disciplina, pero no tanto a las cuestiones pedagógicas relacionadas con el TFG (verbigracia: medicina, ingeniería, otras) (73); se centraban en una asignatura específica del plan de estudios (8); se relacionaban con innovación educativa, pero desvinculados con el TFG o Final Project (por ejemplo: trabajos en tecnología, trabajo en grupo, metodologías de enseñanza-aprendizaje, diseño instruccional, aprendizaje entre pares, materiales y recursos económicos) (8); se basaban en el desarrollo profesional en el ámbito rural, en estudios de doctorado y trabajo práctico-laboral (5); eran relativos al prácticum (4); a proyectos/investigaciones que no pertenecen a un TFG o Final Project (12); al aprendizaje-servicio (1); con orientación vocacional (1) o asociados a becas universitarias (1). En esta fase, la fiabilidad interjueces fue de 89,7%.
En una segunda vuelta, de esos 72 estudios, se eliminaron 34, porque en el resumen no aparecía especificado el método de investigación. En esta fase, 38 documentos cumplieron con los criterios de inclusión.
En una tercera y última vuelta, de los 38 documentos tan solo 21 se encontraron a texto completo. En esta parte, se eliminaron 17 estudios.
La figura 1 representa el proceso de revisión y sus fases, para cumplir, así, con los criterios de PRISMA (Hutton et al., 2015).
Figura 1. Diagrama de flujo
Por tanto, de la primera fase se analizaron, cuantitativamente, los resúmenes de los 72 estudios, y de la tercera fase, los 21 documentos a texto completo, a través de un análisis cualitativo.
La decisión de analizar el resumen de esos 72 estudios -aunque no todos a texto completo-, se debe a que: a) Se trata de un área de conocimiento con un número reducido de publicaciones que estudian el TFG como asignatura; b) es un conocimiento que está disperso, por ser una asignatura obligatoria en las distintas ramas del saber, lo que dificulta la identificación de esos trabajos; c) porque la mayoría de las publicaciones que se han encontrado a texto completo, son investigaciones empíricas producto del TFG y que, por tratarse de disciplinas específicas, resulta imposible analizar su impacto, debido a que escapa a los objetivos del presente estudio (este es el caso de los 73 estudios que se eliminaron en la primera vuelta, en donde se han encontrado investigaciones empíricas en medicina, biología y otras).
Sistema de codificación y tipo de análisis
Para el análisis de los 72 documentos, mediante el uso de Atlas.Ti, se estableció un sistema de codificación de variables contextuales, referidas a: a) año de publicación; b) disciplina; c) tipo de documento; d) indexación, y e) palabras clave. Por otra parte, se codificaron las variables metodológicas: f) método; g) diseño de investigación; h) muestra; i) instrumentos o técnicas de recolección de datos, y j) técnica de análisis de datos. Las variables contextuales y metodológicas se analizaron cuantitativamente de manera descriptiva (frecuencias y porcentajes), con el programa SPSS.
Los 21 documentos, a texto completo, se analizaron cualitativamente siguiendo la propuesta de Flick (2018) y Gibbs (2018), con categorías predeterminadas. Estas categorías fueron: a) los instrumentos o técnicas de recolección de información empleados para estudiar el TFG, y b) las técnicas de análisis de datos que se han aplicado. Este proceso de análisis implicó identificar patrones de ideas, conceptos o temas similares, para luego establecer relaciones e integrar la información entre sí, con los fundamentos teóricos (Miles & Huberman, 1994).
RESULTADOS Y DISCUSIÓN
Para la obtención de resultados se realizó, en primer lugar, un estudio descriptivo cuantitativo de los documentos elegidos en la fase inicial y, posteriormente, un análisis cualitativo de los documentos incluidos en la selección final, como corresponde al enfoque elegido de revisión sistemática integrativa y mixta.
Descripción general de los estudios
En cuanto a las variables contextuales, al considerar un total de 72 documentos, desde 1957 hasta 2018 se han publicado trabajos relacionados con el TFG, y se observa un fuerte incremento en los últimos años, ya que entre el 2000 y el 2018, se encuentra el 80,55% de los trabajos. En los documentos consultados, el TFG está relacionado, en su mayoría, con las disciplinas de ingeniería (38,35%) y de educación (10,95%), con predominio de los artículos de investigación (62,5%) y las conferencias (31,9%). El resto (5,6%) son reseñas, jornadas, informes técnicos o libros. En cuanto a la calidad de los artículos científicos, un 74,62% está indexado en SCOPUS e, incluso, uno se sitúa en el Q2 del Journal Citation Report (JCR). Finalmente, respecto a las palabras clave, el 54,04% es sinónimo de TFG, un 24,26% se refiere al campo de aplicación (disciplina), y un 21,70% al método, diseño de investigación, competencias y evaluación.
Con relación a las variables metodológicas, más de la mitad, de los 72 estudios, especifica en el abstract su diseño de investigación (51,38%). De ellos, un 59,46% es cuantitativo (31,81% no experimental, 13,66% experimental y un 51,56% no especifica), un 24,32% es cualitativo (22,22% estudios etnográficos, 11,11% análisis de contenido, 33,33% estudios de caso y 33,34% no especifica), un 5,40% es mixto y un 10,82% constituye trabajos teóricos. En un 34,72% se especifica la muestra, en un 16,66% se menciona el instrumento de recolección de datos empleado (50% cuestionarios, 16,66% entrevistas, 8,33% grupos focales y en un 25,01% no se especifica el tipo de instrumento). En un 18,05% se especifica la técnica de análisis de datos (54,55% técnicas cuantitativas y 45,45% técnicas cualitativas).
Resultados del análisis cualitativo
La tabla 1 muestra información general de los 21 documentos incluidos en la revisión, en la tercera y última fase de selección. Para la identificación de estos documentos, se asignó un número que sirvió de referente en los sucesivos análisis vinculados con la metodología de investigación.
Tabla 1
Descripción general de los 21 documentos incluidos finalmente
|
Nº |
Autores y año de publicación |
Tipo de documento |
Tipo de metodología |
Propósito/objetivos del estudio
|
|
1 |
Adderley, K. J. (1975) |
Artículo |
Cuantitativa |
Analizar los fines y objetivos del trabajo del proyecto y dividirlos en dos categorías: uno orientado a tareas y el otro orientado a la conducta. |
|
2 |
Allison, J., & Benson, F.A. (1983) |
Conferencia |
Cuantitativa |
Amplio estudio de los objetivos, las estrategias de conducta y los métodos para evaluar los proyectos de pregrado en último año en Ingeniería Electrónica e Ingeniería Eléctrica. |
|
3 |
Arar, K. (2016) |
Artículo |
Cualitativa |
Identificar los problemas clave involucrados en la supervisión del proyecto final y resaltar el potencial de la supervisión de una institución académica, para cambiar la realidad educativa a través del proyecto final basado en el trabajo de estudiantes y de docentes de posgrado como investigadores internos en escuelas israelíes. |
|
4 |
Arreman, I. E., & Erixon, P. O. (2017) |
Artículo |
Revisión teórica |
Explorar el alcance y la orientación de los proyectos de grado final de los estudiantes en el campo sueco de educación y cuidado de la primera infancia en relación con las políticas nacionales de educación superior, incluido el Plan de Estudios Nacional y las pautas para el trabajo profesional en el sector de la primera infancia. |
|
5 |
Culwin, F. (2008) |
Artículo |
Cuantitativa |
Intentar reducir la cantidad de contenido no original (plagiado) en los proyectos. |
|
6 |
Danowitz, A. (2016) |
Conferencia |
Cuantitativa |
Desarrollar un diseño de proyecto representativo para estudiantes, con el objetivo de disminuir el abandono de la carrera. |
|
7 |
Esteban-Escaño, J.; Esteban-Sánchez, A. L., & Sein-Echaluce, M. L. (2017) |
Artículo |
Cualitativa
|
Diseñar un método adaptativo para el Proyecto final de carrera y cómo ponerlo en práctica utilizando el sistema de gestión de aprendizaje Moodle. |
|
8 |
Harris, D., & Smith, B (1983) |
Artículo |
Cuantitativa |
Estudio de las etapas y procesos involucrados en los proyectos de pregrado de último año en la Universidad de Bath, durante un período de dos años. |
|
9 |
Howard, E., & Woods, D. (2016) |
Artículo |
Revisión teórica |
Investigar si los estudiantes se sentirían más involucrados en su Proyecto final, si se desarrolla la creatividad y el uso de sistemas multimedia en su proyecto. |
|
10 |
Jusoh, S., & Al Fawareh, H.M. (2017) |
Artículo |
Cuantitativa |
Investigar las perspectivas de los estudiantes y miembros de la facultad, sobre el uso de herramientas en línea para apoyar la supervisión de proyectos de pregrado del último año de carrera. |
|
11 |
Kwok, L.F., & Cheung, C.H (2008) |
Conferencia |
Cualitativa |
Propuesta de Modelo de Gestión de Recursos de Aprendizaje, aplicando tecnologías web 2.0, para permitir el intercambio de recursos de aprendizaje y facilitar la creación de conocimiento del proyecto en un proceso de aprendizaje. |
|
12 |
Moreno Oliver, V., & Hernández-Leo, D. (2015) |
Artículo |
Cualitativa |
Experiencia en la Escuela de Ingeniería de la Universitat Pompeu Fabra (Barcelona), con el empleo de un enfoque basado en rúbricas, como parte de una guía de evaluación (con herramienta de soporte) para evaluar los proyectos finales. |
|
13 |
Mottram, D. R., & Rowe, P. H. (2005) |
Artículo |
Cuantitativa |
Evaluar la efectividad de un sistema para la asignación de estudiantes a los proyectos de último año, y evaluar la calidad de este marcador entre los proyectos realizados dentro de diferentes disciplinas de investigación. |
|
14 |
Murdoch-Eaton, et al. (2010) |
Artículo |
Mixta |
Investigar las oportunidades para la participación de estudiantes universitarios en investigación y el desarrollo de habilidades asociadas. |
|
15 |
Ogunniyi, S.O., & Adejubee, F.V. (2014) |
Conferencia |
Cuantitativa |
Examinar el nivel de existencia de los proyectos de pregrado en la biblioteca de la Facultad de Educación de Nigeria, la naturaleza de estos trabajos, el grado de deterioro, el uso de las Tecnologías de la Información y la Comunicación (TIC), como apoyo para la búsqueda de estos documentos y el nivel de apoyo dado a la preservación de estos trabajos, por parte de la dirección. |
|
16 |
Orsmond, P.; Merry, S., & Reiling, K (2004) |
Artículo |
Cuantitativa |
Evaluar las percepciones de los estudiantes sobre el desarrollo de sus habilidades y el valor general que otorgan a los proyectos de pregrado. |
|
17 |
Peña, E.; Fonseca, D., & Martí, N. (2016) |
Conferencia |
Cuantitativa |
Estudiar el Trabajo fin de carrera en la titulación de Arquitectura técnica e Ingeniería de edificios a través de la técnica análisis académico (academic analytics). |
|
18 |
Roca, N.; Morera, M.; Roldán, J., & Ramió, A. (2016) |
Artículo |
Mixta |
Evaluar el diseño y desarrollo del TFG, los resultados académicos y la experiencia vivida por los estudiantes. |
|
19 |
Rowe, P. H., & Mottram, D. R. (2003) |
Artículo |
Cuantitativa |
Valorar los métodos de evaluación que se emplean en el TFG, con la finalidad de generar nuevos criterios de evaluación para obtener calificaciones más equilibradas de proyectos finales de carrera que provienen de diferentes disciplinas |
|
20 |
Schaffer, S. P.; Chen, X., & Oakes, W. C. (2010) |
Conferencia |
Mixta |
Comprender mejor la autoeficacia de los estudiantes en el aprendizaje en equipos interdisciplinarios para el desarrollo de proyectos de final de carrera. |
|
21 |
Suwandi (2016) |
Artículo |
Cualitativa |
Estudiar la coherencia de los resúmenes de los TFG de los estudiantes de pregrado de la Universidad PGRI de Semarang, Indonesia. |
Para dar respuesta a la pregunta de revisión, el análisis del contenido de los textos completos de los 21 documentos, se llevó a cabo con la herramienta Atlas.Ti. Un total de 66 códigos se asociaron a las categorías (a) instrumentos y técnicas de recolección de información, y (b) técnicas de análisis de datos.
Instrumentos y técnicas de recolección de información
Algunos estudios elaboran sus propios cuestionarios (5, 15 y 18) o hacen adaptaciones de otros que han sido validados previamente (6 y 59) o especifican que son escalas tipo Likert (6, 7 y 16) o, por el contrario, no ofrecen información detallada sobre el instrumento de medida empleado (10). También prevalecen las entrevistas, en las tres tipologías existentes según su estructura y formato: entrevistas a profundidad (3 y 7), estructuradas (10) y semi-estructuradas (18), aunque hay un documento que no especifica el tipo de entrevista empleado (8). En menor medida, aunque no menos importante, se emplean otras técnicas cualitativas, como grupos focales (14 y 18), rúbricas (12), auto-informes (20) y diarios narrativos-reflexivos (3). Por último, Kwok & Cheung (2008) desarrollan en su investigación, las fases de un estudio de caso; pero, entre ellas, no incluyen técnicas de recolección de información. La figura 2 resume, a manera de ejemplo, el análisis cualitativo de los cuestionarios con el empleo del programa Atlas.Ti
Figura 2. Análisis cualitativo de los cuestionarios con Atlas.Ti
Técnicas de análisis de la información
Entre las técnicas cuantitativas para el análisis de datos, está la estadística descriptiva univariada, a través de frecuencias, porcentajes, media y desviación típica (2, 8, 10, 12, 13, 15, 18 y 20), y bivariada, como la correlación de Pearson (4,13 y 19) y de Spearman (16 y 20). Se encontró un estudio donde no se especifica el tipo de estadístico empleado (1). Además, entre las técnicas de estadística inferencial, se aplica la “t” de Student, para encontrar diferencias significativas entre grupos, antes y después de una intervención o tratamiento. Tal es el caso de los estudios 1, 5, 6, 17, 18 y 20, a los que se suma un análisis de varianza (13) y covarianza (13 y 19).
El estudio de Peña et al. (2016) es el único que emplea la minería de datos y la analítica académica (Academic Analytics) (17), y solamente el estudio de Orsmond, Merry & Reiling (2004) ha realizado un análisis cluster (16). El Coeficiente Kappa se utiliza para conocer el grado de acuerdo entre dos observadores con respecto a la construcción de categorías cualitativas (9).
Entre las técnicas cualitativas para el análisis de datos, solo Harris & Smith (1983) no presentan información sobre cómo se saturaron las categorías, mientras que otros estudios primarios mencionan como técnica cualitativa de análisis de datos, la triangulación (7), el método de comparaciones constantes de Strauss & Corbin (1990) (3 y 20), el análisis de temas (Thematic analysis) según la propuesta de Braun & Clarke (2008) (14, 18 y 21) y el análisis de contenido (Content analysis) según la propuesta de Bardín (1986) (18).
CONCLUSIONES
En cuanto al primer objetivo específico, cabe concluir que los resultados de la revisión sistemática realizada, sugieren que el TFG es un tema de interés creciente para la investigación educativa que se realiza siguiendo los tres paradigmas, siendo el enfoque cuantitativo el más frecuente (52,38%). Las técnicas de recolección de información más usadas, son los cuestionarios y las entrevistas; las técnicas de análisis de datos son de tipo descriptivo e inferencial, y las más usadas son las clásicas.
En cuanto al segundo objetivo específico, la revisión sistemática llevada a cabo en el ejemplo, ha servido para ilustrar esta técnica. Una línea de investigación futura de interés, desde el planteamiento metodológico que aquí resulta esencial, consiste en determinar qué paradigma, qué métodos y qué técnicas emplea la investigación científica en educación, al considerar, en primer lugar, la importancia que el rigor metodológico tiene de cara a la generación de evidencias que informen la práctica y la política educativa; pero, también, pensando en la formación metodológica que los futuros investigadores reciben y deberían recibir en las universidades.
Las ventajas, limitaciones y dificultades técnicas encontradas en el proceso metodológico seguido, se observan, también, en otros estudios de revisión, realizados en educación; algunos de ellos citados en la introducción, que pueden servir de base para concluir que el empleo y los resultados de la revisión sistemática en el campo de la educación, no se encuentra todavía al nivel que debería estar.
Se presenta como una realidad, que la práctica y la política educativas continúan basándose en las creencias predominantes, y éstas no siempre tienen como base los resultados de la investigación, a partir de lo cual se genera la evidencia que, en una disciplina científica avanzada, entra a formar parte del sistema de creencias o cultura que guía la práctica profesional. Este ciclo lógico parece que funciona de una manera eficaz en la medicina y, en general, en las profesiones que se nutren de la investigación en ciencias de la salud, como puede ser, también, la fisioterapia o la enfermería. En psicología -que se incluye dentro de la rama de ciencias de la salud por su vertiente clínica-, es un modo de avanzar que se está imponiendo. Pero, en educación, a pesar de que el volumen de estudios empíricos rigurosos y, sobre todo de revisiones sistemáticas, está en aumento, como ha quedado de manifiesto en la introducción, todavía es muy importante la brecha que existe entre lo que resulta de la investigación científica y el proceder de los profesionales.
Hargreaves (2011) se pregunta por las razones por las cuales la educación y la medicina se encuentran en posiciones tan diferentes en cuanto a reconocimiento y prestigio social y académico, al estar ambas profesiones centradas en la persona, comprometidas con la calidad y el progreso. Slavin & Fashola (1998), a finales del siglo pasado, ya indicaban que la principal razón es el papel que se otorga en cada campo profesional a la investigación como guía para la práctica. En medicina, la cultura científica está perfectamente asentada, y la evolución de esta ciencia es paralela a dicho planteamiento. Los problemas, en este campo, son más de índole técnico. De modo que, Oramas & Santana (2015), que hacen una revisión sistemática del uso de esta metodología en medicina, concluyen que su manejo es, en sí mismo, complejo y llaman la atención sobre la necesidad de desarrollar competencias en el uso experto de la información. La experiencia aquí aportada, ha supuesto un indicio más que corrobora esta situación.
De la conclusión anterior, se deriva una línea de investigación de interés, que consiste en estudiar en qué medida la formación en la metodología de revisión sistemática y meta-análisis está arraigada en los programas de formación de investigadores educativos y profesionales de la educación (maestros, profesores, orientadores, psicólogos educativos y otros), y cómo se podría optimizar para minimizar la brecha evidencia-práctica, que tanto afecta el desarrollo científico de la educación.
En educación, la tradición en revisiones sistemáticas y meta-análisis es, todavía en los inicios de la segunda década de presente siglo, mucho menor que en ciencias de la salud; pero, sus posibilidades pueden ser las mismas. Botella & Zamora (2017) concluyen que su potencial en investigación educativa es claro; no obstante, advierten que, en el campo educativo, las principales limitaciones surgen de un problema básico, todavía no superado: la falta de validez de muchos de los constructos estudiados. Éste, también, es un problema experimentado en el proceso de revisión que ilustra el presente artículo.
Otra línea de trabajo científico, en la que hay que perseverar, sobre todo si se pretende incrementar la posibilidad de realizar revisiones cuantitativas tan exigentes como el meta-análisis, consiste en elaborar instrumentos de medida que cumplan con unos requerimientos mínimos de fiabilidad y validez, al ser, esta última, la característica técnica esencial que deben tener las medidas.
En consecuencia, la revisión sistemática de la investigación y la síntesis correcta de la misma, son tareas necesarias para que los investigadores dispongan de un estado de la cuestión fiable, porque para evolucionar cualquier sistema de conocimiento, debe estar basado en la evidencia. Son tres las condiciones que a nuestro juicio resultan necesarias para que el conocimiento científico en educación avance como ha avanzado en otras disciplinas: en primer lugar, hay que mejorar las cualidades técnicas de las medidas y los protocolos de la investigación primaria, para que sus resultados puedan integrarse de manera más fiable y válida a través de revisiones sistemáticas y meta-análisis; en segundo lugar, hay que interiorizar el rigor que exige el proceso de revisión y síntesis de investigación, en el cual, aunque se ha avanzado en el establecimiento de criterios, una de las fases más complicadas, es la del cálculo del peso de la evidencia (Gough, 2007); por último, hay que tender puentes para que la investigación alimente realmente la práctica profesional y la política educativa, lo que no se conseguirá hasta que no se mejoren los protocolos de publicación de revisiones.
Si las revisiones se hacen con criterios de calidad y en un lenguaje y formato que llegue a los docentes, las creencias existentes acerca de cuáles son los programas y políticas más eficaces, se asentarán, cada vez más, en argumentos de certeza y, entonces, será cuando, en educación, estemos en condiciones de avanzar a grandes pasos. Esto, sin olvidar la importancia del marco teórico que da sentido a los hallazgos, ya que son las teorías las que, en último extremo, pueden ofrecer explicaciones causales de lo que funciona en educación (Van der Vleuten & Driessen, 2014) y en el desarrollo de competencias de investigación que, desde las universidades, se pretende y se consigue.
Es esencial la formación para la incorporación de enfoques pragmáticos que lleven a resultados efectivos en la retroalimentación práctica-teoría educativa, de modo que la evaluación de prácticas sirva para generar evidencia de intervenciones eficaces o no, y que esta evidencia guíe la práctica subsiguiente. En este punto, es prometedor el uso de enfoques de investigación mixtos; pero, tampoco hay que menospreciar el reto que supone uno de los principales inconvenientes del pragmatismo metodológico que impera actualmente, y que está relacionado con la falta de lealtad a los principios filosóficos, ontológicos y epistemológicos de los dos paradigmas clásicos, para que se puedan plantear, en la investigación educativa, dudas razonables acerca de lo que se considera cierto en tiempos de postmodernidad, en los que parece que el relato rivaliza con la verdad que, si no ha muerto, está pasando momentos complicados.
REFERENCIAS
Adderley, K. J. (April, 1975). Aims, objectives and criteria of undergraduate Project Work Incorporating Cai. International Journal of Electrical Engineering Education, 12(2), 165-176. doi: 10.1177/002072097501200219
Allison, J. & Benson, F. A. (November, 1983). Undergraduate projects and their assessment. IEE Proceedings a (Physical Science, Measurement and Instrumentation, Management and Education, Reviews), 130(8), 402-419. doi: 10.1049 / ip-a-1.1983.0073
Andrews, R. & Harlen, W. (November, 2006). Issues in synthesizing research in education. Educational Research, 48(3), 287 – 299.
Arar, K. (April, 2016). Using insider research in MEd final projects to bridge the theory/practice gap. International Journal of Leadership in Education, 21(4), 462-478. doi: 10.1080/13603124.2016.1157210
Arreman, I. E. & Erixon, P. O. (February, 2017). Professional and academic discourse–Swedish student teachers’ final degree project in Early Childhood Education and Care. Linguistics and Education, 37, 52-62. doi: 10.1016/j.linged.2016.10.001
Botella, J. & Zamora, Á. (julio -diciembre, 2017). El meta-análisis: una metodología para la investigación en educación. Educación XX1, 20(2), 17-38. doi: 10.5944/educXX1.19030
Bardín, L. (1986). El análisis de contenido. Madrid: Akal.
Blanco, A. (2012). Evidencia en educación. Normas, sistemas de calificación y prácticas de difusión adoptadas por algunas iniciativas institucionales. En M. Castro (Ed.), Elogio a la Pedagogía Científica. Un liber amicorum para Arturo de la Orden Hoz (pp. 55-72). Madrid: Grafididma.
Braun, V. & Clarke, V. (July, 2008). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. doi:10.1191/1478088706qp063oa
Cabrera, L. (enero-marzo, 2016). Revisión sistemática de la producción española sobre rendimiento académico entre 1980 y 2011. Revista Complutense de Educación, 27(1), 119-139. doi: 10.5209/rev_RCED.2016.v27.n1.45293
Camilli, C. (2015). Aprendizaje cooperativo e individual en el rendimiento académico en estudiantes universitarios: un meta-análisis (Tesis doctoral). Universidad Complutense de Madrid, Madrid.
Camilli, C. (2018). La educación mediática en España: revisión sistemática de la producción científica publicada en revistas científicas. En C. Fuente Cobo, C. García Galán & Autora (Eds.), La educación científica en España: artículos seleccionados (pp.1-15). España: Editorial Universitas.
Camilli, C. & López, E. (2015). Trends and challenges of qualitative research: An exploratory review of research. In G. Hüber (Ed.), New Perspective on Qualitative Research (pp. 11-36). Alemania, Tübingen: Editorial Center for Qualitative.
Camilli, C. & Römer, M. (Enero, 2017). Meta-synthesis of literacy for the empowerment of vulnerable groups. Revista Comunicar, 53, 9-18. doi: 10.3916/C53-2017-01
Cooper, H. (1998) Synthesizing Research: A Guide for Literature Reviews (3rd ed.). Thousand Oaks, CA: Sage Publications.
Culwin, F. (May, 2008). A longitudinal study of nonoriginal content in final-year computing undergraduate projects. IEEE Transactions on Education, 51(2), 189-194. doi: 10.1109 / TE.2007.910350
Danowitz, A. (December, 2016). Leveraging the final project to improve student motivation in introductory digital design courses. In IEEE Frontiers in Education Conference (FIE), USA. doi: 10.1109 / FIE.2016.7757380
Davies, P. (2000). The relevance of systematic reviews to educational policy and practice. Oxford Review of Education, 26(3-4), 365–378. doi: 10.1080/713688543
Dixon-Woods, M., Bonas, S., Booth, A., Jones, D. R., Miller, T., Sutton, A. J. & Young, B. (febrero, 2006). ¿Cómo pueden las revisiones sistemáticas incorporar investigación cualitativa? Una perspectiva crítica. Investigación cualitativa, 6(1), 27-44. doi: 10.1177/1468794106058867
Esteban-Escaño, J., Esteban-Sánchez, A. L. & Sein-Echaluce, M. L. (February, 2017). Engineering Final Project supervised in an adaptive way with Moodle support. IEEE Revista Iberoamericana de Tecnologías del Aprendizaje, 12(1), 10-16. doi:10.1109 / RITA.2017.2655178
EPPI-Centre. (2019). The Evidence for Policy and Practice Information and Co–ordinating Centre. Recuperado de https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=60
Evidence Informed Policy and Practice in Education in Europe (EIPPEE). (2011). The nature of evidence. Recuperado de http://www.eippee.eu/cms/Default.aspx?tabid=3179.
Flick, U. (2018). An introduction to qualitative research. California: Sage Publications Limited.
Glass, G. (November, 1976). Primary, secondary and meta–analysis of research. Educational Researcher, 5(10), 3–8. doi: 10.3102/0013189X005010003
Glass, G. (January, 1977). Integrating findings: the meta–analysis of research. Review of Research in Education, 5(1), 351–379. doi: 10.3102/0091732X005001351
García-Martínez, I. & Martín-Romera, A. (abril-junio, 2019). Potenciando la coordinación pedagógica a través del liderazgo de los mandos medios en educación. Bordón. Revista Pedagógica, 71(2), 55-70. doi: 10.13042/Bordon.2019.67324
Gibbs, G. R. (2018). Analyzing qualitative data (Vol. 6). California: Sage Publications Limited.
González-Rodríguez, D., Vieira, M.J. & Vidal, J. (abril-junio, 2019). Variables que influyen en la transición de la educación primaria a la educación secundaria obligatoria. Un modelo comprensivo. Bordón. Revista Pedagógica 71(2), 85-108. doi: 10.13042/Bordon.2019.68957
Gough, D. (May, 2007). Weight of Evidence: a framework for the appraisal of the quality and relevance of evidence. Research Papers in Education, 22(2), 213-228. doi: 10.1080/02671520701296189
Harden, A. & Thomas, J. (June-July, 2005). Methodological issues in combining diverse study types in systematic reviews. International Journal Social Research Methodology, 8(3), 257-271. doi: 10.1080/13645570500155078
Hargreaves, D. (2011). Teaching as a research–based profession: possibilities and prospects. In M. Hammersley (Ed.) Educational Research and Evidence–based Practice (pp.3–17). United Kingdom: The Open University
Harris, D. & Smith, B. (September-December, 1983) Undergraduate Project Work. Assessment & Evaluation in Higher Education, 8(3), 246-261. doi: 10.1080/0260293830080307
Hederich, C., Martínez, J. & Rincón, L. (enero-junio, 2014). Hacia una educación basada en la evidencia. Revista Colombiana de Educación, 66, 19-54.
Higgins, J. & Green S. (20, March, 2011) (Eds.). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0. The Cochrane Collaboration [Web site]. Recuperado de www.cochrane-handbook.org
Howard, E. & Woods, D. (November, 2016). Using a Multimedia Final Project in an IT Ethics Course. Information Systems Education Journal, 14(6), 41-46.
Hutton, B., Salanti, G., Caldwell, D. M., Chaimani, A., Schmid, C. H., Cameron, C. & Moher, D. (June, 2015). The PRISMA extension statement for reporting of systematic reviews incorporating network meta-analyses of health care interventions: checklist and explanations. Annals of Internal Medicine, 162, 777-784. doi:10.7326/M14-2385
Jackson, G. B. (September, 1980). Methods for integrative reviews. Review of educational research, 50(3), 438-460. doi: 10.3102/00346543050003438
Johnson, R. B. & Onwuergbuzie, A. J. (October, 2004). Mixed methods research: a research paradigm whose time has come. Educational Researcher, 33(7), 14-26. doi: 10.3102/0013189X033007014
Jusoh, S. & Al Fawareh, H. M. (January, 2017). The use of social media for final year undergraduate project supervision. World Transactions on Engineering and Technology Education, 15(3), 223-227.
Kwok, L.F. & Cheung, C.H. (January, 2008). Managing learning resources in university undergraduate project study. In Ninth IEEE International Symposium on Multimedia Workshops (ISMW) (pp. 528-534). doi: 10.1109/ISM.Workshops.2007.94
López, E., Barceló, M. L. & Camilli, C. (2011). Revisión de meta-análisis sobre aprendizaje cooperativo: implicaciones en Educación Superior. En A. Hernández y S. Olmos (Eds.), Metodologías de aprendizaje colaborativo a través de las tecnologías (pp. 18-28). España: Universidad de Salamanca.
López, E. & Camilli, C. (2018). The benefits of peer tutoring and peer mentoring in university. In M. Badea & M. Suditu (Eds.), A review of research violence prevention and safety promotion in higher education settings (pp.20-35). Pennsylvania, USA: IGI Global. E-Editorial Discovery. doi: 10.4018/978-1-5225-2960-6.ch002
Miles, M. B. & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook (2a ed.). Thousand Oaks, CA: Sage Publications Limited.
Moreno Oliver, V. & Hernández-Leo, D. (January, 2015). Rubric-based tools to support the monitoring and assessment of Bachelor’s final projects. Education in the Knowledge Society, 16(4), 47-62. doi:10.14201/eks20151644762
Mottram, D. R. & Rowe, P. H. (January, 2005). A quality assurance procedure for pharmacy undergraduate project assessment. Pharmacy Education, 5(3), 251-254. doi: 10.1080/15602210500352989
Murdoch-Eaton, D., Drewery, S., Elton, S., Emmerson, C., Marshall, M., Smith, J. A. & Whittle, S. (2010). What do medical students understand by research and research skills? Identifying research opportunities within undergraduate projects. Medical Teacher, 32(3), e152-160. doi: 10.3109/0142159100365749
Ogunniyi, S. O. & Adejubee, F. V. (January, 2014). Strategies of curbing deterioration of undergraduate projects: a case study of six selected colleges of education libraries in Southern Nigeria. Library Philosophy and Practice [e-journal, Paper 1036]. Recuperado de https://search.proquest.com/openview/1f20e6c9642078a45c360135903709b7/1?pq-origsite=gscholar&cbl=54903
Oramas, J. & Santana, S. (2015). Aspectos metodológicos sobre las revisiones sistemáticas y la Colaboración Cochrane. Educación Médica Superior, 29(2), 398-410.
Orsmond, P., Merry, S. & Reiling, K. (September-October, 2004). Undergraduate project work: Can directed tutor support enhance skills development? Assessment & Evaluation in Higher Education, 29(5), 625-642. doi: 10.1080/02602930410001689180
Peña, E., Fonseca, D. & Martí, N. (November, 2016). Relationship between learning indicators in the development and result of the building engineering degree final project. In Proceedings of the Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality (pp. 335-340). ACM. doi: 10.1145/3012430.3012537
Prieto, J. M. (enero-junio, 2020). Una revisión sistemática sobre gamificación, motivación y aprendizaje en universitarios. Teoría de la Educación. Revista Interuniversitaria, 32(1), 73-99. doi: http://dx.doi.org/10.14201/teri.20625
Puertas., P., Ubago, J. L., Moreno, R., Pardial, R., Martínez, A. & González, G. (mayo-agosto, 2018). La inteligencia emocional en la formación y desempeño docente: una revisión sistemática. Asociación Española de Orientación y Psicología (AEOP), 29(2), 128-142. doi: 10.5944/reop.vol.29.num.2.2018.23157
Roca, N., Morera, M., Roldán, J. & Ramió, A. (abril, 2016). Trabajo final de grado y plan de acción tutorial en el curriculum del grado en enfermería. Diseño, desarrollo y evaluación. Enfermería Global, 15(2), 143-156. doi: 10.6018/eglobal.15.2.223591
Rowe, P. H. & Mottram, D. R. (April, 2003). Evaluation of a generic assessment scheme for pharmacy undergraduate projects. Pharmacy Education, 3(1), 29-33. doi: 10.1080/1860221031000093296
Rubio-Aparicio, M., Sánchez-Meca, J., Marín-Martínez, F. & López-López, J. A. (abril, 2018). Recomendaciones para el reporte de revisiones sistemáticas y meta-análisis. Anales de Psicología, 34(2), 412-420. doi: 10.6018/analesps.34.2.320131
Russell, C. L. (April, 2005). An overview of the integrative research review. Progress in transplantation, 15(1), 8-13.
Schaffer, S. P., Chen, X. & Oakes, W. C. (October, 2010). Work in progress—Measuring cross-disciplinary team learning in undergraduate project teams. In IEEE Frontiers in Education Conference (FIE) (pp. T2G-1). doi:10.1109 / FIE.2010.5673178
Slavin, R. & Fashola, O. (1998). Show me the evidence! Proven and promising programs for America´s schools. United States of America: Corwin Press, Inc.
Sotos, M. (enero, 2020). Análisis cualitativo del proceso de tutorización de los Trabajos Fin de Grado. El caso de la Facultad de Educación de Albacete. Revista Complutense de Educación, 31(1), 35-44. doi: https://doi.org/10.5209/rced.61746
Strauss, A. & Corbin, J. (1990). Basic of qualitative research: grounded theory, procedures and techniques. Newbury Park, CA: Sage Publications Limited.
Suárez-García, Z., Álvarez- García, D. & Rodríguez, C. (enero-junio, 2020). Predictores de ser víctima de acoso escolar en educación primaria: una revisión sistemática. Revista de Psicología y Educación, 15(1), 1-15. doi: https://doi.org/10.23923/rpye2020.01.182
Suwandi, S. (January, 2016). Coherence and cohesion: An analysis of the final project abstracts of the undergraduate students of PGRI Semarang. Indonesian Journal of Applied Linguistics, 5(2), 253-261. doi: 10.17509/ijal.v5i2.1349
Urrútia, G. & Bonfill, X. (octubre, 2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y meta-análisis. Medicina Clínica, 135(11), 507-511. doi:10.1016/j.medcli.2010.01.015
Van der Vleuten, C. & Driessen, E. (June, 2014). What would happen to education if we take education evidence seriously? Perspective Medicine Education, 3(3), 222–232.
Whittemore, R. & Knafl, K. (December, 2005). The integrative review: updated methodology. Journal of advanced nursing, 52(5), 546-553.