Professor Claire Hale
Cada 5 o 6 años, la comunidad académica en el Reino Unido se somete a lo que se ha denominado Research Assessment Exercise-RAE (Prueba de Evaluación de la Investigación). Se trata de una evaluación de la calidad de la investigación desarrollada en todas las universidades del Reino Unido. La evaluación es llevada a cabo de manera conjunta por las cuatro organizaciones que financian la educación superior en el Reino Unido: las agencias financiadoras de Inglaterra, Gales y Escocia y el Departamento para la Formación y el Empleo de Irlanda del Norte.
La RAE es una evaluación realizada por pares, que consiste en un número de unidades de evaluación relacionado con áreas temáticas, tales como Psicología, Geografía o Enfermería y Matronas. Cada área tiene su propio panel evaluador y cada universidad tiene que decidir si remite o no sus trabajos a los diferentes paneles evaluadores. Hasta el momento, se han llevado a cabo Research Assessment Exercises en 1986, 1989, 1992, 1996, 2001 y se prevé que la próxima se celebre en 2008.
A cada departamento universitario que accede a la RAE se le asigna una posición en una escala que va del 1 al 5, y está basada en aspectos tales como:
- La calidad de las publicaciones remitidas (cada persona puede enviar hasta 4 trabajos publicados entre las fechas marcadas para la convocatoria).
- El impacto de la investigación, a nivel nacional e internacional.
- La cantidad de ingresos de investigación generados por el departamento.
- El número de estudiantes de doctorado.
- El número de estudiantes de doctorado que han terminado su tesis en un periodo determinado.
- La coherencia del programa de investigación del departamento y su perspectiva de futuro.
La importancia de la RAE para la comunidad académica se deriva de que una posición elevada en la evaluación conlleva dinero, credibilidad académica y estatus. La posición otorgada a cada departamento determina, asimismo, el nivel de financiación estatal con el que será recompensado para apoyar su infraestructura investigadora, las becas de investigación para estudiantes y la adquisición de personal con extensa experiencia investigadora. Una buena posición en la Research Assessment Exercise significa que el departamento será capaz de atraer fondos de las prestigiosas instituciones que financian la investigación.
Comparada con la mayoría de las disciplinas en el Reino Unido, Enfermería es una relativa recién llegada a las Universidades. Aunque ha existido un pequeño número de departamentos de Enfermería desde mediados de los ´60, la educación enfermera no se incorporó a la universidad completamente hasta mediados de los ´90. Consecuentemente, como disciplina académica, la participación de Enfermería en la RAE ha sido siempre peor que las de otras áreas. Sin embargo, como el estándar y la calidad de la investigación ha crecido a través de los años, si tomamos en cuenta el ranking de la RAE, Enfermería se ha sumado a este nivel de desarrollo y en la última prueba de 2001, de 43 departamentos de enfermería que realizaron una solicitud (alrededor de la mitad de todos los departamentos universitarios de enfermería), 4 alcanzaron un 5, y 6 obtuvieron un 4 en la escala de puntuación. Hubo también un incremento del 19% en el número de remisiones de enfermería con respecto a 1996 y, en general, el número de personal investigador en activo creció alrededor del 50%. Así que, aunque probablemente no estemos en la vanguardia de la investigación académica, al menos conseguimos mantenernos en la media –o, al menos, aprendiendo rápidamente las reglas del juego. Para una disciplina cuya historia investigadora es muy reciente y cuya orientación principal es la práctica y la educación, lo estamos haciendo razonablemente bien.
La Research Assessment Exercise de 2008 se aproxima rápidamente y aquellos departamentos que están en proceso de selección de personal están trabajando seriamente en su estrategia. Para aquellos que estén interesados, se puede conseguir información respecto de la 2008 en la página web www.rae.ac.uk Los nombres de las personas que formarán parte de los paneles de evaluación acaban de ser anunciados, poniendo fin a meses de deliciosas especulaciones dentro de la comunidad académica. Los profesores de enfermería, como otros profesores universitarios en el Reino Unido, están muy ocupados intentando asegurarse de que los trabajos de investigación que van a remitir a la evaluación son de la calidad más alta y han sido publicados en las revistas con el mayor impacto. El propósito de la profesión en estos tiempos es empezar a ascender peldaños. Que esto ocurra depende de la perspectiva del panel de expertos acerca de lo que es investigación de calidad
Hay tres problemas principales a los que los investigadores enfermeros deben enfrentarse en esta prueba. La primera es que en las pasadas ocasiones, el panel de expertos de enfermería ha tendido a enfatizar la ciencia dura o la investigación positivista –los ensayos controlados y aleatorizados mejor que los diarios reflexivos. Partiendo de que la investigación enfermera cubre un amplio rango de metodologías y filosofías de investigación, aquellos que trabajan con paradigmas cualitativos sienten que sus trabajos no van a recibir suficiente crédito.
El segundo problema es que, como Enfermería es una disciplina práctica, muchos de los investigadores y sus financiadores están preocupados por problemas de escala local, mientras que los evaluadores han puesto en el pasado mayor énfasis en proyectos financiados a gran escala, nacionales e incluso internacionales. El tercer problema es que en la investigación en salud en el Reino Unido se anima fuertemente la realización de estudios interdisciplinares, pero entonces en la RAE habría que desmenuzar el trabajo y asignar cada parte a unidades unidisciplinares de evaluación. Así que, por la naturaleza de los trabajos de investigación que realiza, Enfermería se ha sentido a menudo en desventaja por los criterios y pautas de trabajo de la RAE y la profesión se ha quejado amargamente en muchas ocasiones.
¿Cambiarán las cosas en 2008?
Hasta el momento la situación parece esperanzadora. Aquellos que visiten la página web oficial indicada más arriba notarán que las recomendaciones iniciales denotan que la RAE se sustenta en un número de principios importantes tales como:
“Asegurar que los criterios apropiados de excelencia desarrollados son lo suficientemente amplios como para captar todas los tipos de investigación, incluyendo la investigación basada en la práctica, la investigación aplicada, la investigación básica o estratégica, la investigación interdisciplinar.”
Claramente, tales principios serían más “amigables” hacia el tipo de investigación que las enfermeras desarrollan. Aún se publicarán dos guías más este año, la “Guía para el envío de solicitudes”, que se publicará en el verano, y los “Criterios y método de trabajo de los evaluadores”, que serán publicados hacia el final del año. Después de eso, el trabajo empieza de verdad.
Every 5 to 6 years the academic community in the United Kingdom, undergoes what is called the Research Assesment Exercise ( RAE). It is an assessment of the quality of research carried out in all UK Universities and Colleges. The assessment is carried out jointly by the four funding organisations for higher education in the UK; the funding councils for England, Wales and Scotland and the Department for Employment and Learning in Northern Ireland. The RAE is a peer review assessment, consisting of a number of subject-based units of assessment – for example, psychology, geography, nursing and midwifery. Each subject has its own assessment panel and each University Department has to decide whether or not to submit its work to the various assessment panels.
To date, Research Assessment Exercises have been carried out in 1986,1989,1992,1996, 2001 with the next one planned for 2008. Each university departments entering the RAE is given a rating ranging ( in the last exercise) from 1- 5*, and the rating is based upon factors such as
• The quality of the publications submitted ( each person can submit up to four publications, published between specified dates)
• The impact of the research nationally and internationally
• The amount of research income generated by the department
• The number of PhD students
• The number of PhD students who have completed within the specified dates
• The coherence of the research programme of the department and its vision for the future The importance of the RAE for the academic community is that a good rating confers money, academic credibility and status. The rating given to individual departments determines the level of government funding that will be awarded to support its research infrastructure, fund research studentship and buy in staff with extensive research experience. A good rating in the RAE means that departments will be able to attract funding from prestigious research funding bodies. Compared to most other academic disciplines in the UK, nursing is a relative newcomer to the Universities. Although there have been a small number of university departments of nursing since the mid 1960s, nursing education did not move completely into the universities until the mid 1990s. Consequently, as an academic discipline, the performance of nursing in the RAE has always been worse than other subjects. However, as the standard and quality of research has risen over the years, as measured by the RAE scores, nursing has kept pace with these developments and in the last RAE in 2001, of the 43 nursing departments who made a submission ( roughly half of all university nursing departments), 4 were awarded a 5, and 6 obtained a 4 rating. There was also an 19% increase in the number of nursing submissions in comparison with 1996 and overall the number of research active staff increased by 50%. So while we may not be in the vanguard of academic research we are at least managing to keep up with the pack – or else quickly learning the rules of the game. For a discipline whose research history is very recent and whose main focus is on practice and education, we are doing reasonably well. The 2008 RAE is approaching fast and those Departments who will be entering staff are now seriously working on their strategy. For those who are interested, information about the 2008 RAE can be found at www.rae.ac.uk The people who will comprise the assessment panels have just been announced, putting an end to months of delicious speculation within the academic community. Nursing academics, like all other academics, in the UK are busily trying to ensure that the research papers they are going to submit for assessment are of the highest quality and published in journals with the highest impact. The aim of the profession this time round is to get itself off the bottom rung and start climbing the ladder. Whether or not this will happen depends on the view that the panel will take of what counts as ‘ quality research’. There are three major problems that face nurse researchers in the Research Assessment Exercise. The first is that in past research assessment exercises, the nursing assessment panel has tended to emphasise the hard science or positivistic end of research activity – randomised controlled trials rather than reflective diaries. Since ‘ nursing research’ covers a wide range of methodologies and research philosophies, those who work in a qualitative paradigm feel that their work is not being given sufficient credit. The second problem is that since nursing is a practice discipline many of the researchers and their funders, are concerned with small scale local problems whereas the RAE assessors have in the past put more emphasis on national and even international funding and large scale projects. The third problem is that there is much encouragement in the UK health research for interdisciplinary studies but it is then difficult to unpick this work and slot it into unidisciplinary units of assessment. So, by the nature of the kind of research work that it does, nursing has often felt disadvantaged by the criteria and working patterns of the RAE and the profession has complained bitterly on many occasions. Will things change in 2008? So far things look encouraging. Those of you who visit the official website above will notice that the early guidance states that the RAE is underpinned by a number of important principles one of which is ‘………..Ensuring that appropriate measures of excellence are developed which are sufficiently wide as to capture all types of research, including practice-based research, applied research, basic/strategic research, interdisciplinary research.’ Clearly such principles would be more ‘friendly’ towards the type of research that nurses carry out. Two further guidance papers will be published this year, these are the ´Guidance on submissions´ which will be published in the summer, and ´Panel statements of criteria and working methods´ which will be published by the end of the year. After that the work starts in ernest…