Impact and effects of external evaluation on non-higher education schools

Funder

Organizational Unit

Publications

External school evaluation : teachers’ perspectives : two case studies from Northern Portugal

Publication . Seabra, Filipa; Morgado, José Carlos

The external evaluation of non-higher education schools in Portugal has been developed by the General Inspectorate of Education since 2006. A first cycle of evaluation was completed, covering all educational units in continental Portugal up to 2011. The model of evaluation has since been subject to alterations, and a second cycle of evaluation is now coming to an end. The current model of evaluation is based on documental analysis, analysis of students’ results, and panel interviews with a variety of representatives of the school community, and addresses three domains: results, provision of educational service and management. This paper is part of an ongoing research project, developed by 6 universities and supported by the Portuguese Foundation for Science and Technology (PTDC/CPE-CED/116674/2010) which intends to analyse the impacts and effects this process of external evaluation has had on Portuguese schools. This project includes a variety of perspectives and methodologies. In particular, we will focus on two case studies undertaken in two schools from the northern region of Portugal, and more specifically on the perspectives expressed by the teachers of those schools. These particular schools were chosen because they have been evaluated twice and represent different educational levels (basic and secondary), contexts and results. These case studies included the analysis of documental data, interviews to key informants and a questionnaire directed to teachers (n = 141) – the latter will be the main focus of this paper. Teachers are essential elements of the school community when considering the impacts of external evaluation, as any changes directed at teaching practices, student evaluation, among others are only possible through their direct action and implication. Therefore, their perceptions on the process and its impacts are crucial to the understanding of what does and does not change in schools as a consequence of external evaluation. Although teachers’ opinions are not homogenous and each school reveals a number of differences when it comes to teachers’ perceptions of School Evaluation, it was possible to stress some areas as the most and as the least consensual. Teachers in both schools agree External School Evaluation (ESE) is useful for the identification of the schools’ strengths and weaknesses, values students’ external evaluation results, imposes a model for schools internal evaluation (and in fact contributes to the very existence of internal evaluation practices), and contributes to schools improvement. However teachers in both schools do not believe ESE contributes to teachers’ autonomy produces changes in how curriculum is managed, or leads to innovative teaching practices. These results point to a greater emphasis on change at the levels of school management, self-evaluation and particularly internal evaluation, but little impact on the teaching practices. We believe the classroom is at the core of school practices and teaching processes are essential to any measure of school quality and to their impacts on student learning.

2015-11Conference object

Open access

Avaliação externa e seus efeitos : a perspetiva dos atores escolares

Publication . Rodrigues, Eduarda; Seabra, Filipa; Queirós, Helena; Sousa, Joana; Lamela, Conceição; Costa, Natália; Morgado, José Carlos

"No Capítulo 10 − Avaliação externa e seus efeitos: a perspetiva dos atores escolares, os autores Eduarda Rodrigues, Filipa Seabra, Helena Queirós, Joana Sousa, Conceição Lamela, Natália Costa e José Carlos Morgado apresentam dois estudos de caso, um realizado num agrupamento de escolas e outro numa escola secundária, escolhidos por constituírem “casos” de melhoria das classificações e corresponderem a situações críticas do processo de avaliação externa. Com base nas entrevistas ao diretor, ao coordenador da equipa de autoavaliação e aos coordenadores dos órgãos de gestão intermédia e nos dados de um inquérito por questionário aos docentes, é avaliado o impacto da AEE nas mudanças organizacionais, curriculares e pedagógicas e nos resultados académicos e sociais nas instituições escolares envolvidas" (Bidarra, Barreira & Vaz-Rebelo, 2016; Prefácio).

2016-06Book part

Restricted access

Liderança educacional : impactos da avaliação externa de escolas

Publication . Morgado, José Carlos; Seabra, Filipa

A presente comunicação dá conta de resultados parciais de um projeto de investigação em curso, financiado pela Fundação para a ciência e a Tecnologia (PTDC/CPE-CED/116674/2010), Impacto e Efeitos da Avaliação Externa das Escolas do Ensino Não Superior, o qual pretende identificar os efeitos produzidos pela Avaliação Externa de escolas (AEE) no primeiro ciclo de implementação. Este projeto, que integra várias universidades do País, tem analisado os efeitos e os impactos da AEE ao nível nacional. Os integram-se numa base de dados que reúne o conhecimento produzido sobre AEE em Portugal. Num contexto em que, por um lado, se tem vindo a dar maior relevo à autonomia das escolas e, por outro, à prestação de contas e à sua responsabilização perante a sociedade (accountability) (Seabra, Morgado, & Pacheco, 2012), a avaliação externa das escolas do ensino não superior, tem sido idealizada e concretizada como um mecanismo capaz de dar resposta a esses propósitos. Em Portugal, esse processo teve início em 2006 (CNE, 2010), constituindo-se como um instrumento de regulação política, institucional e pedagógica. Nesta comunicação, focalizamos, em particular, os impactos da Avaliação Externa de Escolas ao nível da Liderança, que é desde a génese da AEE em Portugal um dos domínios alvo de avaliação (IGE, 2009). No segundo ciclo de AEE, iniciado em 2011, o referencial de AEE foi sujeito a uma reavaliação e alteração, passando os domínios da Liderança e da Gestão a estar reunidos num só, dividido nos campos de análise «Liderança», «Gestão» e «Autoavaliação e melhoria», ao mesmo tempo que os objetivos enunciados para este processo reforçaram a dimensão de prestação de contas e do impacto das práticas sobre os resultados dos alunos. No primeiro ciclo da AEE foram encontradas correlações positivas entre a avaliação do domínio Liderança e a do domínio Autorregulação e Melhoria, o que realça o papel central da liderança como elemento fundamental para influenciar os processos avaliativos e, em última análise, a capacidade de melhoria da própria escola (Rocha, 2012). Partindo de um corpus de 96 relatórios de AEE, correspondentes a 40% de todos os relatórios das escolas que, no momento da recolha, já haviam sido avaliadas quer no 1.º, quer no 2.º ciclo de avaliação e procedendo a uma análise de conteúdo apoiada pelo programa N-Vivo10, analisámos os pontos fracos e áreas de melhoria identificadas em ambos os ciclos, concernentes às categorias Liderança e Gestão, apontando os sentidos de mudança verificados. Constatámos evoluções nos enfoques apresentados, indicando tendências de melhoria neste âmbito, designadamente no sentido de uma liderança mais estratégica, aberta à participação, partilhada e conducente à criação de um sentido de identidade e pertença. Verificámos ainda uma tendência de apreciação mais positiva das dimensões relacionadas com a Liderança, comparativamente àquelas que se relacionam com a Gestão.

2014-03Conference object

Restricted access

A avaliação externa das escolas e o seu impacto nas práticas de liderança em meio escolar

Publication . Tavares, Ana; Seabra, Filipa; Henriques, Susana

O primeiro ciclo da avaliação externa das escolas (AEE) públicas em Portugal, iniciado em 2006, visou aferir a qualidade das organizações educativas. Este processo insere-se num movimento de mudança o qual decorre da pressão social exercida sobre a escola para que esta proceda a um ajustamento do seu currículo, bem com ao modo de o gerir, adequando-se assim a oferta escolar às necessidades da sociedade. Foi objetivo da AEE compreender as variáveis que poderiam explicar as regularidades e irregularidades nelas observadas contribuindo, assim, através de mecanismos de informação retroativa e prospetiva, para o aperfeiçoamento e progresso das mesmas. Entre as variáveis tidas como relevantes na organização escolar pela tutela encontra-se a liderança a qual constituiu um dos domínios alvo desse processo avaliativo. O presente artigo surge no âmbito de uma investigação de Doutoramento intitulada “A avaliação externa das escolas e seu impacto nas práticas de liderança num agrupamento de escolas: um estudo de caso”. Conhecer e compreender como se posicionam os vários agentes duma comunidade educativa, sobre os impactos da AEE ao nível das lideranças num agrupamento de escolas são os objetivos deste estudo. A realização de entrevistas e a aplicação de questionários a elementos da comunidade educativa, aliados a análise de documentos oficiais, permitir-nos-á aceder a informação. A mesma constituiu um contributo que poderá ajudar a melhorar as práticas de liderança assim como futuros processos avaliativos a implementar. A realização das primeiras entrevistas a elementos do conselho pedagógico permite-nos avançar com alguns dados interessantes. Assim, genericamente, os entrevistados recolhessem à AEE um efeito positivo nas lideranças no que toca, nomeadamente, à definição de metas e planos de ação para a consecução das mesmas

2015Conference object

Open access

Perceções dos docentes de uma escola secundária sobre o processo de avaliação externa

Publication . Morgado, José Carlos; Seabra, Filipa

Uma das principais preocupações políticas e pedagógicas relativas à Avaliação Externa de Escolas (AEE) é o impacto que esse processo produz ao nível das instituições escolares, quer ao nível da prestação de contas, quer ao nível do serviço educativo que prestam. Neste contexto, um conjunto de universidades portuguesas tem vindo a desenvolver um projeto de investigação que visa identificar os efeitos e impactos da Avaliação Externa de Escolas (PTDC/CPE-CED/116674/2010). Insere-se neste projeto um conjunto de estudos de caso através dos quais se pretende validar algumas informações recolhidas através de outros procedimentos de recolha de dados desenvolvidos previamente e a uma escala mais ampla. A presente comunicação dá conta de resultados parciais de um destes estudos de caso, que teve lugar numa escola secundária da região Norte do país. Concretamente, apresentam-se dados de um inquérito por questionário que pretendeu dar voz a um dos grupos de interlocutores mais privilegiados na mudança da escola – os professores –, uma vez que estão no cerne dos processos avaliativos que aí se desenvolvem, usufruindo da possibilidade de neles participarem quer como sujeitos quer como objetos de avaliação. Além do mais, da implicação e atuação dos docentes depende, aliás, em grande medida, o impacto das mudanças que a AEE possa produzir. Os resultados apresentados indicam impactos e efeitos aos níveis curriculares, organizacionais e pedagógicos, com destaque para o domínio da autoavaliação.

2015Conference object

Open access