Em que medida as avaliações externas são

EXTERNAS?

por Aline dos Reis Matheus

Licenciada e mestre em Ensino de Matemática pelo IME-USP. Atuou, por mais de dez anos, como professora de Matemática no ensino fundamental e médio nas redes pública e privada de São Paulo. Desde 2008, é formadora de professores no CAEM (Centro de Aperfeiçoamento do Ensino de Matemática), do IME-USP. Desde 2015, integra a equipe da Primeira Escolha, sendo agora responsável por sua direção educacional.

Nas últimas décadas, a educação brasileira vem aderindo a uma cultura de indicadores e de avaliações. Trata-se de um movimento que, na esteira do que já vem ocorrendo em nível mundial há mais tempo, incrementa-se pela percepção corrente da necessidade de melhor embasar o planejamento e o monitoramento das decisões educacionais, principalmente em nível de gestão, seja na esfera pública ou privada. Nesse contexto, constata-se que as avaliações que servem à construção de indicadores de qualidade em educação são adjetivadas, usualmente, pelos termos “em larga escala”, “padronizadas” ou “externas”. Neste breve artigo, pretende-se distinguir esses termos, bem como problematizar o sentido da expressão “avaliação externa”. Em primeiro lugar, deve-se observar que os referidos termos dizem respeito a diferen-

SÍNTESE DO ARTIGO

tes atributos da avaliação. “Em larga escala” refere-se à abrangência da avaliação, indicando que ela extrapola os limites de uma única instituição escolar. “Padronizada” reflete certas características dos instrumentos de avaliação – pautados por matrizes de referência bem estabelecidas - e também de seus resultados – expressos em escalas quantitativas construídas por meio de teorias estatísticas robustas. Assim, pode-se ter, por exemplo, uma avaliação em larga escala que não seja padronizada, caso não exista uma matriz de referência estabelecida ou caso os resultados de diversas aplicações não sejam comparáveis, pela ausência de ferramentas estatísticas de padronização. Também uma avaliação padronizada poderia não ser em larga escala, caso seja aplicada a uma única instituição escolar, por exemplo. Embora não haja, como se vê, correspondência necessária entre os dois termos, o que ocorre é que usualmente as avaliações em larga escala são padronizadas, uma vez que ambos os atributos contribuem para os propósitos de planejamento e monitoramento de decisões educacionais, como referido anteriormente. Essas avaliações

O PROBLEMA dentro das escolas, as avaliações ditas externas nem sempre são bem compreendidas e enfrentam diferentes tipos de resistências.

costumam ainda ser “externas”, expressão que indica o sujeito avaliador em relação à instituição escolar. A expressão “avaliação externa” merece aqui destaque especial, por diversas razões. A primeira e mais importante delas é que esse é o termo mais usual, no contexto escolar, para se referir ao modelo de avaliação em pauta; e não à toa. A “externalidade” desse tipo de avaliação é uma das principais fontes da potencial tensão que ela gera entre os atores educacionais. Afinal, na tradição escolar, o professor tem sido, na maior parte do tempo, o avaliador exclusivo. Ao trazer, para dentro da escola, uma referência avaliativa externa, altera-se o equilíbrio previamente estabelecido. Certamente, a supera-

A ANÁLISE as instituições externas desenvolvem instrumentos e apresentam os resultados em escalas padronizadas, mas o ato de avaliar, que envolve a interpretação dos resultados e a tomada de decisões pedagógicas, constitui uma prerrogativa da escola.

ção de tal tensão passa pelo enfrentamento de aspectos diversos do problema: a clareza de propósitos da gestão escolar ao aderir a esse tipo de prática avaliativa, o clima institucional da escola, a adequação e a transparência do serviço de avaliação externa utilizado, a formação docente na temática da avaliação etc. Aqui, queremos expor uma concepção de avaliação que, nos parece, pode mitigar o peso da externalidade nesse tipo de avaliação. De fato, de acordo com a literatura especializada, a avaliação educacional é um processo que envolve as seguintes etapas: coleta de dados sobre o objeto educional de interesse, síntese dos dados coletados, interpretação dos resultados e subsequente tomada de decisões. No caso de uma avaliação externa, o agente externo atua diretamente na coleta de dados e na síntese de resultados, o que não é pouco. Afinal, a coleta de dados, por exemplo, pressupõe o

A PROPOSTA evitar perspectivas reducionistas, apenas culpando professores e “safras” de alunos por resultados insatisfatórios. Reservar tempo e disponibilidade para efetivamente analisar os resultados com todos os educadores, orientadas para a tomada de decisões.

detalhamento do objeto da avaliação – descrito na matriz de referência, de acordo com escolhas teórico-metodológicas sempre particulares – e o desenho dos instrumentos avaliativos. Essas etapas claramente são muito importantes. Ao contratar um serviço de avaliação externa, o gestor escolar precisa estar atento à adequação da matriz de avaliação e dos instrumentos avaliativos aos propósitos que a avaliação deverá cumprir na escola. Também a síntese dos resultados

é muito importante, por incidir indireta, mas fortemente, nas etapas subsequentes. A forma de organizar os dados pode direcionar para certas leituras e interpretações, enquanto pode inibir outras. Com relação à interpretação dos resultados e à tomada de decisões, é preciso distinguir diferentes situações: quando o agente avaliador é o órgão dirigente de uma rede ensino e a avaliação aplica-se a essa rede (como tantas vezes é o caso no setor público); quando um agente avaliador independente é contratado por uma instituição escolar de forma isolada. No primeiro caso, convém observar que o agente avaliador é externo à unidade escolar, mas não à rede. Isso por si só já aponta que a avaliação é externa apenas até certo ponto. Além disso, e principalmente, nessa situação, podemos considerar dois níveis de interpretação e tomada de decisões: o nível do órgão dirigente e o nível da unidade escolar. De fato, a apropriação dos resultados pela equipe pedagógica da unidade escolar pode ser vista como um novo desdobramento do processo avaliativo, no qual passa a lhe competir a interpretação dos resultados e a tomada de decisões cabíveis (figura 1).

O agente avaliador externo é o órgão dirigente de uma rede de ensino Educadores da escola

COLETA DE DADOS

SÍNTESE DOS DADOS

Agente avaliador externo

Figura 1.

INTERPRETAÇÃO DOS RESULTADOS

TOMADA DE DECISÕES

PROCESSO AVALIATIVO A

INTERPRETAÇÃO DOS RESULTADOS

TOMADA DE DECISÕES

PROCESSO AVALIATIVO B

Agente avaliador externo

A usual associação dos resultados apenas com a atuação do corpo docente ou com as características particulares dos grupos de alunos, além de gerar resistência (justificável) às avaliações ditas externas, ainda pode tornar as análises equivocadas e empobrecer os modelos explicativos que norteiam as decisões educacionais a serem tomadas.

No caso de uma unidade escolar aderir isoladamente a um serviço de avaliação externa (usualmente padronizada e em larga escala), fica ainda mais circunscrito o papel do agente avaliador externo no processo avaliativo. Enquanto tal agente tem atuação direta apenas na coleta de dados e em sua síntese, as duas últimas etapas – interpretação dos resultados e tomada de decisões – são de responsabilidade exclusiva e intransferível dos educadores que atuam na escola (figura 2). Isso porque a adequada interpretação dos resultados exige mais que o conhecimento das matrizes de referência e dos instrumentos avaliativos; exige sobretudo a comparação dos resultados com uma expectativa definida institucionalmente, além de um conhecimento aprofundado do contexto escolar. Os juízos de valor e as relações causais não acompanham as estatístícas ou, pelo menos, não são por elas determinados. Os resultados são satisfatórios ou insatisfatórios? Quais fatores os explicam? E, principalmente, como podem embasar decisões visando à melhoria da aprendizagem dos alunos?

”

O agente avaliador externo é independente

Agente avaliador externo

COLETA DE DADOS

SÍNTESE DOS DADOS

INTERPRETAÇÃO DOS RESULTADOS

TOMADA DE DECISÕES

Educadores da escola

Figura 2.

Essa perspectiva restitui uma parcela significativa do protagonismo dos educadores que atuam na escola – professores, coordenadores e gestores – com relação às avaliações ditas externas. E, ao fazê-lo, devolve-lhes também a grata responsabilidade de escolher, de forma responsável e embasada, seus caminhos de atuação educativa. Para que essa perspectiva se estabeleça, entretanto, em qualquer dos casos, é muito importante que, primeiramente, o agente avaliador externo procure estabelecer uma relação de diálogo e abertura com as unidades escolares, auxiliando na compreensão tanto das matrizes de referência quanto da documentação dos resultados. É preciso considerar, por exemplo, as necessidades dos vários atores que entrarão em contato com os resultados – gestores, coordenadores, professores, alunos e famílias – e, assim, estabelecer, na medida do possível, relatórios direcionados especificamente para cada público, contemplando as informações mais relevantes em linguagem adequada. Também é muito importante que a gestão escolar aprecie os resultados com prudência e profundidade, considerando toda a complexidade de fatores que neles pode incidir: as características das matrizes e dos instrumentos de avaliação, o currículo institucional, as prioridades estabelecidas no projeto político pedagógico da escola, as condições de aplicação da avaliação, a cultura avaliativa da escola, o grau de adesão efetivo à avaliação em pauta, a atuação do corpo docente no ensino, o perfil de aprendizagem dos grupos de alunos que fizeram a avaliação, a captação de alunos novos e a evasão de alunos, dentre muitos outros. A usual associação dos resultados apenas com a atuação do corpo docente ou com as características particulares dos grupos de alunos, além de gerar resistência (justificável) às avaliações

ditas externas, ainda pode tornar as análises equivocadas e empobrecer os modelos explicativos que norteiam as decisões educacionais a serem tomadas. Esse processo todo requer recursos, principalmente de tempo, para interpretação de resultados, discussão, elaboração de propostas e tomada de decisão. Sem a existência dos devidos fóruns, intencionalmente estabelecidos, para as interações e devolutivas, mesmo os entendimentos mais aprofundados, dentro da perspectiva mais adequada, terão poucos reflexos em termos práticos no dia a dia da escola. Por fim, é preciso considerar que todo trabalho realizado na escola desemboca e tem sua razão de ser na sala de aula. Assim, o protagonismo do professor nas interpretações e na tomada de decisões cabíveis a partir dos resultados de uma avaliação precisa ser potencializado e qualificado, por meio de formação continuada e em serviço. A parte mais importante de um processo de avaliação externa é aquela que acontece dentro da escola.

FORMAÇÃO DE INVERNO DE 3 A 7 DE JULHO

Para conteúdos e novidades, acesse academiaprimeiraescolha.com.br.

Este artigo foi produzido, editado e revisado por Aline dos Reis Matheus e a Academia Primeira Escolha.