A Meta-Avaliação como Instrumento de Qualificação do Processo de Autoavaliação em uma Instituição de Ensino Superior no Rio de Janeiro Faculdade Internacional Signorelli Eixo III- Impactos da CPA Maria Cecília Alves Galvão (Faculdade Internacional Signorelli) Hércules Pereira (Faculdade Internacional Signorelli) Luiz Annunziata Neto (Faculdade Internacional Signorelli)

Resumo Este artigo apresenta os resultados da proposta de meta-avaliação do processo de autoavaliação em uma Instituição de Ensino Superior no Rio de Janeiro. Para tal foram utilizados os princípios de eficácia e eficiência apresentados pelo Joint Committee on Standards for Educational Evaluation. O estudo baseou-se nas categorias de “utilidade” e “precisão” e foi realizado por meio de formulário intitulado Checklist, que foi aplicado aos coordenadores da IES em questão. O objetivo principal do estudo foi identificar e refletir sobre questões relacionadas à importância e à utilização das informações geradas, controle da efetividade, qualidade e credibilidade das autoavaliações, bem como a análise das estratégias para a divulgação e o acesso aos seus resultados. Considerando que meta-avaliações podem influenciar avaliações, que por sua vez influenciam os rumos da aplicabilidade, ou não, de algum programa ou políticas sobre realidades sociais e que em geral envolvem orçamentos que não são pequenos, parte-se do pressuposto que a realização de uma meta-avaliação exige uma pesquisa acurada sobre a documentação produzida pela avaliação, assim como seus estágios, sua receptividade entre os interessados e participantes, os possíveis conflitos de interesse entre as partes envolvidas, enfim, sobre uma longa lista de acontecimentos e informações. A proposta desenvolvida contribuiu para o aperfeiçoamento da autoavaliação da IES, entendida como um processo permanente de autoconhecimento e de autocrítica da instituição, constituindo-se em instrumento fundamental para a reflexão de sua identidade institucional, bem como de auxílio para a tomada de decisões quanto às suas diferentes atividades, sejam elas pedagógicas, administrativas, de extensão ou de pesquisa e, desse modo, consolidando-a como diretriz das políticas públicas da educação superior no Brasil. Palavras-chave: meta-avaliação, avaliação institucional, educação superior. INTRODUÇÃO As exigências que se impõem no mundo contemporâneo, na sociedade do conhecimento, requerem que os países conquistem a democratização do acesso à educação superior de qualidade. Com esta simples afirmação, que se mostra básica, também é exposta uma equação de difícil solução. Indubitavelmente para equacionar o “amplo acesso” e a “qualidade” no âmbito da educação faz-se necessário percorrer por, no mínimo, três pontos cruciais: a vontade política no sentido de mudança do status quo; o investimento financeiro planejado e organizado; e a constante avaliação da qualidade dos resultados atingidos (EHRHARDT, PEREIRA, MICHELAN, 2010). Belloni (2000, p. 41) define qualidade na educação como sendo “conceito complexo e controverso, qualidade é aqui considerada simplesmente como o nível de aceitabilidade ou adequação de uma atividade ou produto definido por vários setores internos ou externos, tendo como parâmetros eficiência, eficácia e efetividade social”. A autora

(2000, p. 39) considera que: “é possível desenvolver uma sistemática de avaliação que vise o aperfeiçoamento da qualidade da educação,” definindo ensino, aprendizagem, pesquisa e gestão institucional. A democratização do conhecimento e da educação (entendendo o termo democratizar a educação como sendo a democratização do acesso, da gestão e dos resultados do sistema), alinha-se com a transformação da sociedade. Belloni afirma ainda que “este é o papel ou função social da avaliação e é necessário aprender como implementá-la” (2000, p. 39). Complementa que “especificamente na área de avaliação institucional em educação superior vários e distintos são os objetivos ou funções apontados pela já ampla literatura na área (BELLONI, 2000, p. 44) e destaca alguns exemplos:. a) estabelecer mecanismos de controle de qualidade do funcionamento e, principalmente, do produto daquelas instituições, visando melhores padrões de eficiência e eficácia do seu funcionamento; b) fornecer informações à própria instituição, ao sistema e à sociedade, com vários objetivos, entre os quais, alocação de recursos humanos e financeiros, formulação de políticas e definição de prioridades; e c) institucionalizar um processo de sistemática reflexão e tomada de decisão com vistas à efetividade social do seu funcionamento, isto é, cumprimento com vista à efetividade o cumprimento da missão científica e social da universidade (GIMENES, 2006). De acordo com a Portaria do Ministério da Educação (MEC) n. º 2.051, de 09 de julho de 2004, a Comissão Própria de Avaliação – CPA é instância de autoavaliação nas Instituições de Ensino Superior (IES), sendo responsável pela etapa do processo avaliativo denominado autoavaliação, coordenada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) que disponibiliza orientações gerais, por meio eletrônico, elaboradas a partir de diretrizes estabelecidas pela Comissão Nacional de Avaliação da Educação Superior (CONAES), com os requisitos e os procedimentos mínimos entre os quais se incluem obrigatoriamente as dimensões previstas no Art. 3º da Lei do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído pela Lei 10.861, de 14 de abril de 2004 (BRASIL, 2004). Desta forma, o SINAES propõe um sistema de avaliação que fortalece a cultura de avaliação nas IES, como processo de formação e de emancipação, quanto estabelece um processo de regulação e supervisão estatal transparente com vistas à definição das políticas públicasnacionais no âmbito da Educação Superior (ESCOTT, 2007). Neste sentido, o SINAES ainda recomenda que os processos avaliativos sejam constantemente avaliados, tanto pelas próprias IES quanto pelo MEC, tendo-se deste modo a metaavaliação como retroalimentação do sistema. A meta-avaliação é uma proposta de controle de excelência para avaliações feita pelo Joint Committee on Standards for Educational Evaluation, que em 1994 publica The Program Evaluation Standards (WORTHEN; SANDERS; FITZPATRICK, 2004). A proposta aponta para uma preocupação com técnicas de aprimoramento em um campo do saber que vem se constituindo desde a segunda metade do século XX. Para Schwandt (1989), a meta-avaliação é um método para a certificação da qualidade (na percepção do rigor e aplicabilidade da aplicação) da avaliação e que exige um conjunto de procedimentos, padrões e critérios para seu julgamento, ou seja, “emitir uma nova avaliação sobre o estudo avaliativo”. Visando o aperfeiçoamento das avaliações de programas, de alunos e de pessoal, o Joint Committee on Standards for Educational Evaluation propôs 30 diretrizes que são agrupadas em quatro categorias de excelência, conforme suas características: utilidade, viabilidade, propriedade e precisão.

2

Mas a visão crítica e interessada do Joint Committe vai além: o estudo que resultou na indicação de metas-avaliações como mecanismo de controle da efetividade, qualidade e credibilidade de avaliações, abrangeu também a pesquisa acerca dos erros mais comuns cometidos por avaliadores. Enfatizando e esmiuçando as diretrizes, o Comitê distribuiu entre elas 214 recomendações de rotinas e posturas que devem ser observadas pelo avaliador em um processo avaliativo. No Brasil não existem pesquisas ou propostas de categorias ou diretrizes desenvolvidas para a prática da atividade avaliativa e por conta disso, os princípios de eficácia e eficiência apresentados pelo Joint Committee são utilizados e aceitos quando da realização desse tipo de estudo no país. Por entender que a autoavaliação é um importante instrumento de gestão e planejamento das IES, e com o intuito de ampliar a discussão sobre a temática e a possibilidade de poder gerar maior conhecimento sobre estas práticas, propomos o presente estudo metaavaliativo do processo de autoavaliação desenvolvido em uma IES na Cidade do Rio de Janeiro. Para tanto, optamos por utilizar as categoria “utilidade” e“precisão”, desenvolvidas pelo Joint Committee on Standards for Educational Evaluation, que serão apresentadas ao longo do estudo. O artigo está organizado em quatro partes. A primeira refere-se às políticas públicas de avaliação para o ensino superior no Brasil. No segundo momento, tratamos das ideias da meta-avaliação expondo a nossa opção de categorias para o estudo. Posteriormente, descrevemos os procedimentos da investigação e as categorias de análise adotadas, bem como uma síntese dos resultados obtidos na pesquisa. Por fim, serão feitas algumas considerações sobre a importância dos processos de autoavaliação e de meta-avaliação. INOVAÇÃO, MUDANÇAS E REFORMAS A universidade que todos conhecemos é uma instituição contraditória, pois ao mesmo tempo em que atinge os mais altos patamares na área da investigação, move-se lentamente quando a questão é relativa a uma simples tomada de decisão sobre temas e problemas do seu cotidiano (LEITE, 2005). As crises da universidade ao longo dos anos foram seguidas de supostas soluções trazidas pelas reformas, em geral, introduzidas pelo poder executivo, isto é, de fora para dentro das IES. A comunidade universitária e a população em geral viram-se surpreendidas pela intensidade das mudanças, dentre as quais, no Brasil, a mais reconhecida diz respeito à avaliação. Em vários países latinoamericanos ocorreram as chamadas “reformas dos anos 90” nas instituições de educação superior. Tais reformas, amplamente discutidas na literatura, seguiram modelos neoliberais para modernização das universidades. Tiveram, como pano de fundo, a produção do conhecimento que preparasse capital humano para atender a entrada dos países nos circuitos da globalização. Ao desenvolvimento desigual dos países latinoamericanos continua correspondendo uma desigual posição na divisão internacional de trabalho, deixando a dúvida se as reformas dos anos 90 contribuíram para a transformação produtiva e autônoma das universidades. Cunha (2004) afirma que, ao se discutir o desenvolvimento do ensino superior no Brasil, nas décadas iniciais do século XX, no período Republicano, aumentou muito o número de IES, o que levou às primeiras discussões a respeito da qualidade do ensino versus a expansão desordenada do sistema. Segundo Souza (1991), o número de matrículas em unidades de ensino superior, entre 1970 e 1980, aumentou de trezentos mil para um milhão e meio. Ainda, segundo o autor, algumas causas para essa enorme expansão foram: o crescimento urbano, as exigências de mão-de-obra qualificada para a indústria e o comércio, assim como o aumento do número de alunos no ensino primário, ginasial e colegial observado nas décadas de 1940, 1950 e 1960, respectivamente. 3

O Brasil encontra-se, portanto, diante de enormes desafios. Precisa não apenas ampliar as oportunidades de acesso ao ensino superior como também zelar pela qualidade do ensino praticado pelo conjunto do sistema de educação superior – um sistema que se torna cada vez mais diverso e complexo. O Estado transforma-se, então, na década de 1990, no que Santos Filho (1999) denomina de “estado avaliador”, cuja pretensão passa a ser a de emitir julgamento objetivo e racional da qualidade do ensino proporcionado pelos diferentes tipos de IES constituídas no país, adotando deste modo uma nova maneira de regular e coordenar os sistemas de educação superior. Deste modo, para atingir patamares elevados de qualidade, institucional e educacional, as universidades precisam partir do retrato falado de si próprias, ou seja da avalição protagonizada pelos atores institucionais – seus docentes, discentes atuais e egressos, técnicos-administrativos e provedores. Esta avaliação, que pode levar à mudança, é um instrumento de responsabilidade democrática, uma forma de avaliação que se alicerça em princípios de democracia direta. AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL Afirma-se que a avaliação das universidades, além de ser datada no século XX, é um fenômeno datado na América do Norte e revivido na Inglaterra, sob o governo de Margareth Tatcher. Essas origens, de per si, colocam na avaliação das instituições de educação superior um véu capitalista liberalizante ou neoconservador (LEITE, 2005). Os processos de avaliação na educação superior, tendo em vistas as experiências internacionais, trouxeram novas relações entre universidade, Estado e sociedade. No Brasil, não foi diferente. Porém, outros exemplos podem ser encontrados, mostrando que a avaliação pode ter diferentes nuances. Xue (1996, apud LEITE, 2005) aponta que a avaliação mais antiga de que se tem notícia ocorreu na China, séculos antes da nossa era, através de exames públicos, os Academic Achievemente Tests. Nesse país, desde 1985 se desenvolvem avaliações institucionais das universidades. Datam da mesma época, meados dos anos 1980, processos de avaliação na Europa Continental, França e Holanda em especial, que objetivavam contrapor-se às possibilidades reguladoras ou neoliberais, trazidas pelos programas de estilo “tacheriano” (LEITE, 2005). Quando o governo brasileiro, recémeleito em 1995, implantou o Exame nacional de Cursos, imediatamente apelidado de Provão, poucos acadêmicos acreditariam que estaria surgindo com ele um novo “modelo” nacional de avaliação. As medidas posteriores permitiram supor a existência de um sistema de avaliação que abrangeu todas as instituições públicas e privadas e todos os níveis de educação superior, e se processou em todo território nacional até o ano de 2003. Seria um sistema de avaliação que envolveu todas as esferas da educação superior, verificando desde o ingresso do estudante até sua saída, segundo o padrão traçado para graduação e mantendo controle dos programas de pós-graduação, vinculados a essas avaliações, regulados normativamente através da legislação específica, com processos de credenciamento, autorização e reconhecimento de cursos. Ou seja, as aferições produziram dados e resultados que passaram a constituir os insumos para reconhecimento de cursos e credenciamento de instituições. É no final da década de 1970 que a preocupação com a qualidade dos cursos oferecidos pelas IES surge como uma questão central no sistema brasileiro de educação superior. Nesse período, foi desenvolvido um processo de avaliação dos cursos de pós-graduação stricto sensu (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Capes), para que ele se tornasse referência de qualidade e servisse de subsídio para o seu credenciamento (GATTI, 2002).

4

No início da década de 1980, o MEC implementou o Programa de Avaliação da Reforma Universitária – Paru –, que, ao contrário da experiência da Capes na pósgraduação, propunha uma avaliação menos quantitativa. De acordo com a análise do programa feita por Cunha (1997), Busca-se apreender o ethos de cada instituição, principalmente por intermédio de uma análise histórica que, partindo da atual situação da IES, permita chegar à recuperação de sua trajetória, em relação a processos, tais como maneira de legitimação das decisões internas, modos específicos de gestão e formas de tomadas de decisão. Tais processos interferem na formulação de políticas concretizadas em diferentes tipos de práticas acadêmicas que, assim, expressam a marca política da instituição. (p.23)

Esse programa, de acordo com Gatti (2002), tinha como objetivo analisar dois aspectos considerados principais: a gestão universitária e aprodução e disseminação do conhecimento pelas IES. Em razão das inúmeras mudanças na administração pública, sua duração foi de apenasum ano. Em 1986, foi nomeado o Grupo Executivo para a Reformulação da Educação Superior (Geres) para elaborar um anteprojeto de lei direcionado exclusivamente às IES federais. Segundo Cunha (1997), as preocupações centrais do Geres eram: acabar com a dualidade de estruturação das universidades federais; racionalizar o controle governamental sobre as universidades; valorizar os níveis mais elevados da carreira docente; e incluir a participação de docentes e de estudantes na elaboração da lista para cargo de direção das universidades e de suas unidades. No entanto, somente no início da década de 1990, ocorre, no ensino superior, uma mudança na perspectiva sobre a avaliação institucional, adquirindo destaque os processos de autoavaliação. De acordo com Rios (2004) “a proposição mais direta de programas de avaliação do sistema universitário iniciou-se com as experiências de algumas universidades como a Universidade de Brasília (UnB), a Universidade de São Paulo (USP) e a Universidade de Campinas (Unicamp)”. Surge, então, das bases universitárias através da ação política da Andifes (Associação Nacional de Dirigentes das Instituições Federais de Ensino Superior) o Programa de Avaliação Institucional das Universidades Brasileiras (Paiub) que propôs um programa de avaliação das universidades públicas ao MEC. Rios (2004) destaca que a orientação central do programa era a avaliação formativa, entendida como uma ação dos avaliadores para o desenvolvimento e crescimento dos avaliados, ou seja, um processo a serviço da comunidade acadêmica, que gera informações capazes de auxiliar na construção de melhorias educacionais do sistema. Sua duração foi curta: de 1993 a 1997. Segundo Ristoff (2000), o Paiub tinha como objetivo fundamental “identificar os pontos fortes e fracos, as possíveis omissões e potencialidades inexploradas, para que se possa não punir ou premiar, mas dar consequência, corrigindo rumos e buscando iluminar as virtudes necessárias à busca de uma universidade melhor (p. 48).” Na segunda metade da década de 1990, o MEC implementou um novo Sistema deAvaliação do Ensino Superior que restabelece uma relação burocrática com as IES. De acordo com Gomes (2003): a política de avaliação desse governo ilustra os novos mecanismos pelos quais a relação entre o governo e os setores do ensino superior tem sido reestruturada. Representa uma reestruturação significativa 5

dos mecanismos e instrumentos tradicionais e burocráticos que têm historicamente caracterizado a relação do Estado com a educação superior no Brasil. (p.130)

Essa nova política de avaliação sustenta-se legalmente na LDB de 1996, principalmente em seu artigo 9° (incisos VI, VIII e IX), em que é definida a incumbência da União no processo de avaliação educacional, assegurando à própria União a responsabilidade pelos processos de avaliação do rendimento escolar dos alunos de todos os níveis de educação, além dos processos de avaliação das IES, que, em cooperação com os Conselhos de Educação dos Estados, são responsáveis por autorizar, reconhecer, credenciar, supervisionar e avaliar essas instituições (GIMENES, 2006). Dessa maneira, o governo passa a assumir o controle do processo de avaliação nos diferentes níveis (fundamental, médio e superior), seja ela avaliação de rendimento ou avaliação das IES e de cursos de graduação e de pós-graduação. Assim, a União concede às IES prazos definidos e limitados de autorização e credenciamento, que serão revistos periodicamente, e em seguida regulados pelos processos de avaliação (Cury, 1997). O novo sistema era composto de três grandes indicadores: um sobre a adequação da infraestrutura das IES, outro referente ao corpo docente e outro relacionado aos conhecimentos básicos que os alunos deveriam ter aprendido nos cursos de graduação (Gatti, 2002). Apesar da política de avaliação da educação superior, implementada pelo então Ministro Paulo Renato, ser composta pelos três programas, foi o Exame Nacional de Cursos (ENC), sem dúvida, o eixo central dessa política. Ao transformar o ENC (antigo Provão) no principal instrumento de controle e monitoramento da qualidade da educação superior, o governo federal instaurou uma nova abordagem de avaliação muito distinta da proposta anterior – o Paiub –, fundamentada na adesão voluntária ao programa de avaliação, no respeito à identidade institucional e não premiação ou punição. Desse modo, podemos notar uma mudança substancial nos mecanismos e na lógica dos processos regulatórios do Estado no que se refere às IES, condicionando suas funções credenciadoras aos resultados alcançados nos procedimentos de avaliação conduzidos pelo governo federal (Gomes, 2003). Em 2004, ocorreu uma mudança parcial nos rumos do processo de avaliação das IES no Brasil, quando o MEC/SESu, instituiu a Lei Federal n. 10.861, que criou o Sistema Nacional de Avaliação da Educação Superior (Sinaes), tendo como objetivos fundamentais promover a melhoria da qualidade do ensino e estabelecer o compromisso das IES com a responsabilidade social. A lei mantém a aplicação de provas aos formandos e a avaliação das condições de oferta e das característicasdas instituições, além de propor a avaliação dos ingressantes. O controle de todo o processo passa a ser de responsabilidade da Comissão Nacional deAvaliação da Educação Superior (Conaes) (GIMENES, 2006). Observamos, também, a partir dos documentos elaborados pelo MEC sobre o Sinaes, a retomada da orientação teórica da avaliação formativa. Destacam-se, como diretrizes essenciais deste sistema deavaliação, a participação e a integração de toda a comunidade acadêmica, bem como o conceito de avaliação como um processo que une a dimensão formativa a um projeto de sociedade comprometida com a igualdade e a justiça social. Nessa ótica, a avaliação torna-se um importante processo fomentador de informações para a tomada de decisões políticas, pedagógicas e administrativas, bem como para a contínua melhoria institucional e para a conquista da emancipação e da autonomia das IES doBrasil (Brasil, 2004). 6

COMO AVALIAR AVALIAÇÕES: A META-AVALIAÇÃO Em um sentido formal, a meta-avaliação existe há tanto tempo quanto a avaliação, pois alguém sempre forma opinião sobre a qualidade de todos os estudos de avaliação realizados. Mas, durante a década de 1960, avaliadores começaram a discutir procedimentos e critérios formas de meta-avaliação, autores passaram a sugerir o que constitui uma boa avaliação e uma avaliação insatisfatória e listas de verificação não publicadas sobre diretrizes de avaliação começaram a ser trocadas informalmente entre os profissionais da área (WORTHEN; SANDERS; FITZPATRICCK, 2004). Em consequência, ao final da década de 1970, foi lançado um projeto que propunha desenvolver um conjunto amplo de diretrizes adaptado expressamente para as avaliações em termos de qualidade. O resultado do trabalho do Joint Committee foi o Standards for evaluations of educational programs, projects, and materials, que recebeu grande atenção na área educacional e aplicados em outros ambientes além das escolas (JOINT COMMITTEE, 1981). As diretrizes (categorias) do Joint Committee são um conjunto de trinta tópicos, cada qual com um resumo que apresenta definições e o fundamento lógico, uma lista de diretrizes, erros comuns, casos ilustrativos descrevendo práticas de avaliação que poderiam ter sido orientadas por uma diretriz em particular e uma análise de cada caso. Um dos elementos mais importantes que o Joint Committee desenvolveu com base na discussão sobre diretrizes é o conceito de que a qualidade de um estudo avaliatório pode ser determinada por sua utilidade, viabilidade, propriedade e precisão. As trinta diretrizes para avaliação são agrupadas de acordo com sua contribuição potencial para cada um desses quatro atributos. A utilidade é deliberadamente apresentada em primeiro lugar na avaliação, pois o Joint Committee reconheceu que, sem utilidade, uma avaliação não atende, por melhor que seja seu foco em termos das demais. PERCURSO METODOLÓGICO A presente meta-avaliação do processo de autoavaliação foi realizada por meio de tabelas adaptadas, tomando como modelo um formulário adaptado do Program Evaluation Models Metaevaluation, de Daniel Stufflebeam (1974). Trata-se de um formulário intitulado Checklist para Aplicação dos Padrões, com quatro colunas nas quais deve ser acusado o atendimento (e em que grau) do padrão analisado. O instrumento de meta-avaliação contendo 30 itens utiliza escala para cada um dos padrões avaliados: atendido, parcialmente atendido, não atendido e sem elementos para julgar. Para a efetivação desta meta-avaliação também foram usados na análise dos dados os relatórios de Autoavaliação (2009 a 2012) e o Programa de Avaliação Institucional (PAI). Os documentos institucionais foram utilizados objetivando complementar as informações coletadas pelo instrumento aplicado, uma vez que contêm subsídios e aspectos teóricos referentes às avaliações desenvolvidas na IES. O instrumento foi disponibilizado para os coordenadores da IES, apresentado por meio de carta contendo objetivos e instruções de preenchimento. Foi solicitado aos participantes que se posicionassem em relação às informações e indicassem seu grau de concordância para cada um dos itens apresentados. Cabe ressaltar que embora consideremos as quatro categorias de análise (utilidade, precisão, ética e viabilidade), definidas pelo Joint Committee de fundamental relevância, neste estudo meta-avaliativo foram usadas como referências as categorias analíticas de utilidade e precisão. Justifica-se a escolha por considerarmos que elas contemplam os pontos relevantes de qualquer processo de avaliação: a fidedignidade e finalidade das informações coletadas. Estas condições são básicas para contribuição, alinhamento, transformação contínua e para o desenvolvimento institucional. 7

Consideramos, portanto, que uma análise detalhada das categorias “utilidade” e “precisão” seja suficientemente capaz de gerar informações adequadas para avaliarmos alguns aspectos essenciais do processo de autoavaliação institucional. A CATEGORIA UTILIDADE Esta categoria é a do padrão que empresta sentido à finalidade e uso de uma avaliação. Pretendem garantir que a avaliação atenda as necessidades de informações dos usuários potenciais. Pode-se dizer que a utilidade é condição sine qua non para qualquer proposta avaliativa. Mesmo sendo as outras três categorias tão fundamentais quanto este, se a avaliação não for útil, e mesmo que atendendo as outras três categorias, não haverá qualquer sentido na sua realização (WORTHEN; SANDERS; FITZPATRICCK, 2004). No quadro 1 são apresentadas as diretrizes de utilidade e suas descrições. Quadro 1 – Diretrizes de utilidade e suas descrições. Padrões de Utilidade U1 - Identificação dos interessados

Descrição Identificar todos os atores envolvidos ou interessados que serão afetados pela avaliação, para que suas necessidades possam ser consideradas. A avaliação deve ser conduzida por profissionais habilitados e U2 - Credibilidade do competentes para exercício dessa atividade. avaliador Deverão ser coletadas e selecionadas informações pertinentes para a elaboração das questões que afetam o programa de U3 - Alcance e seleção das forma que atendam às necessidades e aos interesses dos informações envolvidos. As perspectivas, procedimentos e lógicas utilizadas para U4 - Identificação dos valores interpretar os achados deverão ser cuidadosamente descritos, considerando que serão as bases para os julgamentos de valor. Os relatórios de avaliação devem, objetivamente, descrever o que foi avaliado, incluindo o seu contexto, propósitos, U5 - Clareza do relatório procedimentos e achados, sendo essencial que forneçam informações para sua fácil compreensão. Os achados significativos identificados no decorrer da U6 - Agilidade na produção e avaliação e o relatório devem ser disseminados a fim de ser disseminação da informação usados a tempo. As avaliações devem ser planejadas, conduzidas e reportadas de forma que encorajem o acompanhamento e participação dos U7 - Impacto da avaliação interessados, para aumentar a probabilidade de utilização. Fonte: Adaptado de Worthen, Sanders e Fitzpatrick (2004), Silva (2010).

A análise do processo de avaliação da IES em questão, considerando a categoria “utilidade”, teve o objetivo de analisar a proficuidade das informações coletadas, ou seja, determinar se os dados obtidos consideraram as necessidades dos atores envolvidos. Nesse sentido, procuramos verificar até que ponto a avaliação realizada gerou informações úteis e relevantes para o aperfeiçoamento e o desenvolvimento dos diversos grupos interessados no processo. Embora sabedores da importância dos padrões definidos pelo Joint Committee on Standards for Educational Evaluation, neste estudo optamos pela realização parcial desta categoria, com base em quatro dos sete padrões – identificação dos interessados, alcance e seleçãodas informações, agilidade na produção e disseminação da informação e impacto da avaliação. A análise do padrão identificação dos interessados nos revela quem são os sujeitos envolvidos, direta ou indiretamente, possibilitando assim, verificar em que medida as necessidades dos atores envolvidos foram atendidas na autoavaliação desenvolvida na IES. 8

Em relação à análise do alcance e seleção das informações é importante verificar até que ponto as informações coletadas possibilitaram a elaboração das questões e de resposta às necessidades e aos interesses dos envolvidos. Neste padrão estão incluídos aspectos inerentes às metodologias, procedimentos empregados para a seleção das dimensões e dos indicadores; a apresentação e incorporação das necessidades de todos os grupos; e a adequação dos critérios de seleção dos grupos que responderam aos questionários. A agilidade na produção e disseminação da informação levou em conta se os achados foram significativos e identificados no decorrer da avaliação e, ainda, se o relatório da autoavaliação foi divulgado a toda comunidade acadêmica a fim de ser usado a tempo. Muito importante também para verificação da qualidade do processo avaliativo relaciona-se ao impacto da avaliação. Este pretende verificar se as avaliações foram planejadas, realizadas e apresentadas de forma que incentivem seu acompanhamento pelos interessados e com isso tenham mais probabilidade de serem usadas. Não basta apenas a sua realização para o atendimento das exigências burocrático-legais, é necessário também que ele se transforme em um importante instrumento de reflexão sobre as diversas atividades desenvolvidas na IES e que propicie soluções. Portanto, é imprescindível analisar se as ações avaliativas proporcionaram aos interessados a possibilidade efetiva de sua utilização, ou seja, a divulgação adequada dos resultados, a qualidade do suporte oferecido para o seu entendimento, o grau de envolvimento dos diferentes setores e das comissões responsáveis pela autoavaliação, a transparência do processo, bem como a ocorrência ou não de melhorias na instituição a partir das informações coletadas. CATEGORIA DE PRECISÃO Precisão é uma categoria composta por 12 diretrizes que enfatizam as premissas de legitimidade de uma avaliação. Têm por finalidade garantir que uma avaliação revele e transmita informações tecnicamente adequadas sobre as características que determinam o valor ou mérito do programa que está sendo avaliado. Esta diretriz oferece-nos a oportunidade de analisar se o processo foi realizado com base na definição de procedimentos, de conceitos, de dimensões e de indicadores adequados para o cumprimento dos objetivos propostos. Deve possibilitar a análise da qualidade dos instrumentos e das informações compiladas, a adequação da escolha dos procedimentos e técnicas de coleta e tratamento das informações, bem como a adequação da divulgação dos resultados obtidos e do acesso a eles. Ou seja, deve revelar até que ponto o processo de avaliação desenvolvido produziu e forneceu informações tecnicamente apropriadas para o estabelecimento do valor e mérito da instituição avaliada (Ristoff, 2000). Foram consideradas no estudo oito dos doze padrões da categoria “precisão”, descritos a seguir (quadro 2). Quadro 2: Diretrizes de Precisão e suas descrições. Padrões de Precisão P1 – Documentação Programa

do

P2 – Análise do contexto P3 – Propósitos e Finalidades Descritos P4 - Fontes de Informações Confiáveis

Descrição A documentação e descrição do programa avaliado deve ser clara e precisa de modo a ser identificado e compreendido. O contexto no qual o programa se desenvolve deve ser examinado detalhadamente, identificando as possíveis influências que sofre ou sofrerá As finalidades e os procedimentos da avaliação devem ser monitorados e descritos de forma detalhadamente para que a adequação dessas informações possa ser aferida As fontes de informação usadas em uma avaliação devem ser descritas detalhadamente para que possam ser julgadas

9

Os procedimentos para a coleta de dados devem ser escolhidos ou desenvolvidos e então implementados de formas a assegurar a validade da interpretação a que se chegou e o seu uso. Os procedimentos de coleta de informação devem ser escolhidos ou desenvolvidos e então implementados de formas a P6 – Informações Fidedígnas assegurar a que a informação obtida é suficientemente fidedigna para os usos pretendidos. As informações coletadas, processadas e relatadas devem ser sistematicamente revistas e qualquer erro encontrado deve ser P7 – Informações Sistemáticas sanado. As informações quantitativas devem ser analisadas de forma P8 – Análise das informações apropriada e sistemática para que as perguntas sejam Quantitativas efetivamente respondidas. As informações qualitativas devem ser analisadas de forma P9 – Análise das informações apropriada e sistemática para que as perguntas sejam Qualitativas efetivamente respondidas. As conclusões de uma avaliação devem ser claramente e detalhadamente justificadas para que os interessados possam P10 – Conclusões Justificadas julgá-las. Os relatórios do processo avaliativo devem estar defesos de todo subjetivismo do avaliador ou influencias de interesses de P11 – Relatório Imparcial qualquer parte. Devem espelhar imparcialmente os resultados obtidos na avaliação. A avaliação deve ser avaliada para que seus pontos fortes P12 – Meta-Avaliação possam ser explorados e os fracos repensados. Fonte: Adaptado de Worthen, Sanders e Fitzpatrick (2004), Silva (2010). P5 – Informações Válidas

Inicialmente, para o desenvolvimento de um processo de avaliação interno, é imprescindível a divulgação, clara e transparente, da documentação do programa de avaliação a toda a comunidade participante, a fim de esclarecer os seus objetivos, procedimentos e o modelo adotado. O programa avaliado deve ser descrito e documentado de forma clara e precisa para que possa ser identificado e compreendido com facilidade. A diretriz análise do contexto indica que o contexto do programa deve ser examinado de forma suficientemente detalhada para que as prováveis influências sobre o programa (seus processos e resultados) possam ser identificadas. A identificação dos propósitos e finalidades descritos tem por objeto o monitoramento e descrição das finalidades e procedimentos da avaliação, de forma suficientemente detalhada, para serem identificados e aferidos. Para o estabelecimento de um processo de avaliação interna, constituído de fontes de informações confiáveis, é essencial analisar se as fontes de informação usadas na avaliação foram descritas adequadamente: metodologias e procedimentos adotados para a elaboração dos instrumentos para a coleta de dados, os critérios de escolha dos grupos avaliados e a relevância desses resultados para o aperfeiçoamento institucional. O quinto padrão - informações válidas - fundamenta-se na análise dos procedimentos para a coleta de dados que devem ser escolhidos ou desenvolvidos e então implementados de formas a assegurar a validade da interpretação a que se chegou e o seu uso. As informações fidedignas caracterizam-se na investigação dos procedimentos de coleta de dados, se estes foram escolhidos e implementados de modo a assegurar que a informação é suficiente e fidedigna para os usos pretendidos. A análise das informações quantitativas e qualitativas diz respeito ao julgamento de forma apropriada e sistemática garantindo que as perguntas dos questionários sejam efetivamente respondidas. 10

Por fim, para que se possa avaliar a sistematização das informações coletadas durante o processo de avaliação, é essencial o exame tanto da compreensão dos resultados alcançados como da qualidade dos resultados disponibilizados, com a finalidade de verificar até que ponto os métodos e técnicas adotados para a compilação dos dados e posterior divulgação foram utilizados de maneira satisfatória. Compreendemos que, ao utilizarmos as duas categorias de análise (“utilidade” e “precisão”), seja possível ampliar e aperfeiçoar o debate em relação aos processos de autoavaliação desenvolvidos. Desse modo, a categoria “utilidade” pode contribuir para a discussão dos dados gerados, com o intuito de julgarmos se eles estão articulados com as necessidades da comunidade acadêmica da IES. Já a categoria “precisão” pode fornecer elementos para que se discuta a elaboração e utilização dos instrumentos aplicados aos diferentes atores envolvidos no processo. RESULTADOS E DISCUSSÃO Participaram deste estudo sete coordenadores da IES pesquisada. Como apresentado anteriormente, o estudo meta-avaliativo concentra-se na análise das categorias analíticas de “utilidade” e “precisão” Quanto à análise da categoria “utilidade” observamos que todos os itens que compunham as dimensões “identificação dos interessados”, “alcance e seleção das informações”, “agilidade na produção e disseminação da informação” e impacto da avaliação foram classificados como atendido ou atendido parcialmente. É possível afirmar que os procedimentos empregados foram apropriados, notadamente em relação à clareza e suficiência das informações sobre as diversas etapas do processo; à transparência a respeito das exigências legais da autoavaliação bem como ao compromisso da equipe diretiva da IES quanto à proposta de avaliação colocada em prática. Analisando os resultados da categoria “precisão” em relação aos padrões elencados para avaliação: “documentação do programa”, “análise do contexto”, “propósitos e finalidades descritos”, “informações confiáveis”, “informações válidas”, “informações fidedignas”, “sistematização das informações”, “análise das informações quantitativas e qualitativas” e “sistematização das informações destacamos que as respostas dos coordenadores mostraram-se satisfatórias. Apenas um coordenador considerou que a análise das informações qualitativas deve ser redimensionada de modo a garantir que todas as perguntas disponibilizadas nos instrumentos de coleta de dados sejam efetivamente respondidas. Os demais aspectos que compuseram esta dimensão destacaram-se como uma característica positiva, da autoavaliação da IES, contemplando a realização de um processo flexível para a inclusão de novas questões nos instrumentos desenvolvidos na IES, uma vez que todos os coordenadores concordaram com esse item. Ao analisarmos, porém, as respostas dos coordenadores de curso sobre a dimensão “impacto da avaliação”, consideramos que ela necessita de atenção especial, sobretudo quanto ao efetivo envolvimento dos participantes no processo e ao retorno (feedback), à comunidade acadêmica, dos resultados obtidos durante o processo de avaliação. Em relação à categoria “precisão”, podemos declarar que, na dimensão “documentação do programa”, os resultados foram menos satisfatórios, visto que a forma de acesso aos resultados pelos diferentes grupos e a vinculação entre o programa proposto e o processo desenvolvido foram considerados atendidos parcialmente. A dimensão “análise do contexto” também foi considerada atendida parcialmente pelos respondentes. A discordância maior pode estar associada ao fato de que eles, com base em suas primeiras experiências de autoavaliação, compreenderam que tal processo deve abarcar as múltiplas relações institucionais, e que, portanto, faz-se necessário 11

desenvolver procedimentos capazes de contemplar todas as atividades e instâncias da IES. Dessa forma, seria possível ampliar as fontes de informação, e integrá-las de forma coerente; entretanto, entendemos que não basta apenas aplicar instrumentos de avaliação aos dirigentes e funcionários técnico-administrativos; é imprescindível, também, estabelecer relações consequentes com os seus projetos, sejam eles de âmbito acadêmico ou administrativo. Por outro lado, identificamos que, nas demais dimensões, as respostas dos coordenadores revelam satisfação quanto aos aspectos abordados. Após a apresentação resumida dos resultados da meta-avaliação na IES pesquisada, podemos afirmar que o processo de avaliação desenvolvido foi proveitoso para a instituição, uma vez que identificamos um número razoável de padrões estabelecidos para uma autoavaliação adequada e também por ser esta a sua primeira experiência. Desse modo, podemos considerar que a avaliação realizada alcançou um padrão desejável de utilidade. Os resultados alcançados nesta pesquisa, em relação à categoria “precisão”, mostram que a metodologia, os procedimentos, as dimensões e os indicadores utilizados foram apropriados e cumpriram com os objetivos propostos. Entretanto, identificamos alguns pontos que carecem de aprimoramento, principalmente no que se refere à forma de acesso aos resultados pelos diferentes grupos. Em síntese, consideramos que os principais entraves, segundo os respondentes desta pesquisa, referem-se às dificuldades de envolver todos os segmentos da instituição na autoavaliação e de proporcionar condições efetivas de melhoria. CONSIDERAÇÕES FINAIS Consideramos que os processos de autoavaliação desenvolvidos pelas IES são um dos eixos centrais das políticas de avaliação da educação superior no Brasil. Entendemos que a autoavaliação é um processo permanente de autoconhecimento e de autocrítica da instituição, constituindo-se em instrumento fundamental para a reflexão de sua identidade institucional, bem como de auxílio para a tomada de decisões quanto às suas diferentes atividades, sejam elas pedagógicas, administrativas, de extensão ou de pesquisa. Além disso, como foi destacado anteriormente, a autoavaliação apresenta-se como uma exigência burocrático-legal nos processos de autorização, credenciamento e reconhecimento de cursos e de instituições. Entretanto, para a realização da autoavaliação, que proporcione condições adequadas para a geração de melhorias institucionais, com base na perspectiva de participação ampliada, é essencial o desenvolvimento de formas variadas e eficientes de acesso, divulgação e retorno dos dados coletados ao longo do processo avaliativo, que, no entanto, devem ser constantemente objeto de reflexão, principalmente pelos responsáveis pela autoavaliação, a fim de torná-la instrumento gerador de informações válidas e confiáveis que subsidiem a comunidade acadêmica no planejamento e gestão de sus atividades. Assim como Cunha, M. I. (2004), compreendemos que os processos de avaliação são culturais. São precisos esforços intencionais para fundar as bases de participação reflexiva, pois não é essa a nossa história e vivência cotidiana. Para ultrapassar a concepção e a prática de avaliação como mera função regulatória e legalista é preciso partir de outra lógica, com outro sentido filosófico, ético e político. (p.27)

Desse modo, consideramos que a avaliação desenvolvida deve centrar-se em seu sentido educativo, compreendendo que o processo, muitas vezes, é mais importante do que o 12

próprio produto. Para tanto, a participação dos diferentes interessados no processo avaliativo não deve ser passiva, mas ativa e voluntária (Cunha, M.I., 2004). Julgamos que, para o estabelecimento de uma cultura de avaliação duradoura, são necessários esforços para o amadurecimento dos princípios e das funções do processo de autoavaliação; e isso só ocorrerá no momento em que a comunidade acadêmica estiver convencida de que o papel principal da autoavaliação é produzir informações úteis para a tomada de decisões que beneficiem atodos os participantes do processo. Assim como Dias Sobrinho (2002), julgamos que a avaliação tem aobrigação fundamental de suscitar interrogações de sentido ético, político e filosófico sobre a formação que está promovendo e engendrar reflexões sobre o significado mais profundo da missão(...). Precisa conhecer e interpretar as fraquezas da instituição, com vistas a superá-las, mas, sobretudo, deve compreender e identificar as suas qualidades mais fortes e suas potencialidades para se consolidar ainda mais. A tarefa é de grande dificuldade e magnitude, e creio que se deve começar por uma ruptura. (p.135)

Portanto, para que os processos autoavaliativos cumpram seus objetivos, eles também devem ser avaliados. Por isso, propusemos um estudo meta-avaliativo, usando como referência as diretrizes estabelecidas pelo Joint Committee on Standards for Educational Evaluation, com o intuito de criar instrumentais e procedimentos adequados para a geração de informações que subsidiem a reflexão a respeito do mérito e da relevância da autoavaliação, além de identificarmos suas reais possibilidades de transformação, de seus impasses e de suas limitações. Temos a clareza, contudo, de que muitos outros aspectos não foram avaliados nesta pesquisa, principalmente no que diz respeito às categorias viabilidade e ética, sugeridas pelo trabalho do Joint Committee on Standardsfor Educational Evaluation (1981). Este estudo não teve a intenção de apresentar uma proposta acabada de meta-avaliação. Ao contrário. Ao realizarmos uma meta-avaliação, empregando as categorias “utilidade” e “precisão”, objetivamos apenas contribuir para o debate sobre o papel da autoavaliação e a sua importância para o aperfeiçoamento do sistema de educação superior no Brasil, no sentido de apresentar possíveis alternativas para o desenvolvimento de processos avaliativos geradores de transformações e melhorias nos e pelos diferentes setores de uma IES. REFERÊNCIAS

BELLONI, I. Universidade e o compromisso da avaliação institucional na reconstrução do espaço social. In: Avaliação. Campinas, SP, v.1, nº 2, p.6-14, dez, 2000. EHRHARDT G.; PEREIRA M. F.; MICHELAN L. S. Percurso para a meta-avaliação na educação superior em Países latino-americanos: os casos da Argentina, Brasil, Chile e México. In X Coloquio Internacional sobre Gestión Universitaria em América Del Sur, 2010, Mar del Plata. Balance y prospectiva de La Educación Superior em El marco de los Bicentenarios de America Del Sur: trabalhos apresentados... Mar del Plata, 2010. BRASIL. Portaria nº 2.051, de 9 de julho de 2004. Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na Lei no 0.861, de 14 de abril de 2004. Brasília, 2004. ______. Lei 10.861 de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - Sinaes e dá outras providências. Brasília, 2004. 13

CUNHA, L.A. Desenvolvimento Desigual e Combinado no Ensino Superior – Estado e Mercado. Educação & Sociedade. Campinas, v.25, n. 88,p.795-817, out. 2004. CUNHA, M. I. da. Auto-Avaliação como Dispositivo Fundante da Avaliação Institucional Emancipatória. Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior, v.9, n.4, p.23-32, dez. 1997. ESCOTT, Clarice Monteiro. Avaliação institucional e gestão da educação superior – regulação e emancipação. Anpae – Associação Nacional de Política e Administração da Educação. 2007. GATTI, B. A. Avaliação institucional e acompanhamento de instituições de ensino superior. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, n.21, p.93-107, jan./jun. 2000. ________. Avaliação Educacional no Brasil: pontuando uma história de ações. Eccos Revista Científica. São Paulo: Uninove, n.1, v. 4, p.17-41, jun.2002. GIMENES, N. A. S. Um estudo metavaliativo de uma experiência de auto-avaliação em uma Instituição de Educação Superior. São Paulo, 2006.Dissertação (mestr.) Pontifícia Universidade Católica de São Paulo. Psicologia da Educação. 112p. GOMES, A. M. Exame Nacional de Cursos e a política de regulação estatal do ensino superior. Cadernos de Pesquisa. São Paulo: Fundação Carlos Chagas, n.120, p. 129149, nov. 2003. JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. Standards for evaluations of educational programs, projects, and materials. New York: McGraw-Hill, 1981. LEITE, D. Reformas universitárias: avaliação institucional participativa. Rio de Janeiro: Vozes, 2005. RIOS, M. P. G. Metavaliação de docentes no ensino superior. São Paulo, 2004. Tese (dout.) Pontifícia Universidade Católica de São Paulo. RISTOFF, D. Avaliação de Programas Educacionais: discutindo padrões.Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior. Campinas: Unicamp, v.5, n.4 (18), p.39-44, dez. 2000. SANTOS FILHO, J. C. Análise teórico-política do Exame Nacional de Cursos. Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior. Campinas: Unicamp, v.13, n.3, p.9-24, set. 1999. SCHWANDT, T. Recapturing moral discourse in evaluation. Educational Researcher, vol. 18, 1989, p. 11-16. SOUZA, P. N. P.Estrutura e funcionamento do ensino superior brasileiro. São Paulo: Pioneira, 1991. STUFFLEBEAM, D. Metaevaluation. (Occasional paper n. 3). Kalamazoo:Western Michigan University Evaluation Center, 1974.

WORTHEN, B.R.; SANDERS, J. R.; FITZPATRICK, J.L. Avaliação de programas: concepções e práticas. Tradução Dinah de Abreu Azevedo. São Paulo: Gente, 2004.

14

15