A avaliação na área da saúde: conceitos e métodos

André-Pierre Contandriopoulos François Champagne Jean-Louis Denis Raynald Pineault

SciELO Books / SciELO Livros / SciELO Libros HARTZ, ZMA., org. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas [online]. Rio de Janeiro: Editora FIOCRUZ, 1997. 132 p. ISBN 85-8567636-1. Available from SciELO Books .

All the contents of this work, except where otherwise noted, is licensed under a Creative Commons Attribution-Non Commercial-ShareAlike 3.0 Unported. Todo o conteúdo deste trabalho, exceto quando houver ressalva, é publicado sob a licença Creative Commons Atribuição Uso Não Comercial - Partilha nos Mesmos Termos 3.0 Não adaptada. Todo el contenido de esta obra, excepto donde se indique lo contrario, está bajo licencia de la licencia Creative Commons Reconocimento-NoComercial-CompartirIgual 3.0 Unported.

A AVALIAÇÃO NA ÁREA DA SAÚDE: CONCEITOS E MÉTODOS*

André-Pierre

Contandriopoulos François

Champagne

Jean-Louis Raynald

Denis Pineault

INTRODUÇÃO A avaliação é uma atividade tão velha quanto o m u n d o , banal e inerente ao p r ó p r i o processo d e a p r e n d i z a g e m . H o j e , a a v a l i a ç ã o é t a m b é m u m c o n c e i t o q u e está n a m o d a , c o m c o n t o r n o s vagos e q u e a g r u p a realidades múltiplas e diversas. Logo após a Segunda G u e r r a M u n d i a l apareceu o conceito d e avaliação dos programas p ú b l i c o s . Ele é , d e certa f o r m a , o c o r o l á r i o d o p a p e l q u e o Estado c o m e ç o u a d e s e m p e n h a r nas áreas d a e d u c a ç ã o , d o social, d o e m p r e g o , d a s a ú d e e t c . O Estad o , q u e passava a substituir o m e r c a d o , d e v i a e n c o n t r a r m e i o s para q u e a a t r i b u i ç ã o d e recursos fosse a mais eficaz possível. O s e c o n o m i s t a s d e s e n v o l v e r a m , e n t ã o , m é t o d o s para analisar as v a n t a g e n s e os custos destes p r o g r a m a s p ú b l i c o s ; s ã o os p i o n e i r o s d a a v a l i a ç ã o . M a s , r a p i d a m e n t e , suas a b o r d a g e n s revelaram-se insuficientes, e s p e c i a l m e n t e q u a n d o q u e r e m o s aplicá-las aos p r o g r a m a s sociais e à e d u c a ç ã o . A a v a l i a ç ã o foi, então, d e certo m o d o , "profissionalizada", adotando-se u m a

perspectiva

interdisciplinar e insistindo nos aspectos m e t o d o l ó g i c o s . N o c o n t i n e n t e a m e r i c a n o , associações c o m o a A m e r i c a n Evaluation Association o u a C a n a d i a n E v a l u a t i o n S o c i e t y c o n t r i b u í r a m m u i t o para esse m o v i m e n t o . * Versão adaptada de um artigo dos mesmos autores, L'évaluation dans le domaine de la santé: concepts & méthodes, publicado nas atas do colóquio editadas por LEBRUN, SAILLY & AMOURETTI (1992:1432). A tradução preliminar deste texto recebeu o apoio do Instituto Materno-lnfantil de Pernambuco (IMIP - projeto financiado pelo BID), com revisão de Zulmira Maria de Araújo Hartz e Luiz Claudio S. Thuller.

N o d e c o r r e r d o s a n o s 70 a n e c e s s i d a d e d e avaliar as a ç õ e s sanitárias se i m p ô s . O p e r í o d o d e i m p l a n t a ç ã o d o s grandes programas, b a s e a d o s n o seguro m é d i c o , estava t e r m i n a d o . A d i m i n u i ç ã o d o c r e s c i m e n t o e c o n ô m i c o e o p a p e l d o Estado n o f i n a n c i a m e n t o d o s s e r v i ç o s d e s a ú d e t o r n a v a m indispensável o c o n t r o l e d o s custos d o sistema d e s a ú d e , s e m q u e , p o r isso, u m a a c e s s i b i l i d a d e suficiente d e t o d o s a serviços d e q u a l i d a d e seja q u e s t i o n a d a . A s d e c i s õ e s necessárias para q u e esta d u p l a exigência seja respeitada são partic u l a r m e n t e difíceis d e se t o m a r , por c a u s a d o caráter m u i t o c o m p l e x o d o sistema d e s a ú d e , d a s g r a n d e s z o n a s d e i n c e r t e z a q u e e x i s t e m nas r e l a ç õ e s e n t r e os p r o b l e m a s d e s a ú d e e as i n t e r v e n ç õ e s suscetíveis d e resolvê-las, d o d e s e n v o l v i m e n t o m u i t o r á p i d o d a s n o v a s t e c n o l o g i a s m é d i c a s e d a s e x p e c t a t i v a s crescentes d a p o p u l a ç ã o . N e s t e c o n t e x t o , a n e c e s s i d a d e d e i n f o r m a ç ã o sobre o f u n c i o n a m e n t o e a eficácia d o sistema d e s a ú d e é c o n s i d e r á v e l e a a v a l i a ç ã o p a r e c e ser a m e l h o r s o l u ç ã o . D e s d e e n t ã o , a a v a l i a ç ã o na á r e a sanitária goza d e u m prestígio e n o r m e . A m a i o r i a d o s países (Estados U n i d o s , C a n a d á , F r a n ç a , Austrália etc.) c r i o u organismos e n c a r r e g a d o s d e a v a l i a r as n o v a s t e c n o l o g i a s . O s p r o g r a m a s d e f o r m a ç ã o , os c o l ó q u i os, os s e m i n á r i o s , os artigos, as o b r a s s o b r e a a v a l i a ç ã o já n ã o se c o n t a m mais. Esta p r o l i f e r a ç ã o é , c e r t a m e n t e , o sinal d e u m a n e c e s s i d a d e , m a s ela t a m b é m é sinal d a c o m p l e x i d a d e d a á r e a . O o b j e t i v o d a nossa a p r e s e n t a ç ã o é p r o p o r u m q u a d r o c o n c e i t u a i q u e p e r m i t a u m a visão m a i s clara. A s d e f i n i ç õ e s d a a v a l i a ç ã o são n u m e r o s a s e p o d e r í a m o s a t é c h e g a r a dizer q u e c a d a a v a l i a d o r constrói a sua. Patton ( 1 9 8 1 ) p r o p õ e o g r u p a m e n t o das d e f i n i ç õ e s d a a v a l i a ç ã o e m seis g r a n d e s famílias e m razão d a sua natureza. Patton ( 1 9 8 2 ) nota e m s e g u i d a q u e , e m c a d a f a m í l i a , o c o n t e ú d o d a s d e f i n i ç õ e s é v a r i á v e l e e l e agrupa os d i f e r e n t e s c o n t e ú d o s e m seis categorias. O autor constata q u e esta t a b e l a q u e d e f i n e 3 6 t i p o s d e d e f i n i ç õ e s d a a v a l i a ç ã o só p e r m i t e classificar u m p o u c o mais d e 5 0 % d o s trabalhos d e avaliação publicados. G u b a & Lincoln (1990) identificam quatro estágios na história d a avaliação. A passagem d e u m estágio para outro se faz c o m o desenvolvimento dos conceitos e a a c u m u lação d o s c o n h e c i m e n t o s . O primeiro estágio é baseado na m e d i d a (dos resultados escolares, d a inteligência, d a produtividade dos trabalhadores). O avaliador é essencialmente u m t é c n i c o q u e t e m q u e saber construir e saber usar os instrumentos q u e p e r m i t e m medir os f e n ô m e n o s estudados. O segundo estágio se fortalece nos anos 2 0 e 30. Ele trata d e identificar e descrever c o m o os programas p e r m i t e m atingir seus resultados. O terceiro estágio é f u n d a m e n t a d o n o julgamento. A avaliação d e v e permitir o julgamento d e u m a intervenção. O quarto estágio está emergindo. A avaliação é então feita c o m o u m processo d e n e g o c i a ç ã o entre os atores envolvidos na intervenção a ser avaliada. C h e n ( 1 9 9 0 ) p r o p õ e distinguir as a v a l i a ç õ e s q u e são b a s e a d a s nos m é t o d o s das q u e s ã o o r i e n t a d a s p o r u m a discussão teórica s o b r e as relações e n t r e a i n t e r v e n ç ã o , o c o n t e x t o n o q u a l ela é inserida e os resultados o b t i d o s .

Esta b r e v e revisão d o e s t a d o d o s c o n h e c i m e n t o s mostra a v a i d a d e q u e seria propor u m a definição universal e absoluta d a avaliação. N o entanto, para tentar visualizar m e l h o r e para fixar o q u a d r o n o q u a l esta a p r e s e n t a ç ã o se insere, p o d e m o s a d o t a r a d e f i n i ç ã o seguinte, q u e h o j e é o b j e t o d e u m a m p l o c o n s e n s o . Avaliar consiste f u n d a m e n t a l m e n t e e m fazer u m j u l g a m e n t o d e v a l o r a respeito d e u m a i n t e r v e n ç ã o o u sobre q u a l q u e r u m d e seus c o m p o n e n t e s , c o m o objetivo d e ajudar na t o m a d a d e d e c i s õ e s . Este j u l g a m e n t o p o d e ser resultado d a a p l i c a ç ã o d e critérios e d e n o r m a s ( a v a l i a ç ã o n o r m a t i v a ) o u se e l a b o r a r a partir d e u m p r o c e d i m e n to científico (pesquisa avaliativa). U m a i n t e r v e n ç ã o , q u a l q u e r q u e seja, p o d e sofrer os dois tipos d e a v a l i a ç ã o . P o d e m o s , por u m l a d o , buscar estudar c a d a u m d o s c o m p o n e n t e s d a i n t e r v e n ç ã o e m r e l a ç ã o a n o r m a s e critérios. Trata-se, e n t ã o , d e u m a a v a l i a ç ã o n o r m a t i v a . P o r o u t r o , p o d e m o s q u e r e r e x a m i n a r , p o r u m p r o c e d i m e n t o c i e n t í f i c o , as r e l a ç õ e s q u e e x i s t e m e n t r e os diferentes c o m p o n e n t e s d e u m a i n t e r v e n ç ã o . Trata-se, e n t ã o , d e pesquisa avaliativa. Estas d e f i n i ç õ e s p e r m i t e m a c o n s t a t a ç ã o d e q u e a á r e a d a a v a l i a ç ã o e a á r e a d a pesquisa c o i n c i d e m s o m e n t e p a r c i a l m e n t e (Shortell & R i c h a r d s o n , 1 9 7 8 ) . A a v a l i a ç ã o administrativa n ã o faz parte d a á r e a d a pesquisa, d a m e s m a f o r m a q u e existe u m c a m p o d e pesquisa q u e n ã o faz parte d a a v a l i a ç ã o (as pesquisas disciplinares q u e visam fazer progredir os c o n h e c i m e n t o s ) ( F i g u r a 1).

FIGURA 1 Pesquisa e a v a l i a ç ã o

A pesquisa

Pesquisa não avaliativa

A avaliação

Avaliação Normativa

Gris, Universidade de Montreal, 1992.

Para a v a n ç a r , d e v e m o s precisar o q u e e n t e n d e m o s por i n t e r v e n ç ã o . U m a interv e n ç ã o é constituída p e l o c o n j u n t o d o s m e i o s (físicos, h u m a n o s , f i n a n c e i r o s , s i m b ó l i cos) organizados e m u m c o n t e x t o e s p e c í f i c o , e m u m d a d o m o m e n t o , para p r o d u z i r b e n s o u serviços c o m o o b j e t i v o d e m o d i f i c a r u m a s i t u a ç ã o p r o b l e m á t i c a .

U m a intervenção é caracterizada, portanto, por cinco c o m p o n e n t e s : objetiv o s ; recursos; serviços, bens o u atividades; efeitos e contexto preciso e m u m d a d o m o m e n t o (Figura 2).

FIGURA 2 O s componentes de uma Intervenção

Situação Problemática

Objetivos

Efeitos Serviços

t

1

Recursos Contexto Ela p o d e ser u m a t é c n i c a , por e x e m p l o , u m kit p e d a g ó g i c o para m e l h o r a r os c o n h e c i m e n t o s s o b r e a a l i m e n t a ç ã o , u m teste p a r a d e t e c t a r m á s f o r m a ç õ e s fetais, u m r e m é d i o , u m p r o g r a m a d e gerência e m r e a n i m a ç ã o ; u m tratamento ( u m ato o u u m c o n j u n t o d e atos); u m a prática (por e x e m p l o , u m p r o t o c o l o d e t r a t a m e n t o d o c â n c e r d o p u l m ã o por quimioterapia); u m a organização (um centro d e desintoxicação, uma u n i d a d e d e t r a t a m e n t o ) ; u m p r o g r a m a (desinstitucionalização d o s p a c i e n t e s psiquiátricos, p r e v e n ç ã o d a s d o e n ç a s transmitidas s e x u a l m e n t e ) ; u m a política ( p r o m o ç ã o d a s a ú d e , p r i v a t i z a ç ã o d o f i n a n c i a m e n t o d o s serviços e t c ) . É n e c e s s á r i o c o m p r e e n d e r q u e n ã o p o d e m o s falar d e u m a i n t e r v e n ç ã o s e m levar e m c o n t a os d i f e r e n t e s atores q u e ela e n v o l v e (Figura 3). S ã o eles q u e d ã o sua f o r m a particular e m u m d a d o m o m e n t o e m u m d a d o c o n t e x t o . D e fato, c a d a u m d o s atores p o d e ter seus p r ó p r i o s o b j e t i v o s e m r e l a ç ã o à i n t e r v e n ç ã o e sua a v a l i a ç ã o .

FIGURA 3 O s atores e n v o l v i d o s p e l a I n t e r v e n ç ã o

Os Avaliadores

Situação Problemática

(^XPopu I ação^) Objetivos

Efeitos

(^Os"lUsuários

Os Administradores Serviços

t Os Profissionais

T

Recursos

C ^ P o d e r PúbHaT> Contexto

\Financiadores/

É p r e c i s o e n t e n d e r q u e os o b j e t i v o s d e u m a a v a l i a ç ã o são n u m e r o s o s , q u e eles p o d e m ser oficiais o u oficiosos, explícitos o u implícitos, consensuais o u conflitantes, a c e i t o s p o r t o d o s o s atores o u s o m e n t e por alguns. O s o b j e t i v o s oficiais d e u m a a v a l i a ç ã o s ã o d e q u a t r o tipos: • a j u d a r n o p l a n e j a m e n t o e na e l a b o r a ç ã o d e u m a i n t e r v e n ç ã o (objetivo estratégico); • f o r n e c e r i n f o r m a ç ã o p a r a m e l h o r a r u m a i n t e r v e n ç ã o n o s e u d e c o r r e r (objetivo formativo); • d e t e r m i n a r os efeitos d e u m a i n t e r v e n ç ã o para d e c i d i r se ela d e v e ser m a n t i d a , t r a n s f o r m a d a d e f o r m a i m p o r t a n t e o u i n t e r r o m p i d a (objetivo s o m a t i v o ) ; • c o n t r i b u i r p a r a o progresso d o s c o n h e c i m e n t o s , para a e l a b o r a ç ã o teórica (objetivo fundamental). O s o b j e t i v o s oficiosos d o s diferentes atores, muitas v e z e s implícitos, são t a m b é m m u i t o i m p o r t a n t e s d e se considerar. O s administradores q u e p e d e m uma avaliação p o d e m querer: • atrasar u m a d e c i s ã o ; • legitimar u m a d e c i s ã o já t o m a d a ; • a m p l i a r s e u p o d e r e o c o n t r o l e q u e eles e x e r c e m s o b r e a i n t e r v e n ç ã o ; • satisfazer as e x i g ê n c i a s d o s o r g a n i s m o s d e f i n a n c i a m e n t o . O s a v a l i a d o r e s p o d e m buscar: • a m p l i a r os c o n h e c i m e n t o s ; • a m p l i a r s e u prestígio e p o d e r ; • obter uma p r o m o ç ã o ; • p r o m o v e r u m a i d é i a q u e lhes é c a r a . O s usuários p o d e m b u s c a r : • b e n e f í c i o s c o m serviços diferentes d o s d i s p o n í v e i s h a b i t u a l m e n t e ; • reduzir sua d e p e n d ê n c i a p e r a n t e profissionais. O pessoal d e u m a o r g a n i z a ç ã o p o d e b u s c a r : • a t r o p e l a r as regras h i e r á r q u i c a s ; • obter u m adiantamento.

A AVALIAÇÃO

NORMATIVA

A a v a l i a ç ã o n o r m a t i v a é a a t i v i d a d e q u e consiste e m fazer u m j u l g a m e n t o sobre u m a i n t e r v e n ç ã o , c o m p a r a n d o os recursos e m p r e g a d o s e sua o r g a n i z a ç ã o (estrutura), o s serviços o u os b e n s p r o d u z i d o s (processo), e os resultados o b t i d o s , c o m critérios e n o r m a s (Figura 4 ) .

FIGURA 4 A avaliação normativa

A p r e c i a ç ã o d o s resultados

A p r e c i a ç ã o d o processo

A p r e c i a ç ã o d a estrutura

C o n t e x t o |" © Gris, Universidade de Montreal, 1992.

O s critérios e as n o r m a s nos q u a i s se a p ó i a m as a v a l i a ç õ e s n o r m a t i v a s c o n s t i t u e m o q u e R i v e l i n e ( 1 9 9 1 ) c h a m a d e " r e s u m o s d o v e r d a d e i r o e r e s u m o s d o b e m " . Eles p o d e m ser d e r i v a d o s d o s resultados d a pesquisa avaliativa o u d e o u t r o s tipos d e p e s quisa, o u f u n d a m e n t a d o s n o j u l g a m e n t o d e pessoas b e m - i n f o r m a d a s o u d e experts

na

área. Todas as a v a l i a ç õ e s n o r m a t i v a s se a p ó i a m n o p o s t u l a d o d e q u e existe u m a relaç ã o forte e n t r e o respeito a o s critérios e às n o r m a s e s c o l h i d a s e os efeitos reais d o p r o g r a m a o u d a i n t e r v e n ç ã o (Rossi & F r e e m a n , 1 9 8 5 ) . A avaliação normativa é u m a atividade c o m u m e m u m a organização o u u m programa. Ela c o r r e s p o n d e às f u n ç õ e s d e c o n t r o l e e d e a c o m p a n h a m e n t o , assim c o m o aos p r o g r a m a s d e garantia d e q u a l i d a d e ( C l e m e n h a g e n & C h a m p a g n e , 1 9 8 6 ) .

Apreciação da Estrutura Trata-se d e saber e m q u e m e d i d a os recursos são e m p r e g a d o s d e m o d o a d e q u a d o para atingir os resultados e s p e r a d o s . C o m p a r a m o s e n t ã o os recursos d a interv e n ç ã o , assim c o m o sua o r g a n i z a ç ã o , c o m critérios e n o r m a s c o r r e s p o n d e n t e s . Esse tipo d e a p r e c i a ç ã o d e v e r i a permitir r e s p o n d e r às perguntas d o t i p o : O pessoal é c o m p e t e n t e ? A o r g a n i z a ç ã o administrativa f a v o r e c e a c o n t i n u i d a d e e a g l o b a l i d a d e ? Estes recursos são suficientes p a r a o f e r e c e r o l e q u e c o m p l e t o d o s serviços prestados? É g e r a l m e n t e neste t i p o d e a p r e c i a ç ã o q u e se a p ó i a m os o r g a n i s m o s d e a c r e d i t a ç ã o .

Apreciação do Processo Trata-se d e saber e m q u e m e d i d a os serviços são a d e q u a d o s para atingir os resultados e s p e r a d o s . Esta a p r e c i a ç ã o se faz c o m p a r a n d o os serviços o f e r e c i d o s p e l o p r o g r a m a o u p e l a i n t e r v e n ç ã o c o m critérios e n o r m a s p r e d e t e r m i n a d a s e m f u n ç ã o d o s resultados v i s a d o s . A a p r e c i a ç ã o d o p r o c e s s o d e u m a i n t e r v e n ç ã o v i s a n d o o f e r e c e r serviços para u m a c l i e n t e l a p o d e ser d e c o m p o s t a e m três d i m e n s õ e s : a d i m e n s ã o t é c n i c a , a d i m e n são d a s r e l a ç õ e s interpessoais e a d i m e n s ã o o r g a n i z a c i o n a l . A d i m e n s ã o técnica dos serviços A p r e c i a a a d e q u a ç ã o d o s serviços às n e c e s s i d a d e s . O s serviços c o r r e s p o n d e m às n e c e s s i d a d e s d o s b e n e f i c i á r i o s ; d o s clientes? A d i m e n s ã o t é c n i c a inclui a a p r e c i a ç ã o d a q u a l i d a d e d o s s e r v i ç o s . Trata-se g e r a l m e n t e d a q u a l i d a d e d e f i n i d a a partir d o s critérios e d a s n o r m a s profissionais. O s p r o g r a m a s d e garantia d a q u a l i d a d e nas organ i z a ç õ e s f a z e m p a r t e d a a p r e c i a ç ã o d o processo. A d i m e n s ã o das relações interpessoais A p r e c i a a i n t e r a ç ã o psicológica e social q u e existe e n t r e os clientes e os p r o d u tores d e c u i d a d o s . N o s interessamos e n t ã o n o a p o i o q u e o pessoal d á aos p a c i e n t e s , n a satisfação destes, n a cortesia d o s p r o d u t o r e s d e c u i d a d o s e n o respeito à pessoa. A dimensão organizacional A d i m e n s ã o o r g a n i z a c i o n a l d o processo diz respeito à acessibilidade aos serviç o s , à e x t e n s ã o d a c o b e r t u r a d o s serviços o f e r e c i d o s pela i n t e r v e n ç ã o c o n s i d e r a d a , assim c o m o à g l o b a l i d a d e e à c o n t i n u i d a d e d o s c u i d a d o s e d o s serviços. Por globalidade e c o n t i n u i d a d e e n t e n d e m o s o c a r á t e r multiprofissional e interorganizacional d o s c u i d a d o s , assim c o m o sua c o n t i n u i d a d e n o t e m p o e n o e s p a ç o .

A Apreciação dos Resultados A a p r e c i a ç ã o d o s resultados consiste e m se perguntar se os resultados o b s e r v a d o s c o r r e s p o n d e m a o s e s p e r a d o s , isto é , a o s o b j e t i v o s q u e a i n t e r v e n ç ã o se p r o p ô s atingir. A a p r e c i a ç ã o d o s resultados é feita c o m p a r a n d o - s e os í n d i c e s d o s resultados o b t i d o s c o m critérios e c o m n o r m a s d e resultados e s p e r a d o s . Esta a p r e c i a ç ã o é , m u i tas v e z e s , insuficiente para se fazer u m j u l g a m e n t o v á l i d o s o b r e os resultados d e u m a i n t e r v e n ç ã o . P a r a avaliá-los d e v e - s e g e r a l m e n t e e m p r e g a r u m a pesquisa avaliativa.

A PESQUISA AVALIATIVA P o d e m o s definir a pesquisa avaliativa c o m o o p r o c e d i m e n t o q u e consiste e m fazer u m j u l g a m e n t o ex-post d e u m a i n t e r v e n ç ã o u s a n d o m é t o d o s científicos. M a i s p r e c i s a m e n t e , trata-se d e analisar a p e r t i n ê n c i a , os f u n d a m e n t o s t e ó r i c o s , a p r o d u t i v i d a d e , os efeitos e o r e n d i m e n t o d e u m a i n t e r v e n ç ã o , assim c o m o as r e l a ç õ e s e x i s t e n tes e n t r e a i n t e r v e n ç ã o , e o c o n t e x t o n o q u a l ela se situa, g e r a l m e n t e c o m o o b j e t i v o d e ajudar na t o m a d a d e d e c i s õ e s . A pesquisa avaliativa, c o m o p o d e m o s v e r na Figura 5, p o d e se d e c o m p o r e m seis tipos d e análise. Fazer pesquisa avaliativa e m u m a i n t e r v e n ç ã o consistirá, p o r t a n to, e m fazer u m a o u várias destas análises. T e r e m o s , e n t ã o , q u e f r e q ü e n t e m e n t e a p e lar para várias estratégias d e pesquisa e c o n s i d e r a r as perspectivas d o s d i f e r e n t e s a t o res e n v o l v i d o s na i n t e r v e n ç ã o .

FIGURA 5 A pesquisa avaliativa

Situação Problemática

Análise estratégica

Objetivos

Efeitos Análise dos

Análise da

efeitos Análise d o

Serviços

Análise da

.

rendimento

intervenção

Recursos

produtividade

Análise da implantação Contexto © Gris, Universidade de Montreal, 1992.

Análise Estratégica Trata-se d e analisar a p e r t i n ê n c i a d a i n t e r v e n ç ã o , isto é , d e analisar a a d e q u a ç ã o estratégica e n t r e a i n t e r v e n ç ã o e a situação p r o b l e m á t i c a q u e d e u o r i g e m à interv e n ç ã o . Para isto, f a z e m o s d u a s perguntas (Figura 6 ) : é p e r t i n e n t e intervir para este

p r o b l e m a c o n s i d e r a n d o t o d o s os p r o b l e m a s existentes? É p e r t i n e n t e , c o n s i d e r a n d o a estratégia d e i n t e r v e n ç ã o a d o t a d a , intervir c o m o está s e n d o feito? O u seja, o fator d e risco n o q u a l q u e r agir a i n t e r v e n ç ã o é o m a i s i m p o r t a n t e , a p o p u l a ç ã o - a l v o é a d e m a i o r risco? O s recursos e m p r e g a d o s são os m a i s a d a p t a d o s ?

FIGURA 6 A n á l i s e Estratégica: j u l g a m e n t o s o b r e a p e r t i n ê n c i a d e u m a I n t e r v e n ç ã o

Problemas de saúde

1 i

r

Problema escolhido

(doenças

cardiovasculares; AlDS...)

Objetivo específico da

2

Intervenção: modificação d e u m f a t o r d e risco e m u m a

+.

p o p u l a ç ã o específica através d e u m c o n j u n t o preciso d e recursos

Fazer estas análises i m p l i c a q u e nos p r e o c u p e m o s c o m a f o r m a c o m o a situaç ã o p r o b l e m á t i c a foi i d e n t i f i c a d a , isto é , c o m m é t o d o s usados para a p r e c i a r as n e c e s s i d a d e s , c o m o grau d e p r i o r i d a d e d o p r o b l e m a d e s a ú d e e s c o l h i d o e m relação a o c o n j u n t o d o s p r o b l e m a s identificados, assim c o m o c o m a p e r t i n ê n c i a d a i n t e r v e n ç ã o e s c o l h i d a e m r e l a ç ã o a t o d a s as i n t e r v e n ç õ e s possíveis. A a n á l i s e estratégica d e u m a i n t e r v e n ç ã o p o d e ser feita a partir d e análises d e m e r c a d o , análises d e n e c e s s i d a d e s , d e m é t o d o s d e d e t e r m i n a ç ã o d e prioridades e t c . (Dever & C h a m p a g n e , 1984).

Análise da Intervenção A a n á l i s e d a i n t e r v e n ç ã o consiste e m estudar a r e l a ç ã o q u e existe e n t r e os o b jetivos d a i n t e r v e n ç ã o e os m e i o s e m p r e g a d o s . Trata-se d e interrogar s o b r e a c a p a c i d a d e d o s recursos q u e f o r a m m o b i l i z a d o s e d o s serviços q u e f o r a m p r o d u z i d o s para atingir os o b j e t i v o s d e f i n i d o s (Figura 7).

FIGURA 7 Análise da Intervenção

Efeitos s o b r e o o b j e t i v o d e saúde visado (redução das

Hipótese causal

doenças cardiovasculares; AIDS)

Efeito d i r e t o d a Intervenção (% d e r e d u ç ã o d a taxa d e colesterol o u d a infecção pelo HIV)

Hipótese sobre o mecanismo de ação da intervenção

Objetivos específicos da Intervenção (redução d a taxa d e c o l e s t e r o l o u da infecção pelo H I V )

Objetivo intermediário (inibição d o HMG-Coa; utilização d e condons)

Atividades Processo

Recursos Estrutura

( u m medicamento; u m programa d e e d u c a ç ã o sanitária)

Para analisar esta r e l a ç ã o , p o d e m o s nos perguntar, p o r u m l a d o , se a teoria na q u a l a i n t e r v e n ç ã o foi c o n s t r u í d a é a d e q u a d a e , p o r o u t r o , se os recursos e as atividad e s s ã o suficientes e m q u a n t i d a d e , e m q u a l i d a d e e na m a n e i r a c o m o estão organizad a s . N o s p e r g u n t a m o s , a s s i m , se o algoritmo d a i n t e r v e n ç ã o é v á l i d o e a p r o p r i a d o e se os m e i o s e m p r e g a d o s para atingir os objetivos são a d e q u a d o s e suficientes. D a m e s m a f o r m a q u e n o s i n t e r r o g a m o s s o b r e a c o n f i a b i l i d a d e e a v a l i d a d e d o s instrumentos d e m e d i d a e m u m a p e s q u i s a , p o d e m o s nos interrogar sobre a c o n f i a b i l i d a d e e a v a l i d a d e d a i n t e r v e n ç ã o e m u m a pesquisa avaliativa. O s m é t o d o s a p r o p r i a d o s para a análise d a i n t e r v e n ç ã o são os q u e p e r m i t e m a p r e c i a r a q u a l i d a d e d e u m m o d e l o t e ó r i c o , isto é , sua v e r a c i d a d e e sua g e n e r a l i d a d e ( C h e n , 1 9 9 0 ) . Elas s ã o e x t r a p o l a ç õ e s d o s m é t o d o s d e s e n v o l v i d o s para a p r e c i a r a q u a lidade d e u m instrumento d e medida (Mark, 1990).

Análise da Produtividade A a n á l i s e d a p r o d u t i v i d a d e consiste e m estudar o m o d o c o m o os recursos são u s a d o s p a r a p r o d u z i r serviços. A í se c o l o c a m dois tipos d e q u e s t õ e s : p o d e r í a m o s p r o d u z i r m a i s serviços c o m os m e s m o s recursos? P o d e r í a m o s produzir a m e s m a q u a n t i d a d e d e serviços c o m m e n o s recursos? A p r o d u t i v i d a d e p o d e ser m e d i d a e m u n i d a d e s físicas o u e m u n i d a d e s m o n e t á rias. N o p r i m e i r o c a s o , f a l a r e m o s d e p r o d u t i v i d a d e física, n o s e g u n d o , d e p r o d u t i v i d a de econômica. Para analisar a p r o d u t i v i d a d e d e u m a i n t e r v e n ç ã o , deve-se p o d e r definir e m e d i r sua p r o d u ç ã o . N a á r e a d a s a ú d e , trata-se muitas v e z e s d e u m e m p r e e n d i m e n t o difícil e para a l c a n ç á - l o é i m p o r t a n t e d e c o m p o r o c o n c e i t o d e p r o d u ç ã o . P o d e m o s c o n c e b e r (Figura 8) q u e t o d a i n t e r v e n ç ã o na á r e a d a s a ú d e p r o d u z d i f e r e n t e s tipos d e resultados. O s recursos d a i n t e r v e n ç ã o s e r v e m , e m p r i m e i r o lugar, para p r o d u z i r serviços d e s u p o r t e . Trata-se e s s e n c i a l m e n t e d e p r o d u t o s intermediários q u e , c o m b i n a d o s c o m c o n t r i b u i ç õ e s profissionais, s e r v e m para produzir serviços c l í n i c o s q u e p o d e m o s c h a m a r d e resultados primários. Estes serviços c l í n i c o s , q u a n d o são c o m b i n a d o s para r e s p o n d e r a o s p r o b l e m a s d e s a ú d e d e u m p a c i e n t e , p r o d u z e m e p i s ó d i o s d e t r a t a m e n t o q u e são os resultados finais d a i n t e r v e n ç ã o . Estes e p i s ó d i o s d e t r a t a m e n t o , c u j o o b j e t i v o é m o d i f i c a r u m p r o b l e m a d e s a ú d e , p o d e m eles m e s m o s se c o m b i n a r c o m outros fatores para m e l h o rar o e s t a d o d e s a ú d e d o s p a c i e n t e s e m q u e s t ã o .

FIGURA 8 Produtos d e u m a Intervenção d e saúde

INTERVENÇÃO Inputs Gerais

Outputs

Inputs

Recursos

Gerais

Gerais

Profissionais

1' F

Outputs

Inputs

Primários

Secundários

(Serviços clínicos)

+

Julgamentos profissionais Outros determinantes da S a ú d e

Processos de transformação do problema de saúde

Problema da

Outputs

Saúde de um

Secundários

paciente

(Tratamentos)

• F

3

Outcome ou

Output

Final efeitos-saúde, isto é, transformação d o problema d e saúde)

Contandriopoulos, A. R, Gris, 1990. A análise d a p r o d u t i v i d a d e p o d e , p o r t a n t o , ser feita e m vários n í v e i s : • P o d e m o s falar d a c a p a c i d a d e d o s recursos para p r o d u z i r serviços d e s u p o r t e ( p r o d u t i v i d a d e d o pessoal d e m a n u t e n ç ã o d e p r o d u z i r serviços d e r e p a r a ç ã o , serviços a l i m e n t a r e s d e p r o d u z i r refeições). • P o d e m o s falar d a p r o d u t i v i d a d e d o s recursos profissionais e m serviços clínicos (recursos d e laboratório e d e radiologia para produzir e x a m e s laboratoriais e radiológicos).

O s d i f e r e n t e s serviços clínicos p o d e m ser c o m b i n a d o s para p r o d u z i r t r a t a m e n tos para o s p a c i e n t e s e s p e c í f i c o s . F a l a r e m o s e n t ã o d a p r o d u t i v i d a d e d o s recursos para produzir tratamentos. P o d e r í a m o s a i n d a a m p l i a r a análise e falar d a p r o d u t i v i d a d e d o s recursos para p r o d u z i r efeitos d e s a ú d e . D e i x a r í a m o s , e n t ã o , a á r e a d a análise d a p r o d u t i v i d a d e d e u m a i n t e r v e n ç ã o p a r a e n t r a r na análise d o s seus efeitos. M é t o d o s a p r o p r i a d o s para a análise d a p r o d u t i v i d a d e são d e r i v a d o s d o s m é t o d o s e c o n ô m i c o s e d o s m é t o d o s d a c o n t a b i l i d a d e analítica.

Análise dos Efeitos A a n á l i s e d o s efeitos é a q u e l a q u e se baseia e m avaliar a influência d o s serviços s o b r e os estados d e s a ú d e . Ela consistirá e m d e t e r m i n a r a eficácia d o s serviços para m o d i f i c a r os estados d e s a ú d e . A m e d i d a d o s efeitos, q u e s e j a m d e s e j a d o s , o u n ã o , d e p e n d e d o t i p o d e pesquisa a d o t a d a (Figura 9 ) . O c o n c e i t o d e eficácia n ã o t e m u m s e n t i d o a b s o l u t o , e l e d e v e ser q u a l i f i c a d o e m v i r t u d e d o c o n t e x t o n o q u a l a pesquisa é feita, d o p r o c e d i m e n t o e s c o l h i d o , d a natureza d a i n t e r v e n ç ã o a v a l i a d a e d a f i n a l i d a d e d o exercício d e avaliação. P o d e m o s falar d e eficácia

teórica q u a n d o nos situamos n o c o n t e x t o d a pesquisa

d e l a b o r a t ó r i o n o q u a l o a m b i e n t e é i n t e i r a m e n t e c o n t r o l a d o e n o q u a l n ã o há v a r i a bilidade interindividual. A eficácia

dos ensaios

é a q u e é m e d i d a nos ensaios clínicos r a n d o m i z a d o s . A

i n t e r v e n ç ã o é a p l i c a d a d e u m a f o r m a total e o t i m i z a d a para c a d a u m d o s i n d i v í d u o s a e l a s u b m e t i d o s . A e f i c á c i a d o s ensaios c o n s i d e r a as v a r i a ç õ e s inter-individuais, m a s n ã o as v a r i a ç õ e s n o c o m p o r t a m e n t o d o s usuários e d o s profissionais. A eficácia

de utilização

é a q u e l a q u e e s t i m a m o s a o analisar os resultados d e

u m a i n t e r v e n ç ã o , e m u m c o n t e x t o n a t u r a l , s o b r e os i n d i v í d u o s q u e d e l a se b e n e f i c i a r a m . N e s t a s i t u a ç ã o , as v a r i á v e i s relativas a o s usuários e a o s prestadores d e serviço são observadas. P o d e m o s a i n d a e s t e n d e r o c o n c e i t o d e eficácia e falar d e eficácia

populacional

c o n s i d e r a n d o os efeitos d e u m a i n t e r v e n ç ã o n ã o s o m e n t e para a q u e l e s q u e b e n e f i c i aram-se d e l a , m a s t a m b é m para t o d a a p o p u l a ç ã o a q u e m a i n t e r v e n ç ã o e r a destinad a . C o n s i d e r a m o s e n t ã o o grau d e c o b e r t u r a d a i n t e r v e n ç ã o , sua a c e i t a b i l i d a d e e sua acessibilidade na população-alvo. N a a n á l i s e d o s efeitos, é i m p o r t a n t e c o n s i d e r a r n ã o s o m e n t e a q u e l e s q u e são d e s e j á v e i s , m a s t a m b é m os efeitos n ã o d e s e j a d o s . E m outros t e r m o s , é i m p o r t a n t e c o n s i d e r a r os efeitos e x t e r n o s para a p o p u l a ç ã o - a l v o e t a m b é m e v e n t u a l m e n t e para as outras p o p u l a ç õ e s n ã o visadas d i r e t a m e n t e pela i n t e r v e n ç ã o . N a a n á l i s e d o s efeitos, t a m b é m é m u i t o i m p o r t a n t e analisar, q u a n d o for possív e l , n ã o s o m e n t e os efeitos a c u r t o p r a z o , m a s t a m b é m os efeitos a longo prazo.

FIGURA 9 M e d i d a d o s efeitos d e u m a I n t e r v e n ç ã o Contexto da Pesquisa

Estratégia e Desenho de Pesquisa

Natureza da Intervenção Avaliada

Eficácia Medida (direta/indireta, prevista/imprevista, desejada/indesejada

Finalidade da Pesquisa e Tipo de Usuário

Laboratório

Experimento (especificação das hipóteses rivais consideradas)

Intervenção pura, isolada de seu contexto (princípio ativo de um remédio)

Eficácia teórica

Aquisição de novos conhecimentos (outros pesquisadores)

Ensaios clínicos

Ensaios aleatórios (hipóteses rivais não especificadas)

Intervenção perfeitamente controlada (padronização dos comportamentos dos atores)

Eficácia experimental

Efeito puro de uma intervenção sobre o homem (outros pesquisadores, clínicos)

Prática normal

Procedimentos quase-experimentais; experimentação invocada (hipóteses rivais especificadas)

Intervenção atuando em um contexto normal (comportamentos variados dos atores)

Eficácia de utilização

Ajuda para a decisão e avaliação da intervenção (gerentes, clínicos)

Comunidade, população

Experimentação invocada; Pesquisa sintética (ampliação das hipóteses rivais)

Intervenção e contexto (intervenção + comportamento dos atores + acessibilidade)

Eficácia populacional

Ajuda para decisão e planejamento (gerentes, planejadores, políticos)

© Gris, Universidade de Montreal, 1992.

O s m é t o d o s p á r a analisar a eficácia d e u m a i n t e r v e n ç ã o são m u i t o s . Eles p o d e m ser q u a n t i t a t i v o s e q u a l i t a t i v o s , d e n a t u r e z a e x p e r i m e n t a l o u

sintética

(Contandriopoulos et al., 1990).

A Análise do Rendimento A análise d o r e n d i m e n t o ( o u d a e f i c i ê n c i a ) é a q u e l a q u e consiste e m r e l a c i o n a r a análise d o s recursos e m p r e g a d o s c o m os efeitos o b t i d o s . Trata-se d e u m a c o m b i n a ç ã o d a análise d a p r o d u t i v i d a d e e c o n ô m i c a e d a análise d o s efeitos. A a v a l i a ç ã o d o r e n d i m e n t o d e u m a i n t e r v e n ç ã o se faz g e r a l m e n t e c o m a j u d a d e análises c u s t o / b e n e fício, custo/eficácia o u custo/utilidade. N a s análises custo/benefício, e x p r e s s a m o s e m t e r m o s m o n e t á r i o s t o d o s o s c u s tos d a i n t e r v e n ç ã o e t o d a s as v a n t a g e n s q u e ela traz.

N a s análises custo/eficácia e custo/utilidade, os custos são expressos e m t e r m o s m o n e t á r i o s , m a s as v a n t a g e n s são expressas o u por í n d i c e s reais d e resultados (anos d e v i d a g a n h o s , í n d i c e d e satisfação, r e d u ç ã o d a d o r etc.) o u pela utilidade q u e traz a i n t e r v e n ç ã o para a q u e l e s a o s q u a i s ela se destina ( Q A L Y - Q u a l i t y A d j u s t e d Life Years). A s análises d e custo/benefício são as mais gerais. Elas i m p l i c a m saber d e t e r m i nar o v a l o r d a s v a n t a g e n s e d o s custos d e u m a i n t e r v e n ç ã o para otimizar a atribuição d e recursos. Este t i p o d e análise é m u i t o difícil d e se c o n d u z i r na área d a s a ú d e , p a r t i c u l a r m e n t e p o r c a u s a d a d i f i c u l d a d e q u e se t e m d e d a r u m valor m o n e t á r i o para variações nos estados d e saúde. A s análises custo/eficácia o u custo/utilidade são as mais f r e q ü e n t e s . C o n s i s t e m e m c o m p a r a r os custos d e diversas i n t e r v e n ç õ e s c o m sua eficácia nos usuários o u , a i n d a , c o m a u t i l i d a d e q u e os usuários retiram d a i n t e r v e n ç ã o . O c o n c e i t o d e utilidade u s a d o nas análises custo/utilidade p e r m i t e i n c o r p o r a r os diferentes efeitos possíveis d e u m a i n t e r v e n ç ã o e m u m só i n d i c a d o r . Ele p e r m i t e , portanto, c o m p a r a r e n t r e elas as d i f e r e n t e s i n t e r v e n ç õ e s q u e n ã o t ê m os m e s m o s objetivos. Esta c o m p a r a ç ã o é , na m a i o r i a d a s v e z e s , impossível a partir d o s resultados d e análise custo/eficácia. T o d a v i a , a d e t e r m i n a ç ã o d a u t i l i d a d e associada a diferentes tipos d e efeitos traz sérios p r o b l e mas metodológicos e conceituais. A s d i f i c u l d a d e s m e t o d o l ó g i c a s desta análise estão na m e d i d a das vantagens e na d e f i n i ç ã o d e critérios q u e p e r m i t e m c o m p a r a r o r e n d i m e n t o d e várias o p ç õ e s .

Análise da Implantação O último t i p o d e análise q u e p o d e m o s fazer n o q u a d r o d e u m a pesquisa avaliativa consiste, p o r u m l a d o , e m m e d i r a influência q u e p o d e ter a v a r i a ç ã o n o grau d e i m p l a n t a ç ã o d e u m a i n t e r v e n ç ã o nos seus efeitos e, por o u t r o , e m a p r e c i a r a i n f l u ê n c i a d o a m b i e n t e , d o c o n t e x t o , n o q u a l a i n t e r v e n ç ã o está i m p l a n t a d a nos efeitos d a i n t e r v e n ç ã o . Este t i p o d e análise é p e r t i n e n t e q u a n d o o b s e r v a m o s u m a g r a n d e v a r i a b i l i d a d e n o s resultados o b t i d o s p o r i n t e r v e n ç õ e s s e m e l h a n t e s i m p l a n t a d a s e m contextos d i f e r e n t e s . D e v e m o s , e n t ã o , nos perguntar se esta v a r i a b i l i d a d e p o d e ser e x p l i c a d a p o r d i f e r e n ç a s existentes nos c o n t e x t o s . A análise d a i m p l a n t a ç ã o é p a r t i c u l a r m e n t e i m p o r t a n t e q u a n d o a i n t e r v e n ç ã o analisada é c o m p l e x a e c o m p o s t a d e e l e m e n t o s s e q ü e n c i a i s s o b r e o s q u a i s o c o n t e x t o p o d e interagir d e diferentes m o d o s . O p r i m e i r o t i p o d e análise d a i m p l a n t a ç ã o consiste e m m e d i r a influência d a v a r i a ç ã o n o grau d e i m p l a n t a ç ã o d a i n t e r v e n ç ã o e m diferentes c o n t e x t o s . A t é m e s m o u m a a u s ê n c i a d e efeito p o d e ser c o n s e q ü ê n c i a d o fato d e q u e a i n t e r v e n ç ã o a v a l i a d a n ã o foi r e a l m e n t e i m p l a n t a d a .

O s e g u n d o t i p o d e análise d a i m p l a n t a ç ã o consiste e m se perguntar s o b r e os efeitos d a i n t e r d e p e n d ê n c i a q u e p o d e h a v e r e n t r e o c o n t e x t o n o q u a l a i n t e r v e n ç ã o está i m p l a n t a d a e a i n t e r v e n ç ã o e m si. N o s interrogamos, neste t i p o d e análise, s o b r e o sinergismo q u e p o d e existir entre u m c o n t e x t o e u m a i n t e r v e n ç ã o o u , p e l o c o n t r á r i o , s o b r e os a n t a g o n i s m o s e x i s tentes e n t r e o c o n t e x t o e a i n t e r v e n ç ã o , isto é , s o b r e os efeitos i n i b i d o r e s d o c o n t e x t o e sobre os efeitos d a i n t e r v e n ç ã o . O s m é t o d o s a p r o p r i a d o s para analisar a i m p l a n t a ç ã o d e u m p r o g r a m a s ã o , s o b r e t u d o , os estudos d e casos ( Y i n , 1 9 8 9 ) . CONCLUSÃO S e n d o o o b j e t i v o final d a a v a l i a ç ã o o d e ajudar n a t o m a d a d e d e c i s õ e s , é p r e c i so se interrogar s o b r e a influência q u e as i n f o r m a ç õ e s f o r n e c i d a s p e l o a v a l i a d o r p o d e m ter nas d e c i s õ e s . A a v a l i a ç ã o n o r m a t i v a t e m c o m o f i n a l i d a d e principal a j u d a r os gerentes a p r e e n c h e r suas f u n ç õ e s habituais. Ela é n o r m a l m e n t e feita p o r a q u e l e s q u e são r e s p o n s á veis pelo f u n c i o n a m e n t o e pela gestão d a i n t e r v e n ç ã o , faz parte d a a t i v i d a d e natural d e u m g e r e n t e e d e v e r i a , p o r t a n t o , ter u m a forte v a l i d a d e p r a g m á t i c a ( D u n n , 1 9 8 9 ) . N o e n t a n t o , a pesquisa avaliativa, q u e exige u m a perícia m e t o d o l ó g i c a e t e ó r i ca i m p o r t a n t e , g e r a l m e n t e n ã o p o d e ser feita por a q u e l e s q u e são responsáveis p e l a i n t e r v e n ç ã o e m si. Ela é mais f r e q ü e n t e m e n t e c o n f i a d a a p e s q u i s a d o r e s q u e são e x t e riores à i n t e r v e n ç ã o . N e s t e c a s o , a q u e s t ã o d e saber se seus t r a b a l h o s s e r ã o úteis para as decisões é i m p o r t a n t e . O q u a d r o d e referência p r o p o s t o e v i d e n c i a q u e a a v a l i a ç ã o d e u m a i n t e r v e n ç ã o é constituída pelos resultados d e várias análises o b t i d a s p o r m é t o d o s e a b o r d a g e n s diferentes. Estes resultados n ã o p o d e r ã o ser f a c i l m e n t e r e s u m i d o s e m u m p e q u e n o n ú m e r o d e r e c o m e n d a ç õ e s . E a t é p r o v á v e l q u e q u a n t o mais u m a a v a l i a ç ã o seja b e m ¬ s u c e d i d a , mais ela a b r a c a m i n h o s para n o v a s perguntas. Ela s e m e i a d ú v i d a s s e m ter c o n d i ç õ e s d e d a r t o d a s as respostas e n ã o p o d e n u n c a t e r m i n a r r e a l m e n t e , d e v e ser vista c o m o u m a a t i v i d a d e d i n â m i c a n o t e m p o , a p e l a n d o para atores n u m e r o s o s , utiliz a n d o m é t o d o s diversos e e n v o l v e n d o c o m p e t ê n c i a s v a r i a d a s . A a v a l i a ç ã o é u m a a t i v i d a d e , c o m o a pesquisa, útil para o e s t a b e l e c i m e n t o d e políticas, m a s n u n c a é suficiente para e s t a b e l e c e r políticas (Figura 1 0 ) .

F I G U R A 10 Pesquisa - A v a l i a ç ã o - Políticas

A pesquisa

A avaliação

Os políticos

© Gris, Universidade de Montreal, 1992. Para a u m e n t a r as c h a n c e s d e q u e os resultados d e u m a a v a l i a ç ã o s e j a m úteis, é i m p o r t a n t e se c o n s c i e n t i z a r d e q u e a a v a l i a ç ã o é u m dispositivo d e p r o d u ç ã o d e inform a ç ã o e , c o n s e q ü e n t e m e n t e , d e q u e ela é f o n t e d e p o d e r para os atores q u e a c o n t r o l a m . D e v e - s e p o r t a n t o assegurar, inspirando-se n o d e b a t e e n t r e Patton ( 1 9 8 6 ) e W e i s s (1988a, b), q u e : • t o d o s o s q u e d e c i d e m e s t e j a m i m p l i c a d o s na d e f i n i ç ã o d o s p r o b l e m a s q u e d e v e m ser resolvidos e nas estratégias d e pesquisa a empregar-se. S e por e x e m p l o , para m e d i r o s efeitos d e u m a i n t e r v e n ç ã o d e c i d i r m o s fazer u m teste aleatório, c o n h e c e r e m o s a e f i c á c i a e m u m a s i t u a ç ã o p e r f e i t a m e n t e c o n t r o l a d a , m a s este resultado será d e p o u c o interesse para q u e m d e c i d i u q u e q u e r c o n h e c e r a e f i c á c i a d e sua interv e n ç ã o e m u m contexto b e m específico; • s e j a m p e r i o d i c a m e n t e i n f o r m a d o s a q u e l e s q u e d e c i d e m os resultados o b t i d o s pela a v a l i a ç ã o . N o final é m u i t a s v e z e s t a r d e d e m a i s para agir; • o a v a l i a d o r f a ç a o p a p e l d e u m a g e n t e facilitador e d e p e d a g o g o na utilização d o s resultados; • a i n f o r m a ç ã o e x t r a í d a d e u m a a v a l i a ç ã o seja c o n s i d e r a d a c o m o u m a f e r r a m e n t a d e n e g o c i a ç ã o e n t r e interesses múltiplos e n ã o c o m o u m a v e r d a d e absoluta; • e s t e j a m o s c o n s c i e n t e s d o fato d e q u e o s q u e d e c i d e m n ã o p o d e m definir e x a t a m e n t e suas n e c e s s i d a d e s d e i n f o r m a ç ã o e , c o n s e q ü e n t e m e n t e , q u e a a v a l i a ç ã o p o d e r á d a r respostas parciais a o s p r o b l e m a s q u e eles e n f r e n t a m ; • a a v a l i a ç ã o seja feita c o m o m a i o r rigor possível.

REFERÊNCIAS BIBLIOGRÁFICAS C H E N , T. H. Theory-Driven Evaluations. Beverly Hills: Sage, 1990. C L E M E N H A C E N , C. & C H A M P A G N E , F. Quality assurance as part of Program Evaluation: Guidelines for managers and clinical department heads. Quality Review Bulletin, 1986. C O N T A N D R I O P O U L O S , A. P. et al. Savoir Préparer

une Recherche.

Montréal: Presses de

l'Université de Montréal, 1990. D E N I S , J . L. & C H A M P A G N E , F. Analyse de l'implantation. Montréal, Cahiers du G R I S , N90-05, 1990. DEVER, G . & C H A M P A G N E , F. Epidemiology in Health Services Management.

Rockville: Aspen,

1984. D U N N , W . N. Two faces of validity in the policy sciences. Knowledge in Society, 2(1), 1989. GEPHART, W . J . Watercolor painting. In: S M I T H , N. L. (Ed.) Mataphors for Evaluation.

Beverly

Hills: Sage, 1 9 8 1 . p.247-272. C U B A , E. G . & L I N C O L N , Y. S. Fourth Generation Evaluation.Beverly

Hills: Sage, 1990.

M A R K , M . From program theory to tests of program theory. New Directions for Program Evaluation, 47, 1990. PATTON, M . Q. Creative Evaluation. Beverly Hills: Sage, 1 9 8 1 . PATTON, M . Q. Practical Evaluation. Beverly Hills: Sage, 1982. PATTON, M . Q. Utilization-Focused Evaluation. 2.ed. Beverly Hills: Sage, 1986. PATTON, M . Q. The evaluator's responsability for utilization. Evaluation Practice, 9(2), 1988. RIVELINE, C. U n point de vue d'ingénieur sur la gestion des organisations. École des Mines de Paris, mai 1 9 9 1 . R O S S I , P. H. & F R E E M A N , H. E. Evaluation: A Systematic Approach.

Beverly Hills: Sage, 1985.

S H O R T E L L , S. M . & R I C H A R D S O N , W . C. Health Program Evaluation. St-Louis: Mosby, 1978. W E I S S , C. Evaluation for decisions: Is anybody there? Does anybody care? Evaluation

Practice,

9(1), 1988a. W E I S S , C. If program decisions hinged only on information: A response to Patton. Evaluation Practice, 9(3), 1988b. Y I N , R. K. Case Study Research. Beverly Hills: Sage, 1989.