AGÊNCIAS DE DESENVOLVIMENTO E PRODER: UMA AVALIAÇÃO

constatações e resultados da pesquisa de campo que possam ser de utilidade gerencial e subsidiar
ações ou reflexões da direção do SEBRAE-RJ e de todo o seu corpo gerencial e funcional.
2 - A METODOLOGIA DE AVALIAÇÃO PROPOSTA
A definição do que seja avaliação parece ser quase consensual. De acordo, com a UNICEF 3 , por
exemplo, trata-se do exame sistemático e objetivo de um projeto ou programa, finalizado ou em curso,
que contemple o seu desempenho, implementação e resultados, com vistas à determinação de sua
eficiência, efetividade, impacto, sustentabilidade e a relevância de seus objetivos. O propósito da
avaliação é o de guiar os tomadores de decisão, orientando-os quanto à continuidade, necessidade de
correções ou mesmo suspensão de uma determinada política ou programa.
Se a avaliação é uma forma de mensurar o desempenho de programas, é necessário definir medidas
para a aferição do resultado obtido. Essas medidas são denominadas de critérios de avaliação e nesse
ponto se encerra o consenso sobre aspectos conceituais e metodológicos no campo da avaliação de
programas ou políticas públicas, dando lugar ao que se poderia chamar de um autêntico “emaranhado
conceitual”, o qual representa, por si mesmo, um obstáculo ao uso mais freqüente dessa ferramenta
gerencial no setor público. Embora se associe normalmente a avaliação de desempenho à mensuração
de eficiência na gestão de programas públicos, este não é, evidentemente, o único e, eventualmente,
nem o mais importante critério a ser utilizado na avaliação, podendo ser citados também os critérios de
Eficácia, Impacto, Sustentabilidade, Satisfação do beneficiário e Equidade, entre outros. 4
A aplicação desses critérios descritos requer, por seu turno, formas específicas de operacionalização, já
que se trata, obviamente, de medidas indiretas, ou seja, que devem ser calculadas a partir da
identificação e quantificação dos resultados obtidos. Em geral, denomina-se essa outra categoria de
medidas de indicadores ou, mais especificamente, indicadores sociais. Aqui também encontramos uma
variedade de formas de definir e utilizar essa medida, dependendo da área em que se situa o programa
e do propósito da avaliação. 5 A avaliação do desempenho de um programa requer, ainda, que se defina
padrões de referência para julgar esse desempenho.
Uma metodologia de avaliação de programas sociais envolve, então, a escolha de um conjunto de
critérios e o uso de um elenco de indicadores (ou outras formas de mensuração) consistentes com os
critérios escolhidos e que permitam efetuar um julgamento continuado e eficaz acerca do desempenho
de um programa ou conjunto de programas, mediante o confronto com os padrões de desempenho
anteriormente estabelecidos.
Permanece, todavia, uma questão crucial e preliminar: o que avaliar? Segundo Donald Kettl, o desenho
de um programa público ou a ação de uma agência governamental pode ser sintetizado na seguinte
sequência de definições:
3 Cf. UNICEF. Guide for monitoring and evaluation. New York, 1990.
4 Uma discussão detalhada desse “emanharado” conceitual, bem como uma proposta de de metodologia para aplicação num
programa social para o município do Rio de Janeiro podem ser encontrados em LUSTOSA DA COSTA, Frederico &
CASTANHAR, José Cezar. Avaliação de Programas Sociais: limites e possibilidades. Paper apresentado no 22° Encontro
Nacional da ANPAD, em Foz de Iguaçu, ANPAD, de 27 a 30 de setembro de 1998.
5 Op.cit., pp. 5-6; uma tentativa de sistematizar a discussão sobre indicadores podem ser encontrada em Rob Vos em Hacia
un sistema de indicadores sociales, BID/INDES, 1993.
3