AGÊNCIAS DE DESENVOLVIMENTO E PRODER: UMA AVALIAÇÃO

AGÊNCIAS DE DESENVOLVIMENTO E PRODER: UMA AVALIAÇÃO *
José Cezar Castanhar **
Frederico Lustosa da Costa**
SUMÁRIO: 1 -Introdução; 2 -A metodologia de avaliação proposta; 2.1 – Operacionalização da
Metodologia; 2.2 - Amplitude e Escopo da pesquisa de campo; 2.3 – Perfil dos Usuários dos Serviços
das ADRs e dos Participantes do PRODER; 3 -Avaliação : evidências da pesquisa de campo; 3.1 –
Serviços do SEBRAE utilizados pelos clientes; 3.2 – Impacto dos Serviços Utilizados; 3.3 – Percepção
pelos clientes da qualidade dos serviços e da eficácia geral dos programas avaliados; 3.4 – Avaliação
do grau de conhecimento do SEBRAE e de seus programas e da compreensão de sua missão e de seus
objetivos; 3.5 – Avaliação de Processos e Estratégias; 4 -Sumário de conclusões: desafios gerenciais;
5 - Bibliografia.
1 - INTRODUÇÃO
As duas últimas décadas colocaram o Estado, particularmente nos países em desenvolvimento, em face
de um desafio paradoxal. De um lado, o agravamento da crise fiscal reduziu de forma contínua o
montante de recursos disponíveis para a execução de políticas públicas essenciais, em especial aquelas
de cunho social. De outro, a queda do crescimento econômico (em grande parte decorrente da própria
“quebra” do Estado) provocou um crescimento da demanda por serviços sociais e bens públicos em
geral , tais como: políticas assistenciais diretas (programas de cesta alimentar e seguro desemprego),
política educacional (demanda crescente por escolas públicas), políticas de recapacitação de mão-deobra,
políticas de geração de emprego e renda, dentre outras.
Como então conciliar as exigências de uma demanda crescente com recursos financeiros cada vez mais
escassos? É claro que não existe uma única resposta a essa pergunta. As respostas envolvem, pelo
menos, três tipos de medidas (e mudanças). Medidas de natureza estrutural (reforma do estado,
privatização, reforma da previdência, reforma tributárias, etc.), medidas de natureza conjuntural (ajuste
fiscal, queda dos juros, retomada do crescimento econômico) e, não menos importante, medidas de
natureza gerencial, ou seja, melhoria na forma de atuação do Estado, seja através de mudança de
comportamentos, seja através do uso de instrumentos gerenciais mais adequados, possibilitando um
aumento da eficiência e da eficácia no seu desempenho. É interessante notar que, enquanto os dois
primeiros tipos de medidas envolvem, naturalmente, mudanças institucionais, complexas negociações
políticas e demandam um tempo maior para sua concretização, as medidas de natureza gerencial têm a
vantagem de poder ser aplicadas no curto prazo e dependerem (na maioria dos casos) essencialmente
da iniciativa (vontade política) dos próprios dirigentes públicos (sejam ministros, diretores ou qualquer
outro com responsabilidade gerencial).
* Este paper é uma versão reduzida de um relatório de pesquisa que contou com a especial colaboração de Bianca Alves,
Fernanda Filgueiras e Regina Queiroz Medeiros Carneiro, a quem os autores agradecem. Também registram seu
reconhecimento a Celina Vargas do Amaral Peixoto, Diretora de Desenvolvimento Local do SEBRAE/RJ, cujo estímulo,
inclusive material, foi fundamental para a realização do trabalho
** Professores da Escola Brasileira de Administração Pública (EBAP) da Fundação Getulio Vargas
1

Por outro lado, os benefícios que podem ser obtidos com a melhoria da qualidade da gestão pública (ou
gestão de programas sociais, mais genericamente) não são triviais, já que as evidências de desperdícios
nessa área são devastadoras.
Assim, segundo Cohen e Franco, apenas um dólar de cada 7.83 gastos em programas sociais chegava,
em 1987, aos 20% pior colocados na distribuição de renda do Chile. 1 Ainda segundo esses autores, um
informe confidencial doe um organismo internacional afirmava, a respeito de outra nação da região,
que a supressão de todos os programas sociais em execução não provocaria nenhuma mudança nas
condições de vida dos 50% mais pobres. 2
Ora, se melhorar o desempenho passa a ser um desafio crucial e urgente dos dirigentes públicos, um
passo preliminar nessa direção é a criação de procedimentos e instrumentos que permitam a
avaliação sistemática e continuada dos órgãos, programas e políticas públicas. Ou seja, a avaliação
pode ter o papel de uma bússola para enfrentar o desafio gerencial de melhorar o desempenho:
permitirá ao dirigente saber onde está, que rumo está seguindo atualmente e se alguma mudança de rota
é necessária para alcançar os objetivos estabelecidos.
O presente trabalho dá conta dos primeiros resultados de uma pesquisa orientada para o
desenvolvimento de uma metodologia de avaliação de programas e ações empreendidas pelo Serviço
de Apoio à Pequena e Média Empresa no Rio de Janeiro (SEBRAE-RJ), voltadas para a geração de
emprego e renda, realizada pelos autores por intermédio da Fundação Getulio Vargas, através da
Escola Brasileira de Administração Pública - EBAP. Programas dessa natureza têm adquirido
importância crescente no âmbito das políticas governamentais voltadas para a redução das
desigualdades sociais. Isto se deve, por um lado, à própria penúria fiscal do Estado que limita a
capacidade de oferecer políticas mais explicitamente compensatórias e, por outro, à crescente
consciência de que ações compensatórias devam ser substituídas por outras que utilizem o potencial
empreendedor e a iniciativa dos próprios cidadãos, que os torne economicamente independentes pelos
seus próprios esforços e que sejam, ao mesmo tempo, mais sustentáveis. A ação do Estado deveria ser
então, como no caso do SEBRAE-RJ, auxiliar na capacitação do cidadão para realizar, com mais
eficácia, esse potencial empreendedor.
Se a dificuldade de avaliar programas sociais já é bastante conhecida e freqüentemente discutida, medir
os efeitos de programas de apoio à geração de emprego e renda é uma tarefa ainda mais desafiadora,
tanto metodologicamente como em termos prático. Daí o propósito do trabalho de desenvolver uma
metodologia para avaliação desses programas, testando-a em alguns casos reais identificados junto
como SEBRA-RJ.
O presente trabalho é composto de quatro partes, incluindo esta introdução. Na segunda parte, é
apresentada a metodologia desenvolvida para a avaliação dos programas selecionados, quando se
discute as dimensões que se pretende avaliar, as variáveis e indicadores desenvolvidos e os
instrumentos utilizados para sua aplicação. Na terceira, apresenta-se a amplitude da pesquisa de campo
realizada, bem como um perfil sucinto da população pesquisada. Já a terceira concentra as principais
constatações e resultados obtidos na avaliação. A quarta parte é destinada às conclusões, que se referem
tanto à análise da adequação e eficácia da metodologia de avaliação proposta, quanto à identificação de
1 Cohen, Ernesto e Franco, Rolando. Racionalizando as políticas sociais na América Latina: o papel da gestão. In: Gestión y
análisis de políticas públicas. Madrid: Inap, enero/abril, nº 2, pp. 101-8 (essa informação os autores citam de Haindl,
Buvinic e Irarrazaval, 1989).
2 Op. Cit. P. 63.
2

constatações e resultados da pesquisa de campo que possam ser de utilidade gerencial e subsidiar
ações ou reflexões da direção do SEBRAE-RJ e de todo o seu corpo gerencial e funcional.
2 - A METODOLOGIA DE AVALIAÇÃO PROPOSTA
A definição do que seja avaliação parece ser quase consensual. De acordo, com a UNICEF 3 , por
exemplo, trata-se do exame sistemático e objetivo de um projeto ou programa, finalizado ou em curso,
que contemple o seu desempenho, implementação e resultados, com vistas à determinação de sua
eficiência, efetividade, impacto, sustentabilidade e a relevância de seus objetivos. O propósito da
avaliação é o de guiar os tomadores de decisão, orientando-os quanto à continuidade, necessidade de
correções ou mesmo suspensão de uma determinada política ou programa.
Se a avaliação é uma forma de mensurar o desempenho de programas, é necessário definir medidas
para a aferição do resultado obtido. Essas medidas são denominadas de critérios de avaliação e nesse
ponto se encerra o consenso sobre aspectos conceituais e metodológicos no campo da avaliação de
programas ou políticas públicas, dando lugar ao que se poderia chamar de um autêntico “emaranhado
conceitual”, o qual representa, por si mesmo, um obstáculo ao uso mais freqüente dessa ferramenta
gerencial no setor público. Embora se associe normalmente a avaliação de desempenho à mensuração
de eficiência na gestão de programas públicos, este não é, evidentemente, o único e, eventualmente,
nem o mais importante critério a ser utilizado na avaliação, podendo ser citados também os critérios de
Eficácia, Impacto, Sustentabilidade, Satisfação do beneficiário e Equidade, entre outros. 4
A aplicação desses critérios descritos requer, por seu turno, formas específicas de operacionalização, já
que se trata, obviamente, de medidas indiretas, ou seja, que devem ser calculadas a partir da
identificação e quantificação dos resultados obtidos. Em geral, denomina-se essa outra categoria de
medidas de indicadores ou, mais especificamente, indicadores sociais. Aqui também encontramos uma
variedade de formas de definir e utilizar essa medida, dependendo da área em que se situa o programa
e do propósito da avaliação. 5 A avaliação do desempenho de um programa requer, ainda, que se defina
padrões de referência para julgar esse desempenho.
Uma metodologia de avaliação de programas sociais envolve, então, a escolha de um conjunto de
critérios e o uso de um elenco de indicadores (ou outras formas de mensuração) consistentes com os
critérios escolhidos e que permitam efetuar um julgamento continuado e eficaz acerca do desempenho
de um programa ou conjunto de programas, mediante o confronto com os padrões de desempenho
anteriormente estabelecidos.
Permanece, todavia, uma questão crucial e preliminar: o que avaliar? Segundo Donald Kettl, o desenho
de um programa público ou a ação de uma agência governamental pode ser sintetizado na seguinte
sequência de definições:
3 Cf. UNICEF. Guide for monitoring and evaluation. New York, 1990.
4 Uma discussão detalhada desse “emanharado” conceitual, bem como uma proposta de de metodologia para aplicação num
programa social para o município do Rio de Janeiro podem ser encontrados em LUSTOSA DA COSTA, Frederico &
CASTANHAR, José Cezar. Avaliação de Programas Sociais: limites e possibilidades. Paper apresentado no 22° Encontro
Nacional da ANPAD, em Foz de Iguaçu, ANPAD, de 27 a 30 de setembro de 1998.
5 Op.cit., pp. 5-6; uma tentativa de sistematizar a discussão sobre indicadores podem ser encontrada em Rob Vos em Hacia
un sistema de indicadores sociales, BID/INDES, 1993.
3

MISSÃO METAS OBJETIVOS 6
A aferição do desempenho, por seu turno, pode se referir aos resultados dos programa, que mediria o
alcance da missão ou nos produtos gerados pela implementação dos programas
As experiências de avaliação de programas podem ser agrupadas, para fins analíticos, em três
metodologias básicas, que se descrevem a seguir 7 .
a) Avaliação de Metas (ou de produção, ou de produtos)
É o tipo mais tradicional e tem como propósito medir o grau de êxito que um programa obtém com
relação ao alcance de metas previamente estabelecidas. Entende-se como metas do programa os
produtos mais imediatos (ou concretos) que dele decorrem – pessoas atendidas em centros de saúde;
número de leitos hospitalares; número de horas de aula, dentre outras.
Essa modalidade de avaliação pressupõe que se atribuam valores a um conjunto de metas, definindo-se
o êxito relativo do programa em função do grau em que tais metas tenham sido cumpridas. Trata-se,
portanto, de uma avaliação ex-post facto, ou seja, requer que o programa (ou uma etapa do mesmo)
tenha sido concluído para se poder avaliá-lo.
Entre as principais limitações desse tipo de avaliação, pode-se citar: a) a dificuldade de especificar as
metas de forma precisa; b) a existência de metas múltiplas; c) a seleção de metas a serem incluídas no
processo de avaliação; d) mudanças nas metas ao longo da própria execução do programa.
b) Avaliação de Impacto (alcance do propósito ou missão)
A avaliação de impacto procura identificar os efeitos produzidos sobre uma população alvo de um
programa social. Busca-se verificar não apenas se as atividades previstas foram executadas, como
também se os resultados finais que se esperavam foram igualmente alcançados. O foco desse tipo de
estudo é, em síntese, detectar mudanças nas condições de vida de um grupo-alvo ou de uma
comunidade, como resultado de um programa e em que medida as mudanças ocorreram na direção
desejada.
O problema central a investigar nesse caso é a efetividade do programa e, para conseguir esse
intento, se recorre a mecanismos que permitam estabelecer relações causais entre as ações de um
programa e o resultado final obtido. O objetivo desse tipo de avaliação pode ser definido como sendo o
de identificar os efeitos líquidos de uma intervenção social. À semelhança da avaliação de metas,
descrita anteriormente, essa abordagem é realizada após o encerramento do programa ou de etapas do
mesmo.
c) Avaliação de Processos
Essa modalidade de avaliação investiga de forma sistemática o desenvolvimento de programas sociais
com o propósito de:
- medir a cobertura do programa social;
- estabelecer o grau em que o mesmo está alcançando a população beneficiária;
- e, principalmente, acompanhar seus processos internos.
6 Kettl, Donald, op. Cit., pp. 87-92. Outros autores poderão hierarquizar de outra maneira essa seqüência de agregação de
compromissos, colocando depois da missão (ou propósito), os objetivos e só em seguida as metas, como preferimos adotar
aqui..
7 Essa classificação é proposta por SULBRANDT, José. “La evaluacion de los programas sociales: una perspectiva crítica
de los modelos usuales”. In KLIKSBERG, Bernardo (org.). Pobreza: un tema impostergable. México, Fondo de Cultura
Economica, 1993.
4

Seu objetivo é detectar possíveis defeitos na elaboração dos procedimentos, identificar barreiras e
obstáculos à sua implementação e gerar dados importantes para sua reprogramação, através do registro
de eventos e de atividades. Assim, o uso adequado das informações produzidas durante o
desenvolvimento do programa permite introduzir mudanças no seu conteúdo durante a própria
execução. Ao contrário, portanto, dos enfoques anteriores, essa modalidade de avaliação se realiza
simultaneamente com o desenvolvimento do programa, sendo também chamado de avaliação
formativa.
Normalmente, o uso regular e continuado da avaliação fica restrito à produção, pela facilidade de obter
as informações necessárias. 8 Esse é o caso do SEBRAE-RJ que utiliza regularmente sistemas de
informações gerenciais que tratam, em geral, de variáveis relacionados a produção (quantidade e
financeira) e insumos (financeiros, materiais, pessoal, etc.).
Parece claro, portanto, que a metodologia de avaliação a ser desenvolvida neste projeto deveria
contemplar as outras duas dimensões, ou seja, processos e impacto. Embora a discussão conceitual
sobre como expressar e como medir essas dimensões seja interminável, para efeito desse trabalho
optou-se por definições simples e claras de ambos.
Assim, por exemplo, para avaliar processos definiram-se variáveis do seguinte tipo:
- qualidade da comunicação e padrão de articulação entre diferentes instâncias e níveis da instituição;
- realização de parcerias com outras instituições e/ou com o setor privado;
- qualificação dos funcionários;
- qualidade do atendimento nos balcões;
- avaliação do grau de satisfação dos clientes;
- acompanhamento dos clientes após o aquisição de produtos e serviços
- prática de planejamento.
No que tange à mensuração do impacto, as variáveis definidas contemplaram aspectos como:
- intenção de utilizar novamente os serviços do SEBRAE;
- identificação das melhorias obtidas com o serviço utilizado;
- qualidade do serviço utilizado;
- conhecimento das ações do SEBRAE ( e de seu programa de geração de emprego e renda ) e de
seus objetivos;
- diferencial do SEBRAE em relação a instituições competidoras;
- capacidade de identificar as potencialidades e demandas regionais e locais;
- desempenho geral do SEBRAE (e de seu programa de geração de emprego e renda) , percebido
pelos usuários.
Os programas escolhidos foram o Programa de Geração de Emprego e Renda – PRODER - e as
Agências de Desenvolvimento Regional – ADRs - do SEBRAE. Note-se que no caso das ADRs não se
trata de um programa propriamente dito, mas sim de uma instância administrativa e gerencial, já que as
ADRs têm a finalidade de planejar, coordenar e executar o conjunto das ações do SEBRAE em regiões
determinadas. Neste sentido, a metodologia de avaliação das ADRs envolve, praticamente, o mesmo
desafio da avaliação do próprio SEBRAE como um todo, pelo menos da sua atuação na execução dos
serviços.
8 Kettl, Donald, op. Cit., pp. 87-92.
5

O passo seguinte foi selecionar quais das experiências do PRODER e quais ADRs seriam incluídas na
pesquisa, já que os recursos e tempo previstos não contemplavam a avaliação de todo o universo. A
direção do SEBRAE-RJ estabeleceu, então, que o trabalho deveria incluir quatro experiências de
PRODER, a saber: PRODER do município de Cardoso Moreira; PRODER do município de São
Fidélis; PRODER de Jurujuba, bairro do município de Niterói; e PRODER Rocinha, bairro no
município do Rio de Janeiro. Na escolha desses quatro casos procurou-se contemplar a maior variedade
de situações possíveis. Assim, o PRODER realizado em São Fidélis faz parte do PRODER Especial,
realizado em parceria com o Programa Comunidade Ativa, do Governo Federal. Os PRODER de
Cardoso Moreira e da Rocinha foram realizados utilizando-se uma nova metodologia, com a
incorporação de alguns aspectos do PRODER Especial, como a constituição de fórum comunitário,
sendo que o PRODER da Rocinha possui a especificidade de se realizar em um bairro de uma grande
metrópole e não em municípios de pequenos porte. No PRODER realizado em Jurujuba foi utilizada a
antiga metodologia, da qual não fazia parte a constituição de fóruns comunitários.
No que toca às ADRs, acertou-se que a pesquisa de campo incluiria três casos, a saber: ADR Norte
(região de Campos), ADR Metropolitana III (região de Niterói) e ADR Metropolitana Zona Sul (parte
do município do Rio de Janeiro). Também aqui a escolha dos casos a serem pesquisados buscou
assegurar uma razoável variedade de situações, já que as ADRs escolhidas têm no seu âmbito regional
desde os maiores municípios do Estado (como o Rio de Janeiro e Niterói) como municípios de porte
médio, próximos e distantes das regiões metropolitanas (como Campos e São Gonçalo) até pequenos
municípios, próximos ou distantes das regiões metropolitanas (como Rio Bonito e Cardoso Moreira).
2.1 – Operacionalização da Metodologia
Tendo em vista a dificuldade para estabelecer-se e mensurar-se indicadores objetivos para a avaliação
de Impactos e Processos optou-se por operacionalizar a metodologia de avaliação proposta através da
percepção dos atores envolvidos. O primeiro passo foi, então, identificar esses atores.
Assim, para as ADRs, identificou-se o seguinte conjunto de atores relevantes no desenvolvimento de
suas atividades:
Gerente da ADR
Clientes
Representantes da Sociedade (Secretários Municipais, Dirigentes de entidades de classe, lideranças
empresariais locais, etc.)
Pessoas físicas ou jurídicas que não tenham utilizado os serviços do SEBRAE
Pessoas físicas ou jurídicas que já tenham usado os serviços do SEBRAE
Pessoal Operacional
Funcionários da ADR
Funcionários de Balcões da ADR
Pessoal da Sede (Planejamento, Apoio e Controle)
Gerentes de Produtos da SEDE
Já para o PRODER os atores que foram identificados para participar do processo de avaliação foram:
Clientes
Usuários dos serviços do SEBRAE via ação do SEBRAE
Pessoas Físicas ou Jurídicas que nunca utilizaram os serviços do SEBRAE via ação do PRODER
Membros do Fórum
6

Pessoal Operacional
Capacitadores
Funcionário do Balcão responsável pelo PRODER
Consultores
Pessoal da Sede (Planejamento, Apoio e Controle)
Equipe do PRODER da Sede
Gerentes de Produtos da SEDE
Preparou-se, então, uma série de questionários para serem aplicados a cada grupo mencionado
anteriormente. Estes questionário por seu turno, eram constituídos de perguntas que tinham como
propósito avaliar a percepção dos respondentes sobre as variáveis que se estava pretendendo mensurar.
Os questionários traziam perguntas fechadas, com respostas definidas em uma escala de preferências
(escala de Likert), que permitiram sua tabulação e a análise quantitativa dos resultados.
Dois exemplos ajudam a compreender melhor o mecanismo. Na avaliação das ADRs o questionário
aplicado aos usuários dos produtos do SEBRAE continha a seguinte afirmação:
“a qualidade do serviço utilizado atendeu às minhas expectativas”
solicitando-se ao respondente que desse uma nota de 1 a 5, onde a nota 1 indicava que o mesmo
discordava totalmente da afirmação e a nota 5 indicava que o mesmo concordava totalmente com a
mesma.
Na avaliação dos PRODER, propunha-se aos membros do Fórum a seguinte afirmação:
“após o término dos encontros de capacitação sinto-me mais preparado para elaborar projetos e
identificar fontes de financiamento”
da mesma maneira, solicitava-se ao respondente que desse uma nota de 1 a 5, sendo que a nota 1
representava sua total discordância com a afirmação e a nota 5 sua total concordância.
No total, portanto, foram utilizados 6 questionários para a avaliação das ADRs e 8 questionários para a
avaliação dos PRODER. O número de perguntas de cada questionário variava bastante, já que
diferentes respondentes estavam envolvidos em diferentes aspectos do programa que se estava
avaliando e em diferentes graus de profundidade. Em geral o número maior de perguntas eram feitas
aos usuários do processo (usuários de serviços, membros do fórum). Além disso, vários questionários
continham uma pergunta aberta que permitia ao respondente emitir opiniões, fazer comentários ou
recomendações. As perguntas abertas favorecem uma análise da compreensão que esses mesmos
agentes têm da apreciação que oferecem e permitem colher especificações, precisões e sugestões,
enriquecendo a análise qualitativa.
Embora os 14 questionários aplicados envolvessem cerca de uma centena de perguntas, estas podem
ser agrupadas de acordo com a sua finalidade, na metodologia de avaliação, conforme mostrado na
tabela I, a seguir.
Cabe mencionar que a opção metodológica adotada neste trabalho é amplamente utilizada em pesquisas
em que se busca avaliar o impacto de programas ou o progresso (ou estágio) de processos de mudanças
gerenciais. Pode-se citar, por exemplo, estudos realizados na administração pública americana para
7

avaliar o grau de disseminação e adoção das medidas de reforma administrativa 9 . No Brasil, pode-se
citar o trabalho de avaliação realizado pela Universidade Federal do Rio Grande do Sul para o próprio
SEBRAE, utilizando metodologia semelhante 10 .
Embora possa se alegar que essa metodologia envolva inevitavelmente um componente subjetivo,
argumenta-se que, por uma lado, essa avaliação subjetiva pode ser útil e esclarecedora, especialmente
quando se trata de avaliar serviços e produtos oferecidos ao público (clientes) e, por outro, dada a
dificuldade de se mensurar objetivamente o impacto de determinados programas, essa alternativa é a
única disponível, na prática, para dotar a gerência de um balizamento estratégico sobre o alcance e
efetividade de suas ações.
TABELA I
OBJETIVOS DAS PERGUNTAS INCLUÍDAS NO INSTRUMENTO APLICADO
(QUESTIONÁRIO/ENTREVISTA)
1) Traçar o perfil dos usuários
2) Avaliar o desempenho de atores específicos
3) Avaliar o envolvimento e comprometimento de lideranças locais
4) Avaliar a capacidade de comunicação, articulação e coordenação entre diferentes instâncias
(internas e externas ao SEBRAE)
5) Avaliar a qualificação e desempenho dos funcionários e das gerências
6) Identificar o tipo de serviço utilizado
7) Avaliar a qualidade do atendimento
8) Avaliar a qualidade de produtos e serviços
9) Identificar o impacto dos serviços utilizados
10) Avaliar a eficácia das ADRs
11) Avaliar a qualidade e a eficácia do processo de capacitação do PRODER
12) Avaliar o grau de conhecimento que a população tem do SEBRAE e do PRODER e de seus
objetivos
13) Avaliar a qualidade geral do PRODER
14) Avaliar a qualidade geral do SEBRAE
9 Jeffrey L. Brudney, F. Ted Hebert, Deil S. Wright. Reinveinting Governement in the America Satates, Measuring and
Explaing Administrative Reform. Public Adminstration Review. January/February 1999, vol. 59, n. 1. Robert Jay Dilger,
Randdph . Moffett, Linda Struyk. Privatization of Municipal Services in Americas Largest Cities. Public Adminstration
Review. January/February 1997, vol. 57, n. 1.
10 “Indice de Eficácia Percebida dos Produtos do SEBRAE-RS”, mimeo, Porto Alegre, Janeiro 1999.
8

2.2 - AMPLITUDE E ESCOPO DA PESQUISA DE CAMPO
Como mencionado no item anterior, a metodologia de avaliação proposta repousa na aplicação de
questionários e realização de entrevistas com os atores envolvidas no planejamento e execução dos
produtos e serviços do SEBRAE, bem como com os usuários atuais e potenciais desses serviços. A
avaliação requer, portanto, a realização de uma ampla e detalhada pesquisa de campo para consultar
todos esses atores. Neste item do relatório, discute-se de forma resumida a metodologia utilizada nesta
pesquisa, bem como se apresenta um sumário estatístico do trabalho realizado.
Para definição da quantidade de pessoas que seriam entrevistadas, trabalhou-se com três critérios
distintos. Para os respondentes que poderiam ser identificados individualmente, como por exemplo,
gerentes, funcionários de ADRs e balcões, capacitadores, Consultores, gerentes de produtos, membros
do fórum, equipe do PRODER da sede, buscou-se aplicar o questionário, sempre que possível ao
universo. Para os respondentes que faziam parte de populações demasiadamente grandes, como os
usuários de serviços do SEBRAE ou usuários potenciais desses serviços, selecionou-se uma amostra
que fosse estatisticamente significante. 11 Finalmente, para os representantes da sociedade, selecionouse,
sem o rigor de significância estatística, entre aqueles que respondem por instituições com os quais o
SEBRAE se relaciona (predominantemente lideranças políticas e empresariais).
Foram aplicadas questionários (em alguns casos complementados com entrevistas) a 933 respondentes
sobre as ADRs 12 . Já para a avaliação das quatro experiências de PRODER incluídas no trabalho,
aplicou-se um total de 440 questionários 13 . A pesquisa de campo realizada, envolveu, portanto, a
aplicação de 1373 questionários (além de entrevistas).
2.3 – Perfil dos Usuários Pesquisados
Uma informação interessante que a pesquisa de campo permitiu obter, embora não relacionada
diretamente à avaliação, diz respeito ao perfil dos usuários dos serviços das ADRs e dos participantes
do PRODER, no que toca ao seu ramos de atividade e relação de trabalho atual. Uma informação desse
tipo pode ser de utilidade, quando combinada com os outros dados da avaliação, para o planejamento
da ação do SEBRAE no que toca a: 1) tipo de serviço e produto a ser oferecido; 2) formas de
divulgação; 3) capacitação de funcionários diferenciada por região; dentre outros aspectos.
A tabela II mostrada a seguir apresenta esse perfil para os usuários de serviços e produtos das ADRs.
11 A amostra para cada segmento da população foi calculada estabelecendo-se uma margem de erro de 10% e um nível de
significância de 95%; assim, em nenhum caso a amostra foi inferior a 120 pessoas pesquisadas.
12 Neste caso, considera-se que os gerentes de produto responderam a questionários distintos para cada ADR, contando-se,
portanto, 33 questionários aplicados aos 11 gerentes.
13 No caso dos PRODER os gerentes de produtos responderam a apenas um questionário, já que estavam avaliando a equipe
do PRODER da sede e não cada experiência isoladamente.
9

TABELA II
PERFIL DOS USUÁRIOS DE PRODUTOS E SERVIÇOS DAS ADRs
QUANTO AO RAMO DE ATIVIDADE
ADR COMÉRCIO E
SERVIÇOS
INDÚSTRIA RURAL
Norte 84% 8,70% 3.6%
Metrop. III 85% 9% 1%
Zona Sul 91.3% 8% 0%
QUANTO A RELAÇÃO DE TRABALHO INFORMADA
NATUREZA DA
RELAÇÃO
NORTE METROP. III ZONA SUL
Vínculo Empegatício 31.9% 32% 20.3%
Autônomo* 13% 25% 31.9%
Empresário 50% 24% 34%
Sem ocupação no momento 2.9% 11% 5.8%
* inclui atividade no setor informal
Os dados da tabela anterior comprovam de forma inequívoca que a atuação do SEBRAE se destina, de
forma esmagadora, a atender os setores urbanos da economia, uma vez que, mesmo na ADR Norte, em
que a atividade rural tem maior importância, menos de 4% dos usuários dos serviços e produtos do
SEBRAE atuam nesse setor da economia. E das atividades urbanas, constata-se, igualmente, uma
enorme concentração em Comércio e Serviços. Cabe à direção da instituição examinar esse tipo de
informação e refletir sobre a mesma. Inegavelmente, a tradição do SEBRAE é de uma agência de apoio
a atividades econômicas urbanas e com ênfase em comércio e serviço. Esse traço certamente era
esperado ser mais acentuado num estado com forte concentração urbana como o Rio de Janeiro.
Entretanto, quando se discute questões estratégicas para o desenvolvimento do país como a
globalização e o papel das pequenas e médias empresas no esforço de exportação do país e de sua
integração na economia internacional globalizada, cabe refletir se essa “vocação” da instituição deve
ser mantida, ou, se mantida, se com o grau de concentração observado atualmente. É desejável que o
SEBRAE faça esforços estratégicos para atuar mais intensamente nos setores industrial e rural? Em
caso positivo, qual deve ser o esforço e as mudanças necessárias para se realizar uma mudança desse
tipo?
Esses comentários, antes de pretenderem ser sugestões de mudanças na estratégica da instituição, visam
a ressaltar a importância que podem ter para o processo gerencial as informações obtidas nos processos
metódicos de avaliação, ainda que se trate de uma informação simples e universal, como o perfil dos
usuários da instituição. Modernamente, quando o compromisso com a qualidade é uma premissa de
eficácia gerencial e empresarial, cabe lembrar que se o beneficiário final (e mais importante) dessa
qualidade é o cliente, um passo preliminar, portanto, é saber quem é o cliente.
Acerca da relação de trabalho, obtém-se também informações úteis para o processo gerencial e, ao
mesmo tempo, uma confirmação das diferenças sócio-econômicas entre regiões. Assim, observa-se a
predominância de empresários entre os usuários do SEBRAE na ADR Norte. Na ADR da Zona Sul, já
se observa um expressiva participação de autônomos e de participantes da economia informal entre os
clientes do SEBRAE. Já na ADR Metropolitana III (Niterói e região), observa-se uma freqüência maior
entre os clientes de pessoas que estão desempregadas. Mais uma vez essas são informações importantes
10

para avaliar se o portfólio de produtos oferecidos e as estratégias de divulgação e distribuição adotadas
estão adequadas para o perfil de usuários.
Uma tabulação semelhante foi feita com os dados obtidos da pesquisa de campo de usuários do
PRODER, os quais são mostradas na tabela III, a seguir.
TABELA III
PERFIL DOS USUÁRIOS DE PRODUTOS E SERVIÇOS DOS PRODER
RAMO DE ATIVIDADE
RAMO DE
ATIVIDADE
ROCINHA C. MOREIRA S. FIDÉLIS JURUJUBA
Comércio
Serviços
e 91% 0% 27% 58.5%
Indústria 3% 0% 9% 0%
Rural 0% 0% 63% 33.5%
Não
responder
soube 5,5% 100% 0% 8%
RELAÇÃO DE TRABALHO
RELAÇÃO DE
TRABALHO
ROCINHA C.MOREIRA S.FIDÉLIS JURUJUBA
Vínculo
Empregatício
12.2% 0% 27% 42%
Autônomo* 41% 0% 18% 50%
Empresário 3.3% 0% 55% 0%
Sem ocupação 42.2% 100% 0% 8%
no momento
* inclui atividade no setor informal
No caso do PRODER , a informação obtida reflete as próprias características do programa definido
para cada localidade. Assim, em São Fidélis, onde o serviço oferecido pelo PRODER foi um programa
de capacitação rural, observa-se uma maior concentração de clientes cujo ramo de atividade é o setor
rural. Já num programa mais tipicamente urbano, como o da Rocinha, volta-se a ter grande
concentração em atividades de comércio e serviço. O PRODER de Jurujuba, por seu turno, que envolve
tanto atividade extrativa, quanto de comercialização, já tem a distribuição por ramos de atividade mais
equilibrada. Cabe notar que, no caso de Cardoso Moreira, no qual o programa se destinava a criar uma
cooperativa de costureiras, estas não souberam identificar a sua atuação (ou experiência) profissional
com um determinado ramo de atividade. Mas pela natureza é razoável classificá-las como Comércio e
Serviço e, dependendo da evolução do programa, até como indústria.
No que toca ao vínculo empregatício observa-se aqui uma grande freqüência de pessoas sem ocupação
no momento (desempregados), o que também não é surpreendente já que o programa, tendo como
propósito gerar emprego e renda, com freqüência vai beneficiar comunidades mais carentes em termos
econômicos e sociais, onde o nível de desemprego tende a ser alto. Por outro lado, observa-se que em
São Fidélis, onde o programa beneficia predominantemente moradores do setor rural, o nível de
desemprego entre os usuários é bem menor. Finalmente, no que toca a Jurujuba, que é de todos os
programas analisados o mais antigo e mais consolidado, constata-se um baixo índice de pessoas que se
declaram desempregadas. É importante ressaltar que todos os beneficiados com os serviços do
11

SEBRAE em Jurujuba já trabalhavam com a pesca de mexilhões. Assim, os impactos gerados dizem
respeito principalmente à melhora da qualidade dos serviços prestados e a acréscimos de renda e não
propriamente à geração de ocupações. Avaliações realizadas em um mesmo programa mas em
diferentes momentos podem revelar grandes diferenças de impacto e apontar para pontos de
constrangimento. Deriva daí a importância de se contar com uma metodologia de avaliação adequada e
que seja realizada sistematicamente.
3 - AVALIAÇÃO: EVIDÊNCIAS DA PESQUISA DE CAMPO
Embora a pesquisa de campo prevista neste trabalho tivesse o objetivo prioritário de testar a
consistência da metodologia de avaliação proposta e verificar a necessidade de ajustes para o seu uso
contínuo no futuro, a verdade é que as informações colhidas nesse processo constituem um rico acervo
de informações sobre as várias dimensões que foram objeto da avaliação: processos, imagem do
SEBRAE-RJ, eficácia percebida, impactos etc. Este item do relatório é destinado a um exame dessas
informações, no qual se procura, mais do que simplesmente apresentar e descrever as evidências
recolhidas, estabelecer conexões entre essas evidências e possíveis causas e conseqüências das mesmas,
por uma lado, e, por outro, refletir sobre possíveis ações gerenciais que poderiam ser indicadas a partir
dessas evidências. Cabe lembrar que tal processo, deve ser a finalidade mesma da avaliação como parte
da atividade e das responsabilidades gerenciais.
3.1 – Serviços do SEBRAE utilizados pelos clientes
Ainda que de caráter descritivo, os dados da tabela IV, mostrada a seguir, encerram uma informação
gerencial de caráter estratégico: qual é o tipo de serviço que os usuários do SEBRAE-RJ compram?
Existem diferenças significativas entre as regiões? Vejamos o que nos mostra as informações colhidas
na pesquisa.
TABELA IV
SERVIÇOS DO SEBRAE MAIS UTILIZADOS PELOS USUÁRIOS
CLIENTES DAS ADRS
SERVIÇO ADR NORTE ADR METR.III ADR ZONA SUL
Treinamento 68% 71% 43.5%
Consultoria 2.9% 11% 22.5%
Feira 6.5% 1% 1.45%
Publicações 0% 1% 2.9%
Outros e Treinamento 18.8% 9% 13.8%
CLIENTES DO PRODER
SERVIÇO ROCINHA C.MOREIRA S.FIDÉLIS JURUJUBA
Treinamento 99% 100% 82% 100%
Consultoria 0% 0% 18% 0%
O exame dos dados da tabela citada mostra, mais uma vez, que a análise das informações obtidas com
usuários das ADRs tem uma lógica totalmente distinta daquelas dos usuários do PRODER, pelas razões
já citadas no item anterior. Os clientes das ADRs apresentam uma diversidade maior do que os do
PRODER tendo em vista que este último define previamente uma população a ser atendida, bem como
a instrumento a ser utilizado. Como se observa no item 2 da tabela IV, o instrumento
predominantemente usado no PRODER é o treinamento. Apenas excepcionalmente, como no caso do
PRODER de São Fidélis, em que a própria natureza do curso ensejou a oportunidade de oferta de um
12

outro serviço (no caso consultoria em agro-negócios), o serviço utilizado fica restrito a treinamento.
Esses dados sugerem algumas indagações interessantes: Em que medida o padrão observado em São
Fidélis poderia também ter sido replicado em outros PRODER? Houve uma articulação adequada entre
a equipe do PRODER e os gerentes de projeto para se oferecer uma “cesta” mais ampla de produtos?
Mais a frente neste relatório, voltaremos a este ponto quando analisarmos as avaliações realizadas pela
Equipe do Proder e pelos Gerentes de Produto.
Quando se examina o item 1 da tabela IV, a participação do treinamento nos serviços demandados
pelos usuários não é tão esmagadora como no PRODER, mas é igualmente predominante. O item
treinamento, isoladamente, representa mais de 2/3 dos serviços utilizados pelos clientes das ADRs
Norte e Metropolitana III e mais de 40% na ADR Zona Sul. Quando se une a participação do serviço de
treinamento junto com outro tipo de serviço (consultoria, publicação e feira) essa participação sobe
para mais de 86% na ADR Norte, para 80% na Metropolitana III e para mais de 57% na Zona Sul.
Depois desse serviço, o único que apresenta alguma relevância é o de consultoria, representando 11%
do serviço demandado pelos clientes da ADR Metropolitana III e mais de 22% na ADR Zona Sul.
Esses dados já ensejam algumas reflexões interessantes sobre a estratégia e a forma de atuação do
SEBRAE-RJ. De um lado, se o SEBRAE se mantiver como uma instituição predominantemente de
treinamento, como parece ser o caso, tenderá a sofrer a concorrência cada vez maior de instituições que
têm o seu foco no treinamento (como universidades e outras agência do governo – do próprio sistema
S, como SENAI e SENAC - que têm se mostrado cada vez mais agressivas na disputa desse mercado).
De outro, a manter essa situação o SEBRAE poderá estar desprezando o seu principal diferencial e
vantagem competitiva que é justamente o fato de poder oferecer uma “cesta” variada de produtos,
incluindo consultoria, e com foco no pequeno e médio empresário, aproveitando a sua enorme
capilaridade e conhecimento da situação e do contexto que esses atuam. A esse respeito cabe citar
alguns comentários colhidos durante as entrevistas realizadas. O primeiro do gerente da ADR
metropolitana III que observa:
Os dados obtidos e consolidados na tabela IV são evidências importantes da forma de atuação do
SEBRAE e de seu ponto forte (a forte demanda pelos treinamentos que oferece), mas também
sinalizam desafios e oportunidades de mudanças estratégicas que poderão fortalecer ainda mais a
instituição no futuro. Neste caso, como em muitos outros que serão apresentados mais a frente, o
grande desafio é analisar os dados obtidos com visão estratégica e tomar decisões sobre investimento e
alocação de recursos (treinamento, desenvolvimento de novas produtos e mecanismos de distribuição,
contratação de pessoas, divulgação etc.) com vistas a aproveitar as oportunidades e enfrentar os
desafios que se apresentam.
3.2 – Impacto dos Serviços Utilizados
Embora a definição de impacto seja, como mencionado anteriormente, um conceito passível de
discussão interminável, no que toca aos serviços e produtos vendidos pelo SEBRAE-RJ, não há dúvida
que se espera que estes produzam alguma melhoria na situação dos clientes. Essa melhoria por seu
lado, pode ser mais genérica (poder-se-ia dizer subjetiva) ou bem específica (objetiva e identificável).
Com vistas a avaliar-se esse aspecto propôs-se aos usuários dos serviços do SEBRAE-RJ, tanto das
ADRs como dos PRODER que indicassem qual (ou quais) benefício o serviço (ou serviços) que
utilizou do SEBRAE teria produzido, dentre as seguintes alternativas:
a) conseguir ocupação com carteira assinada
b) conseguir ocupação no setor informal
c) melhorar a renda apesar de continuar na mesma ocupação
13

d) tornar-se autônomo
e) abrir uma micro/pequena empresa
f) aumentar o faturamento de micro/pequena empresa da qual faz parte
g) participar de uma associação
h) melhorar o desempenho no trabalho
i) aumentar os conhecimentos
j) não acrescentou nenhuma melhoria
O usuário poderia indicar, em sua resposta, mais de uma das alternativas sugeridas. As tabelas V e VI,
mostradas a seguir, resumem as respostas obtidas, respectivamente para os usuários de serviços e
produtos das ADRs e usuários de serviços do SEBRAE via ação do PRODER.
TABELA V
IMPACTO DO SERVIÇO PRESTADO PELO SEBRAE – ADRs
Impacto (o serviço do SEBRAE
utilizado o levou a:)
ADR Norte ADR Metrop.III ADR Zona Sul
Conseguir ocupação com carteira
assinada
0% 0% 0%
Melhorar a renda, apesar de 0% 0% 0%
continuar na mesma ocupação
Tornar-se autônomo ou conseguir
ocupação no setor informal
0% 0% 0%
Abrir MPE 0.72% 0% 0%
Aumentar faturamento de MPE da
qual faz parte
5.07% 0% 0%
Aumentar conhecimento e/ou 66% 55% 68.1%
melhorar desempenho no trabalho
Melhorar a renda e aumentar 4.4% 7% 0.7%
conhecimento
Melhorar a renda, aumentar 10.9% 3% 4.4%
conhecimento e melhorar
desempenho no trabalho
Melhorar a renda, aumentar 0.72% 7% 0%
faturamento de MPE e melhorar
desempenho no trabalho
Abrir MPE, aumentar conhecimento
e melhorar desempenho no trabalho
0.72% 1% 2.9%
Não acrescentou nenhuma 4.35% 7% 18.8%
melhoria
Note-se que a soma dos percentuais das colunas não resultou 100% porque numerosas outras
combinações foram propostas pelos usuários, todas elas com percentuais pouco expressivos. O aspecto
interessante que ressalta da análise da tabela anterior é o baixo percentual de usuários que identificam
um benefício claro e objetivo resultante do uso do serviço do SEBRAE. De fato, considerando-se os
quatro primeiros itens da tabela, que se referem a conseguir ocupação (formal ou informal), abrir MPE
e melhorar a renda, apenas em dois casos houve um percentual diferente de zero (Metropolitana III,
1% dos respondentes associando o serviço obtido a apenas melhoria de renda e na ADR Norte, em que
14

0.72% associaram o serviço recebido a iniciativa de abrir MPE). Na verdade, o principal benefício
associado pelos respondentes ao serviço adquirido ao SEBRAE-RJ é de natureza mais genérica e
indireta, ou seja: aumentar conhecimento e melhorar desempenho.
Por outro lado, como seria natural esperar, os usuários associam esse benefício mais geral e indireto a
melhorias específicas e diretas, como se observa ao analisar as linhas seguintes da tabela. Assim, por
exemplo, melhoria de renda associado a aumento de conhecimento obtido com o serviço adquirido foi
um benefício identificado por cerca de 4% dos usuários de serviços da ADR Norte e por 7% na
Metropolitana III. Já o aumento de faturamento de MPE, associado a aumento de conhecimento e
melhoria de desempenho no trabalho, foram identificados como benefícios do serviço adquirido por
mais de 10% dos usuários da ADR Norte, por 3% da Metropolitana III e por mais de 4% da ADR Zona
Sul. Ainda na ADR Metropolitana III, 7% dos usuários entrevistados afirmaram que obtiveram
melhoria de renda e aumento de faturamento de MPE, associados a melhoria do desempenho no
trabalho.
Um outro aspecto interessante é que, embora a maioria dos usuários não identifique um significativo
benefício específico e imediato decorrente dos serviços prestados pelo SEBRAE-RJ, poucos
consideram que o serviço prestado não acrescentou qualquer melhoria. De fato, nas ADRs Norte e
Metropolitana III apenas 4.35% e 7%, respectivamente dos usuários afirmaram que o serviço prestado
não acrescentou melhoria. Observa-se, entretanto, que na ADR Zona Sul esse número já é mais
expressivo, alcançando quase 19% dos entrevistados.
Esses dados sugerem dois tipos de reflexões. A primeira, mais abrangente, sobre a natureza e conteúdo
dos serviços e produtos oferecidos pelo SEBRAE-RJ e sobre o impacto que se pretende produzir com
os mesmos. Os dados obtidos indicam que esse impacto raramente é direto e objetivo, sendo antes mais
genérico e indireto. Decorrem daí duas questões para exame da direção e do corpo gerencial: 1) “o
SEBRAE deve esperar que sua ação gere benefícios diretos e específicos (melhoria de renda,
obtenção de emprego ou ocupação etc.)?”; 2) “se o SEBRAE considerar esse resultado como um
impacto esperado de sua ação, então quais os produtos e serviços mais adequados para obtê-lo?”. A
segunda reflexão permitida pelos dados da tabela V, diz respeito ao desempenho diferenciado das três
ADRs estudadas, principalmente sobre o índice muito mais alto de usuários que alegaram não ter
obtido nenhuma melhoria com os serviços que recebeu. Cabe examinar o que provoca essa diferença:
diferentes expectativas dos usuários? Diferenças nos contextos sócio-econômicos que cercam os
usuários? Qualidade na execução dos serviços? Mais uma vez, a avaliação nos traz importantes
desafios para serem enfrentados e valiosas informações para análise dos rumos da instituição e estilos
de gerência. Questões como adequação dos produtos, forma de distribuição e execução, já mencionadas
anteriormente, podem estar relacionadas aos resultados e diferenças encontrados.
A tabela VI, apresentada a seguir, traz uma tabulação equivalente à anterior, para os dados do
PRODER.
15

TABELA VI
IMPACTO DO SERVIÇO PRESTADO PELO SEBRAE – PRODER
IMPACTO C.MOREIRA S.FIDÉLIS JURUJUBA ROCINHA
Aumentar conhecimento e/ou 100% 82% 42.5% 11.1%
melhorar
trabalho
desempenho no
Melhorar renda 0% 18% 41.5%* 0%
Aumentar
MPE
faturamento de 0% 0% 8%** 0%
Abrir MPE 0% 0% 0% 74.43%***
Conseguir ocupação com 0% 0% 8% 0%
carteira assinada
Não acrescentou nenhuma
melhoria
0% 0% 0% 7.78%
Observa-se aqui um padrão distinto daquele observado nas ADRs em dois aspectos. Primeiro, ocorre
uma diferença mais acentuada dos resultados encontrados nos diferentes programas. Ou seja, a
percepção de que o principal benefício do programa foi aumentar conhecimento e melhorar
desempenho no trabalho (genérico e indireto, como sugerido anteriormente) varia de 100% em Cardoso
Moreira a apenas 11.1% no PRODER da Rocinha. Isto se deve a dois motivos: o diferente estágio em
cada programa se encontra (no caso de Cardoso Moreira a implantação do programa foi recentemente
concluída e no momento da avaliação o curso de formação de costureiras era a única ação já realizada)
e a próprias características das comunidades beneficiárias (no caso da Rocinha, já existe uma tradição
de movimentos comunitários e os usuários têm, provavelmente, mais acesso a informações e recursos
etc.).
O segundo aspecto é a constatação de que, em alguns casos, existe a percepção mais acentuada de que
benefícios diretos e objetivos resultaram do programa. Veja-se, por exemplo, o PRODER de Jurujuba
em que quase 50% identificam com o programa a melhoria de renda obtida e o aumento de faturamento
de MPE da qual fazem parte, sendo que outros 8% indicaram ter obtido ocupação com carteira assinada
em decorrência do programa. Já na Rocinha, chama a atenção o expressivo percentual de beneficiários
do programa que declararam ter tomado a iniciativa de abrir MPE após a participação no programa. É
importante ressaltar que muitas das pessoas entrevistadas consideraram ocupações e rendas gerados em
atividades que envolvem mais de uma pessoa como abertura de MPE. Assim não se deve considerar
que todos os empreendimentos citados estejam legalizados, mas ainda que não estejam apontam para a
uma expressiva geração de ocupações. É importante se observar também que o percentual de pessoas
que não associaram nenhuma melhoria pessoal ao programa é muito menor. De fato, nenhum usuário
fez essa avaliação em três dos quatro programas avaliados (Cardoso Moreira, São Fidélis e Jurujuba) e
na Rocinha, esse percentual foi inferior a 8%, muito abaixo, portanto, daquele observado na ADR Zona
Sul.
Esses dados podem ser interpretados como decorrentes da própria característica do programa. O
PRODER delimita uma área e uma comunidade específicas para sua atuação e desenha um conjunto de
iniciativas e ações que devem ser, em princípio, adequadas às demandas daquela comunidade. Os
dados encontrados nessa avaliação parecem indicar que essa pode ser uma estratégia eficaz de ação, se
pretende-se produzir benefícios diretos e objetivos para os usuários.
16

3.3 – Percepção pelos clientes da qualidade dos serviços e da eficácia geral dos programas
avaliados
Algumas das perguntas feitas aos clientes das ADRs e dos PRODER visavam a obter uma avaliação
direta da qualidade dos serviços prestados e do eficácia dos programas avaliados, tratando-se
naturalmente de uma avaliação subjetiva, ou seja, da percepção dos usuários quanto aos itens
perguntados. As tabelas VII e VIII mostradas a seguir resumem as informações obtidas,
respectivamente na avaliação das ADRs e dos PRODER. Cabe notar que na avaliação das ADRs as
perguntas se referiam à qualidade dos serviços e ao desempenho do SEBRAE como um todo, já que a
ADR é uma projeção regional do SEBRAE. No caso do PRODER, entretanto, as perguntas se referiam
a aspectos do programa, especificamente.
TABELA VII
PERCEPÇÃO DOS USUÁRIOS SOBRE A QUALIDADE DO ATENDIMENTO, DOS
SERVIÇOS E DO DESEMPENHO DO SEBRAE
Prguntas ADR norte Metrop. III Zona Sul
1. Perguntas feitas a representantes da sociedade
O SEBRAE tem identificado adequadamente as
potencialidades e demandas da região
4.75 3.93 3.33
As ações do SEBRAE estão adequadas para
atender as demandas do município
3.33 3.57 3.00
As ações que o SEBRAE promove possuem um
diferencial que não é capaz de ser suprido por
outra instituição no momento
3.60 3.66 4.00
2. Perguntas feitas a usuários de produtos e serviços do SEBRAE
O atendimento nos balcões é adequado 4.41 3.63 3.33
As informações e orientações transmitidas nos
balcões são claras e adequadas
4.26 3.55 3.33
A qualidade do serviço utilizado atendeu às
minhas expectativas
4.19 3.61 3.30
Em termos gerais o desempenho do SEBRAE é
muito bom
4.17 4.20 3.86
Indique qual é a sua intenção de utilizar
novamente os serviços do SEBRAE nos próximos
12 meses
3.96 2.81 1.80
Antes de passar a análise dos dados da tabela cabe um comentário preliminar sobre a natureza da
informação nela contida. Os valores apresentados na tabela se referem à média ponderada pela
freqüência das notas atribuídas aos respondentes à cada questão. Conforme mencionado quando se
apresentou a metodologia, cada respondente era solicitado a dar uma nota a cada quesito variando de 1
(discordo inteiramente) a 5 (concordo inteiramente). Assim, uma avaliação totalmente positiva de um
quesito resultaria numa média 5 e uma avaliação totalmente negativa numa nota 1. Para efeito da
análise dos resultados obtidos dever-se-ia definir uma nota considerada boa, ou seja, que expressa uma
avaliação positiva por parte dos respondentes, para aquele item. Em outras palavras, qual é o
“benchmark” em termos de qualidade e desempenho que se deveria adotar para avaliar o SEBRAE e
seus programas. Considerando-se que o desempenho ideal (e qualidade total) resultariam numa nota 5,
é razoável aceitar-se uma nota inferior a 5. Porém, quanto inferior? Temos aqui, mais uma vez
demonstrada que a avaliação envolve decisões gerenciais e serve para aprimorar o desempenho
17

gerencial e não substitui as decisões gerenciais. Para efeito deste trabalho vamos considerar que um
desempenho eficaz deve corresponder a, pelo menos, 80% da nota máxima, ou seja, vamos considerar
que um item está sendo bem avaliado pelos respondentes quando a média daquele for igual ou maior a
4. Evidentemente, essa escolha é arbitrária, embora não incoerente, e poder-se-ia chegar a outra leitura
e conclusão dos dados obtidos neste trabalho se adotasse um outro padrão de desempenho.
A tabela VII apresenta informações para dois grupos de respondentes que foram classificados
inicialmente como clientes: os representantes da sociedade e os usuários dos produtos e serviços. As
perguntas endereçadas aos primeiros refletem aspectos relacionados a atuação estratégica do SEBRAE
numa determinada região e, em certa medida, mede a visão estratégica demonstrada pelo gerente da
ADR. Foram realizadas entrevistas com os gerentes das ADRs em que estes foram questionados sobre
fatores como demandas identificadas na região, ações do SEBRAE para atender as demandas e
parcerias realizadas. As respostas para essas questões foram apresentadas aos representantes a fim de
que possuíssem informações suficientes para fazerem suas avaliações. As perguntas endereçadas aos
usuários se referem a aspectos operacionais da atuação do SEBRAE, em cada ADR.
Analisando-se os dados referentes aos representantes, observa-se que apenas em dois casos a nota
obtida foi igual ou superior a quatro. No quesito identificação adequada das potencialidades e
demandas da região a média obtida para a ADR Norte foi de 4,75, muito próxima da nota máxima
possível, indicando que a ADR tem um ótimo conhecimento das necessidades e potencialidades
regionais. Já no que toca a considerar o SEBRAE uma instituição que apresenta um diferencial não
encontrado em outras instituições, as notas atribuídas pelos respondentes da ADR Zona Sul resultaram
numa média 4, indicando que atribuem uma importância especial e estratégica ao SEBRAE.
Um outro aspecto a ressaltar foi a nota sofrível para o item que trata da adequação das ações do
SEBRAE para atender as demandas locais. Neste item, a maior média encontrada foi de 3,57 para a
ADR Metropolitana III, sendo que a média para a ADR Norte foi de 3,33 e para a ADR Zona Sul
apenas 3,00. Observe-se o contraste nos dois quesitos citados da nota conferida à ADR Norte.
Enquanto que para a capacidade de identificar demandas e potencialidades a média obtida foi de 4,75,
no que toca a capacidade de atender a essas demandas com ações a nota atribuída foi de apenas 3,33.
Essa discrepância deixa claro que, para os representantes da sociedade que avaliam o SEBRAE de uma
perspectiva mais ampla, fica a impressão de que a instituição tem se revelado mais capaz de definir
diretrizes do que de realizar ações específicas que levam a concretização dessas diretrizes.
Uma outra leitura desse resultado discrepante, porém, pode estar associado ao fato de que as lideranças
locais esperam ações mais abrangentes e essenciais (geralmente relacionadas a infra-estrutura,
investimentos, etc.) que escapam do escopo do SEBRAE.
A sofrível avaliação para o item atendimento das demandas locais, mencionada anteriormente, pode
sugerir a necessidade de uma comunicação mais clara dos objetivos e das formas de atuação do
SEBRAE. Sugerem, também, que o SEBRAE poderia atuar mais intensamente de forma política,
atualizando como catalizador de ações de outras instâncias e agências governamentais.
O item 2 da tabela VII apresenta os resultados obtidos com os usuários dos produtos SEBRAE. Neste
caso, analisando-se os três primeiros itens avaliados (atendimento nos balcões, clareza das informações
e qualidade do serviço prestado) é o desempenho destacado da ADR Norte em relação à Metropolitana
III e Zona Sul. De fato, para esses três itens a média obtida pela ADR Norte foi superior a 4, chegando
a 4,4 para o item “atendimento nos balcões”. Comparando-se as outras duas ADRs, observa-se que a
Metropolitana III tem um desempenho um pouco superior ao da Zona Sul. As médias desta última, nos
três quesitos mencionados não foram superiores a 3,33 (menos de 70% do valor máximo).
18

Pode-se observar aqui que os resultados obtidos já vão indicando alguma coerência. De fato, quando se
analisou o impacto dos serviços adquiridos nas diferentes ADRs, mais de 18% dos usuários da ADR
Zona Sul indicaram que o serviço não acrescentou melhoria alguma, enquanto que para os usuários da
ADR Metropolitana III este percentual foi de 7% e de apenas 4,35% para a ADR Norte. Embora não
se tenha elementos para identificar as causas desse desempenho diferente (ou melhor dizendo, da
percepção pelos usuários de desempenho diferente), as evidências sinalizam que os usuários
encontram-se mais satisfeitos com os serviços prestados pela ADR Norte e são mais críticos em relação
a ADR Zona Sul.
Os dois outros itens indagados aos usuários levaram a resultados bem diferentes e até certo ponto
inesperados. Quando se pede que os usuários avaliem, em termos gerais, o desempenho do SEBRAE,
encontra-se uma nota média superior a 4,00 tanto para a ADR Norte como para a ADR Metropolitana
III, sendo que o deste última é ligeiramente superior. A própria nota dada pelos usuários à ADR Zona
Sul, embora inferior a 4,00 é a maior obtida por esta ADR junto aos usuários (3,86). Esses resultados
indicam que a imagem e a impressão geral que os usuários têm do SEBRAE é predominantemente
positiva. Entretanto, quando se indaga qual é a intenção desses usuários voltarem a usar os serviços do
SEBRAE a nota encontrada é abaixo de 4,00 para as três ADRs, sendo decepcionantemente baixa para
as ADRs Metropolitana III (2,81) e Zona Sul (1,80). Mais uma vez aqui fica evidenciado o
desempenho mais destacado da ADR Norte, na percepção de seus usuários, já que a média obtida neste
item foi muito próxima de 3,96, muito próxima do padrão de qualidade sugerido anteriormente.
A razão desse aparente paradoxo, expresso por uma avaliação positiva da instituição e por um aparente
desinteresse em voltar a utilizar os seus serviços, pode estar associada, mais uma vez às informações
obtidas quando se analisou o impacto dos serviços, no item anterior. Lá observamos que a maioria dos
usuários de serviços do SEBRAE identifica como principal benefício do serviço adquirido o aumento
de conhecimento e a melhoria do desempenho no trabalho, aspectos que definimos anteriormente como
genéricos e indiretos. Assim, os usuários embora considerem o serviço prestado como de qualidade o
que os leva a avaliarem a instituição de forma positiva, não identificam um benefício mais “concreto”
com o serviço adquirido, o que os torna reticentes sobre a possibilidade de voltar a utilizá-los. Essas
constatações reforçam a necessidade de uma reflexão da direção do SEBRAE e de seu corpo
gerencial sobre a natureza e conteúdo de seus produtos e a adequação dos mesmos à clientela, bem
como sobre a importância de uma estratégia diferenciada regionalmente, aspectos já referidos
anteriormente neste relatório.
A análise do desempenho do PRODER feita pelos seus clientes é mostrada na tabela VIII, a seguir.
Considerou-se como clientes do PRODER os membros do forum (à exceção de Jurujuba) e os usuários
de produtos do SEBRAE, via ação do PRODER.
19

TABELA VIII
PERCEPÇÃO DOS USUÁRIOS SOBRE A QUALIDADE DOS SERVIÇOS E DO
DESEMPENHO DO PRODER
Perguntas Cardoso São Jurujuba Rocinha
1. Membros do Forum
Moreira Fidélis
Os serviços oferecidos pelo SEBRAE, via
ação do PRODER, estão adequados às
necessidades da população
4.80 3.66 x 4.18
O programa PRODER como um todo teve um
desempenho muito bom
4.30 3.72 x 4.56
O SEBRAE está cumprindo sua parte para
viabilizar o plano de desenvolvimento
2. Usuários de serviços, via PRODER
4.57 4.66 x 4.53
A qualidade do serviço prestado pelo
PRODER atendeu as minhas expectativas
3.89 4.45 4.42 3.33
O programa PRODER como um todo teve um
desempenho muito bom
x 3.86 4.58 2.35
A análise dos dados da tabela VIII mostra situações bens distintas quando se analise os dois diferentes
tipos de “clientes”. No que toca aos membros do fórum, que têm um envolvimento maior e, mesmo
uma responsabilidade política com o programa, observa-se uma avaliação predominantemente positiva
para os três itens pesquisados. De fato, encontramos notas superiores a 4,00 nos três itens nos
PRODER de Cardoso Moreira e Rocinha e em um dos três itens no PRODER de São Fidélis. No caso
de São Fidélis, a avaliação mais crítica certamente está associada a expectativa criada junto a
população com o programa.
É importante considerar que por se tratar de um PRODER Especial, que envolve parcerias com as
diversas instâncias do poder público, criou-se grandes expectativas e frustrações que escapam à
responsabilidade do SEBRAE.
Note-se, entretanto, quando se indaga sobre o desempenho do SEBRAE no cumprimento dos objetivos
do plano do desenvolvimento, as notas atribuídas pelos membros dos fórum dos três programas são
superiores a 4.5, indicando que existe a percepção clara de que se alguma instituição não está
fazendo sua parte no programa, não é o SEBRAE. É importante ressaltar que boa parte dos
entrevistados preferiu não responder a esta questão devido ao pouco tempo transcorrido desde o
término dos encontros de capacitação, julgando que não existe ainda informação suficiente para avaliar
esta questão. Deve-se considerar que as notas são pouco representativas e que avaliações futuras podem
confirmar a impressão inicial ou revelar resultados bastante diversos.
Já quando se examina as notas obtidas junto aos usuários de serviços do SEBRAE via ação do
PRODER, os resultados se mostram mais dispersos. Assim, os participantes do PRODER de Jurujuba
oferecem uma avaliação bastante positiva (médias superiores a 4,4 nos dois itens) tanto para a
qualidade do serviço como para o desempenho do programa como um todo. Os participantes da
Rocinha estão no extremos oposto com uma avaliação bastante crítica (médias de 3,33 e 2,35 para os
itens pesquisados), enquanto que os participantes de São Fidélis e Cardoso Moreira mostram resultados
dentro ou ligeiramente abaixo do padrão esperado. Quando questionados sobre o desempenho do
PRODER, os usuários de Cardoso Moreira relataram nunca terem ouvido falar em PRODER. Os
20

esultados de São Fidélis e Cardoso Moreira são explicados, provavelmente pelo estágio ainda bastante
inicial do programa o que não permite aos participantes uma avaliação mais ampla e fundamentada.
Já a avaliação mais crítica obtida na Rocinha, pode estar relacionada, ao maior grau de conscientização
e de experiência de vida comunitária daquela população, o que aguça suas expectativas e seu senso
crítico. A transcrição de dois comentários obtidos em entrevistas com membros do fórum evidencia
esse aspecto:
“Antes do início dos trabalhos do fórum já haviam projetos definidos pelo PRODER. O fórum não
tinha como deliberar. Parecia que eles iam fazer aquilo com ou sem o fórum. Isso acabou dividindo o
PRODER em duas vertentes: os projetos do fórum e outros pré-aprovados. O fórum conseguiu inserir
alguns projetos, mas faltou integração. Mas quero enfatizar que a proposta é excelente. Pena que não
alcançou tudo que poderia.”
“Acho que a iniciativa de reunir instituições locais foi muito boa. Mas acho também que quando as
pessoas (capacitadores) vierem para a Rocinha, têm de vir abertos para aprenderem a nossa realidade.
As pessoas têm de conhecer antes para depois saber do que a gente precisa. Como eu já fiz muitos
cursos deste tipo e tenho muito conhecimento sobre os assuntos trabalhados, achei que ficou aquém de
minhas expectativas”.
3.4 – Avaliação do grau de conhecimento do SEBRAE e de seus programas e da compreensão de
sua missão e de seus objetivos
Um aspecto interessante que pôde ser verificado na pesquisa é o grau em que os usuários dos serviços
do SEBRAE ou de programas específicos, no caso do PRODER, estão informados sobre os serviços
disponíveis e o tipo de apoio que podem obter da instituição. Além disso, um outro aspecto interessante
a examinar diz respeito ao conhecimento que os clientes têm da missão e dos objetivos do SEBRAE.
As informações obtidas a esse respeito podem ajudar a direção da instituição em, pelo menos, duas
direções: avaliar a eficácia das estratégias, instrumentos e veículos de divulgação que utiliza e avaliar a
imagem que os clientes guardam da instituição.
As tabelas IX e X mostradas a seguir contêm as avaliações obtidas em quesitos específicos sobre a
divulgação dos produtos e serviços e conhecimento dos objetivos do SEBRAE, incluídos nos
questionários aplicados aos clientes das ADRs e do PRODER, respectivamente. Além disso, na análise
que se segue serão apresentados comentários obtidos em entrevistas realizadas com diversos
participantes, principalmente com representantes da sociedade, que tratam da mesma questão e ajudam
a traçar um quadro mais rico e completo de tópico analisado.
TABELA IX
GRAU DE CONHECIMENTO DOS SERVIÇOS, PRODUTOS E OBJETIVOS DO SEBRAE -
ADRs
Perguntas ADR ADR ADR Zona Sul
norte Metrop.III
1. Pessoas Físicas e Jurídicas que não tenham utilizado os serviços do SEBRAE
Considero que o SEBRAE e seus produtos são bem
divulgados na região
3.25 1.57 1.56
Tenho conhecimento dos objetivos do SEBRAE 2.65 1.71 1.73
2. Usuários de produtos do SEBRAE
Considero que o SEBRAE e seus produtos são bem
divulgados na região
3.96 2.85 2.34
Tenho conhecimento dos objetivos do SEBRAE 3.49 2.52 2.09
21

As baixas médias obtidas em quase todos os quesitos constantes da tabela anterior (de fato, não se
encontrou nenhuma nota superior a 4 e na maioria dos casos a média calculada foi inferior a 3) leva a
duas conclusões inequívocas: 1) de maneira geral a percepção de usuários e não usuários é de que os
produtos do SEBRAE não são adequadamente divulgados nas suas respectivas regiões, bem como não
há percepção clara de quais sejam seus objetivos; 2) mais uma vez a comparação entre as três ADRs
sinaliza uma clara superioridade da ADR Norte, em todos os quesitos pesquisados. De fato, de todos os
itens constantes da tabela, aquele em que a média obtida mais se aproximou de 4 (padrão proposto
nesta análise como indicativo de desempenho adequado) foi para os usuários de produtos do SEBRAE
da ADR Norte quando indagados se consideram que os produtos são bem divulgados na região.
Observe-se que, quando a mesma pergunta é feita aos não usuários, a nota encontrada é extremamente
baixa nas ADRs Metropolitana III e Zona Sul (em ambos os casos inferior a 2) e, mais uma vez,
superior na ADR Norte, embora apenas ligeiramente superior a 3, o que também indica um resultado
sofrível.
Quando se indaga sobre o conhecimento dos objetivos do SEBRAE, os resultados obtidos são
igualmente sofríveis, indicando que não há uma clara percepção pelos usuários sobre quais são os
objetivos do SEBRAE. Neste item as médias calculadas são inferiores a 3, em todos os casos, à
exceção dos usuários da ADR Norte, para os quais a média obtida foi em torno de 3.5. Cabe notar que a
pergunta sobre o conhecimento dos objetivos do SEBRAE foi acompanhada de uma pergunta de
controle na qual se listava um conjunto de objetivos que seriam associados à ação do SEBRAE e se
pedia ao respondente que assinalasse quais dentre aqueles constituíam objetivos do SEBRAE (ver a
propósito o questionário aplicado aos usuários e não usuários de serviços na ADR – Anexo IV – e a
tabulação desta pergunta apresentada de forma desdobrada no Anexo II). No caso da ADR Norte, cerca
de 20% assinalaram todos os itens que fazem parte dos objetivos do SEBRAE. Esse percentual foi de
apenas 5% entre os respondentes a ADR Zona Sul e de 1% na ADR Metropolitana III. Por outro lado,
cerca de 22% dos usuários da ADR Zona Sul identificaram como objetivo do SEBRAE apenas
“estimular a criação de MPEs”, enquanto que 13% dos usuários da ADR metropolitana III deram essa
mesma resposta.
Ainda respondendo a essa pergunta, mais de 40% dos usuários da ADR Metropolitana III e 20% dos
usuários da ADR Zona Sul declararam não saber o objetivo do SEBRAE. Na ADR Zona Norte esse
percentual foi da ordem de 12%.
Os dados obtidos parecem não deixar dúvida que os clientes (efetivos e potenciais) do SEBRAE
consideram deficiente a divulgação da instituição e de seus produtos. Esse tópico seria mais um,
portanto, a merecer a atenção e reflexão da instituição, endereçando questões do tipo: qual a eficácia
e adequação das estratégias e instrumentos de divulgação atualmente utilizados? Qual o efeito dessa
divulgação deficiente (ou percebida como deficiente pelos clientes) sobre o alcance de diferentes tipos
de usuários e sobre o próprio desempenho da instituição? Como isto afeta a imagem da instituição?
Dentre outras.
Um comentário de representante de Rio Bonito ajuda a ilustrar, não só a percepção de divulgação
deficiente como de alternativas que podem ser consideradas:
“A atuação do SEBRAE em Rio Bonito é elogiável. Só acho que o SEBRAE deveria investir mais em
divulgação. O jornal da associação é o principal informativo local de Rio Bonito, mas se eles quiserem
usar outros meios que usem, mas divulguem. As pessoas precisam saber para o que é que serve”.
22

Essa percepção é compartilhada pelo próprio gerente da ADR Metropolitana III que afirma: “O
SEBRAE, como instituição, deve ser mais bem divulgado, principalmente informando para a
população o que exatamente pode fazer”.
Na mesma linha é o comentário feito por um dos representantes em Niterói, que afirmou: “A maior
dificuldade do SEBRAE é de comunicação com o público. É problema de divulgação. Do SEBRAE
como um todo, institucionalmente”.
Por último, caberia considerar que o resultado superior observado na pesquisa da ADR Zona Norte,
com relação ao tópico discutido acima, pode tanto decorrer de uma atuação mais eficaz da gerência da
ADR e de seu corpo funcional (o que é provável), como também de características peculiares da ADR e
de seus usuários. Um fator que pode ter um efeito importante na avaliação obtida diz respeito ao fato de
se tratar de uma ADR que tem toda a sua ação desenvolvida no interior, o que provavelmente permite
uma atuação mais próxima dos usuários, contatos mais constantes e eficazes com lideranças locais e
maior visibilidade. Embora essa característica seja um “dado” da situação, pode também permitir tirar
lições gerenciais desse fato. Ou seja, um desafio importante para o SEBRAE pode ser o de
desenvolver estratégias e instrumentos de comunicação e divulgação adequados ao contexto em
que cada ADR opera. Mais uma vez, permeia aqui a idéia de que a instituição deve estar atenta ao seu
mercado e evitar soluções simétricas.
TABELA X
GRAU DE DIVULGAÇÃO DO PRODER E DE CONHECIMENTO DE SEUS OBJETIVOS
Perguntas Cardoso São Jurujuba Rocinha
1. Membros do fórum
Moreira Fidélis
Tenho conhecimento dos objetivos do
PRODER e das ações que estão sendo
desenvolvidas
x x -o- 4.56
2. Pessoas que nunca utilizaram os serviços do SEBRAE via ação do PRODER
Houve uma divulgação adequada do
PRODER no município
1.38 1.32 -o- 1.12
Tenho conhecimento dos objetivos do
PRODER
x 1.12 -o- 1.02
Houve divulgação adequada para 2.09 1.125 -o- 1.11
participação no fórum do PRODER
3. Usuários dos serviços do SEBRAE via ação do PRODER
Tenho conhecimento dos objetivos do
PRODER e das ações que estão sendo
desenvolvidas
x x 4.58 1.78
A análise da respostas obtidas para os mesmos itens analisados anteriormente, porém relacionados
especificamente ao PRODER levam a resultados igualmente sofríveis, com apenas duas exceções: os
membros do fórum do PRODER Rocinha revelaram conhecer perfeitamente os objetivos do PRODER
e de suas ações como indica a nota superior a 4.5 obtida para o item; e os usuários do PRODER de
Jurujuba indicaram também um conhecimento seguro dos objetivos e das ações. Em todos os demais
casos a nota encontrada ou foi muito baixa, indicando, mais uma vez, a percepção de uma divulgação
deficiente do programa e de seus objetivos. As questões sobre o conhecimento dos objetivos do
PRODER não faziam parte dos questionários aplicados em Cardoso Moreira e São Fidélis. Foram
23

inseridas posteriormente devido à constatação de que os envolvidos com o PRODER, membros do
fórum e usuários, não conheciam os objetivos do PRODER ou confundiam-nos com os do SEBRAE.
Já as notas elevadas obtidas na Rocinha e em Jurujuba podem indicar, num caso, a já mencionada
“cultura” de participação e maior capacidade de se informar da comunidade e, no outro, o tempo
decorrido de execução do programa que o tornou, provavelmente, algo familiar para os usuários.
De qualquer forma, os resultados apresentados na tabela X não deixam dúvidas de que existe a
percepção de que a divulgação do programa foi deficiente. É cedo para saber em que medida, tal
situação poderá afetar os resultados do programa. De qualquer forma, essa é uma informação relevante
que a direção do SEBRAE e a Coordenação do Programa devem utilizar na continuidade do mesmo.
3.5 – Avaliação de Processos e Estratégias Gerenciais
O último item desta seção aborda a avaliação de aspectos dos processos gerenciais que estão por trás do
desenvolvimento, da execução e da distribuição de serviços e produtos do SEBRAE e do PRODER em
particular. A intenção, nesta análise, é prover a direção e o corpo gerencial e funcional do SEBRAE de
informações que ajudem a explicar alguns dos resultados apresentados e discutidos anteriormente.
Essencialmente, tenta-se identificar características do processo, do estilo e das estratégias gerenciais
adotadas pela instituição que melhoram ou limitam o seu desempenho. Para esta análise, além de
examinar alguns resultados obtidos na pesquisa de campo junto aos clientes, discute-se com mais
detalhe os resultados obtidos com a pesquisa junto a funcionários, corpo gerencial e consultores
envolvidos no planejamento e execução dos serviços.
A tabela XI, apresentada a seguir apresenta resultados da pesquisa de campo realizada com esses
diferentes atores. Cabe mencionar que nessa tabela os valores apresentados têm interpretações distintas
para os clientes e para o pessoal operacional e de planejamento. No primeiro caso, os valores
apresentados se referem à média encontrada para cada pergunta incluída na tabela. Já para o pessoal
operacional e de planejamento, os valores que a tabela retrata se referem à média de todas as perguntas
endereçadas a cada grupo respondente. Assim, por exemplo, para os funcionários das ADRs, foram
feitas 7 perguntas. O valor apresentado na tabela XIII, então, representa a média das médias
encontradas para essas 7 perguntas. As tabelas detalhadas com as médias de cada pergunta realizada,
para cada grupo de respondente, podem ser encontradas no Anexo II deste relatório.
TABELA XI
AVALIAÇÃO DE PROCESSOS – ADRs
Perguntas Adr Adr Adr
1. Representantes da Sociedade
Norte Metrop. III Zona Sul
O SEBRAE está bem articulado com a entidade que você
representa
4.00 3.80 2.50
O SEBRAE realiza parcerias adequadas em quantidade e qualidade
2. Usuários dos Produtos do SEBRAE
4.06 4.27 3.50
O SEBRAE entrou em contato para avaliar o grau de satisfação
com o produto utilizado
2.91 1.16 1.38
O SEBRAE procura acompanhar se os serviços adquiridos estão
produzindo resultados
2.50 1.32 1.17
3. Funcionários da ADR 3.62 3.76 3.70
4. Funcionários do Balcão 4.04 3.69 4.33
5. Gerentes de Produtos da Sede 3.61 3.68 3.66
24

A análise da tabela acima deve ser dividida em três partes. A primeira parte trata das perguntas
endereçadas aos representantes da sociedade. Essas perguntas, como se observa, dizem respeito à
prioridade que o SEBRAE atribui, em sua estratégia, à realização de parcerias e articulação com outras
instituições. Esses são aspectos que tendem a se tornar cada vez mais indispensáveis para instituições
como o SEBRAE, cujo alcance e impacto do trabalho que realizam podem ser ampliados com o
atendimento multidisciplinar e interinstitucional de seus clientes (complementar treinamento com
obtenção de crédito, consultoria organizacional com treinamento em tecnologia ou profissional, etc.).
Nos dois quesitos pesquisados junto aos representantes os resultados, se não são excepcionais, também
não são decepcionantes. O pior resultado encontrado diz respeito a capacidade de articulação da ADR
Zona Sul, cuja média encontrada foi de 2.50, que pode ser considerada muito baixa e indicaria a
necessidade de uma atenção maior a este aspecto. Essa mesma ADR recebeu também a pior avaliação
no que toca realização de parcerias, embora o resultado obtido, 3.50, possa ser considerado razoável.
Cabe observar, também, que estas são tarefas estratégicas de responsabilidade direta (e talvez
insubstituível) do próprio gerente da ADR. O monitoramento dessa informação pode ser, portanto,
um valioso instrumento para o gerente orientar as suas ações e iniciativas e não permitir que essa
responsabilidade estratégica seja colocada num plano secundário.
A transcrição de alguns comentários colhidos em entrevistas ajudam a compreender a frustração que a
ausência de sintonia e articulação podem provocar junto aos clientes:
“O SEBRAE hoje quer caminhar sozinho. Sua política mudou para pior. Se afastou das associações
comerciais. Agora ele é concorrente. Falo do SEBRAE como um todo, no estado do Rio. É uma pena
que esteja nas mãos da indústria. Ele deveria voltar para dentro das associações”.
“Acho que Senac, Senai e Sebrae devem estar mais integrados para evitar que um faça o trabalho do
outro. Devem se conhecer mais e somar esforços, de forma complementar, para que haja cooperação e
não competição”.
Eventualmente o distanciamento e a ausência de uma estratégia consistente de cooperação pode levar
da frustração ao ressentimento e críticas mais contundentes, como comprova o comentário colhido num
sindicato de empresários de Niterói:
“O SEBRAE tem que dar prioridade para as empresas que contribuem e não para trabalhos
comunitários como o PRODER. Estamos em época de crise. Ele precisa ajudar o MPE que contribui, e
não gerar concorrência para este MPE. Também não deve atuar em legalização de empresários. Isto é
papel do governo.”
Pertinentes ou não, esses comentários ilustram o dano que pode causar à imagem da instituição o
descuido com a comunicação e articulação com setores e lideranças locais. A menção a esses
comentários visa apenas a reforçar a importância de que a gerência confira prioridade ao estreitamento
desses relacionamentos e possa transformar atitudes hostis ou de desinteresse em apoio e parcerias.
A segunda parte da tabela analisada se refere às perguntas feitas para usuários de serviços relacionadas
às iniciativas de acompanhamento dos serviços prestados, no que toca a qualidade e aos resultados
obtidos (o equivalente numa empresa privada a atividade de pós-venda). Neste caso os resultados
encontrados são indiscutivelmente ruins. De fato, de todas as perguntas feitas aos usuários as piores
notas foram atribuídas aos dois itens incluídas na tabela XI. Mais uma vez, o resultado menos frustrante
(embora fraco) foi observado na ADR Norte (com notas inferiores a 3.0 para os dois itens pesquisados).
No caso das outras duas ADRs, a nota encontrada foi próxima de 1.0, indicando a virtual ausência de
preocupação com o acompanhamento dos resultados dos serviços prestados.
25

Essa talvez, seja uma das constatações mais importantes da avaliação realizada. Porque, ainda que
se possa argumentar que essa atividade não está prevista nas tarefas das ADRs (daí explicar-se as
baixas notas encontradas), fica claro que se trata de uma omissão (ou de uma fragilidade do
processo gerencial) que provavelmente limita consideravelmente a qualidade e o impacto dos
serviços prestados pelo SEBRAE. Corrigir essa deficiência seria uma prioridade da direção da
instituição e de seus gerentes.
Basta lembrar que uma das características que distinguem as organizações de sucesso atualmente, é
exatamente a capacidade de atender permanentemente seus clientes, acompanhar o resultado e os
benefícios dos produtos e serviços que vendem, criando uma relação de lealdade com seus clientes.
A avaliação do Pessoal Operacional (das ADRs e dos Balcões) e da sede (Gerentes de Produtos), tratou
de quatro aspectos do processo gerencial:
- padrão de comunicaçao entre os diferentes níveis hierárquicos (Balcão/ADRs, ADRs/Sede);
- padrão de interação entre os diferentes níveis hierárquicos;
- qualificação e preparo dos funcionários;
- produção e geração de receita.
Observa-se que a maioria das notas encontradas situaram-se num mesmo patamar entre 3.6 e 3.7, à
exceção da avaliação dos funcionários dos balcões, onde se encontram os dois únicos resultados
superiores a 4.00 (para as ADRs Norte e Zona Sul). Esse resultado indica que os diferentes grupos de
funcionários (ressalvadas as exceções mencionadas) tendem a perceber que a qualidade dos processos
gerenciais é apenas razoável. Apesar dessa aparente concordância, o exame mais detalhado das
informações obtidas (que podem ser consultadas, como mencionado anteriormente, no Anexo II deste
relatório) revela algumas importantes diferenças.
No que toca aos funcionários das ADRs, por exemplo, a comunicação entre estas e a sede recebeu nota
mais baixa que a média em todas as ADRs (a resposta a esse item recebeu notas abaixo de 3.5 em todas
as ADRs). A capacidade da Sede de atender prontamente às demandas das ADRs também recebeu
notas sofríveis, principalmente nas ADRs Metropolitana III e Zona Sul. Curiosamente quando se pediu
que os próprios funcionários avaliassem o grau em que estão preparados para exercer suas funções, a
nota encontrada foi muito baixa na ADR Norte (2.5) e esteve entre as mais altas (4.14), na ADR Zona
Sul. Esse resultado não deixa de ser paradoxal, já que a avaliação da ADR Norte pelos seus usuários
sempre esteve acima das outras pesquisadas. Uma conjectura interessante que esses resultados ensejam
é de que os funcionários da ADR Norte têm mais auto-crítica e estão mais interessados em se aprimorar
e que, exatamente, essa atitude mais interessada pode levar a um empenho e comprometimento maior,
o qual é percebido pelo cliente. Aqui está certamente um aspecto que deve desafiar a reflexão dos
gerentes e que pode levar a um interessante aprendizado.
As maiores notas encontradas para as ADRs Metropolitana III e Zona Sul dizem respeito, nos dois
casos, ao reconhecimento de que as respectivas gerências realizam planejamento e procuram
acompanhar os resultados de forma sistemática (as notas para este item foram superiores a 4.0). Já para
os funcionários da ADR Norte a maior nota foi para o item que avaliou o padrão de interação entre a
ADR e a SEDE. A nota 4.33 atribuída a esse item indica que os funcionários consideram que o padrão
de interação é predominantemente de cooperação. Apenas para comparar, em resposta a este mesmo
item os funcionários da ADR Metropolitana III atribuíram nota 3.9 e os da ADR Zona Sul 3.0.
Um outro item que apresentou resultado consistente nas três ADRs foi o que tratava do padrão de
interação entre ADRs e Balcões. Nos três casos, esse padrão foi considerado como predominantemente
de cooperação, com nota superior a 4.0
26

No que toca a avaliação feita pelos funcionários dos Balcões, cabe destacar as notas mais baixas
atribuídas pelos funcionários dos Balcões da ADR Metropolitana III para os itens que trataram dos
padrões de interação entre Balcões e ADR e à capacidade da ADR de responder as demandas dos
Balcões (nota 3.5 nos dois casos) e a nota mais baixa de todos os itens, atribuída pelos funcionários da
ADR Norte ao item que indagou sobre o preparo dos funcionários (para o qual a nota atribuída foi 3.0).
Note-se que essa avaliação mais crítica dos funcionários dos balcões desta ADR em relação à sua
própria qualificação repetiu o que havia sido observado para os funcionários da ADR.
No que toca a avaliação feita pelos Gerentes de Produtos da Sede cabe destacar dois pontos. A nota
mais alta atribuída a ADR Norte para a pergunta que tratou da capacidade da ADR atender às
demandas da região (é importante ressaltar que muitos dos gerentes não se considerou em condições
responder a esta questão uma vez que não dispunham de informação suficiente) e a nota baixa atribuída
a todas as ADRs no que toca a qualificação e preparo dos funcionários. Observa-se, portanto, de um
lado, que os gerentes de produto ratificam a boa impressão que os usuários têm da capacidade da ADR
Norte em atender suas demandas e, de outro, que esses mesmos gerentes têm uma avaliação bastante
crítica da qualificação dos funcionários das ADRs, o que provavelmente se reflete na avaliação mais
crítica dos demais itens, inclusive dos que se referem a desempenho.
A avaliação dos processos relacionados ao PRODER será desenvolvida na sequência, com base nos
dados apresentados na tabela XII, a seguir.
TABELA XII
AVALIAÇÃO DE PROCESSOS – PRODER
Perguntas/Grupos Cardoso São Jurujuba Rocinha
Moreira Fidélis
1. Membros do Forum 4.04 3.40 -o- 4.12
2. Capacitadores 3.30 4.10 -o- 3.50
3. Consultores x 4.50 -o- 3.91
4. Funcionário do PRODER 4.44 5.00 3.67 3.33
5. Equipe do PRODER da Sede 4.80 4.80 4.76 4.72
6. Gerentes de Produtos 3.64 3.64 3.64 3.64
Um exame panorâmico dos dados da tabela XII indica que a avaliação dos diferentes grupos
considerados é, predominantemente, favorável tendo em vista o número significativo de notas
superiores a 4.00, várias delas muito próximas do 5.0. Mesmo a menor nota atribuída (3,30) pode ser
considerada razoável. Mais uma vez, uma análise mais detalhada dos itens que compuseram as médias
mostradas na tabela acima, ajudará a compor um quadro mais nítido da avaliação realizada.
Assim, no que toca aos membros do fórum cabe destacar que, no caso de Cardoso Moreira, onde a nota
obtida foi superior a 4.00, atribuiu-se notas muito baixa a dois itens que tratavam da qualidade e da
utilidade do diagnóstico utilizado para a elaboração do Plano de Desenvolvimento, o que forçou uma
redução da nota geral atribuída pelos membros do fórum. De fato, se tirarmos esses dois itens do
cômputo da média (tendo em vista que se referem a uma parte do processo realizado fora do SEBRAE),
esta subiria para quase 4.5, indicando uma avaliação bastante positiva de todo o processo de montagem
e condução do forum.
Já no caso de São Fidélis, as notas mais baixas estavam associadas a itens referentes ao resultado do
processo de capacitação (ver perguntas 10 a 14 da tabela Membros do Fórum, do Anexo I deste
relatório). Essa é uma informação que deve merecer uma maior atenção por parte da Coordenação
27

do Programa, já que a capacitação é um elemento estratégico de todo o processo do SEBRAE e um
fracasso nesta parte pode vir a comprometer o resultado esperado.
No PRODER da Rocinha, além de se ter encontrado o melhor resultado dos três que tiveram fórum,
constatou-se também uma distribuição bastante homogênea das notas, sem nenhum item mais
discrepante. No que toca ao resultado do processo de capacitação, por exemplo, as notas atribuídas
foram bastante elevadas, o que pode ser uma informação interessante para uma posterior comparação
deste caso com o de São Fidélis, numa outra rodada de avaliação.
Um aspecto curioso foi observado na avaliação dos capacitadores e dos consultores. Foi indagado dos
capacitadores que avaliassem a participação dos consultores no processo e vice-versa. A avaliação dos
consultores sobre os capacitadores foi desfavorável, assim como o foi a dos capacitadores em relação
aos consultores, a exceção sendo São Fidélis em que o capacitador deu nota 5 ao consultor mas recebeu
nota 3 (em São Fidélis o questionário para consultor foi aplicado ao supervisor do PRODER Especial e
a avaliação sobre o consultor disse respeito às suas ações). Essa avaliação mutuamente negativa
contribuiu para baixar a média desses dois participantes do processo. Essa informação deve, sem
dúvida, ser considerada com atenção pela Coordenação do Programa porque indica que pode ter
ocorrido problemas de comunicação ou de compreensão dos papéis de dois importantes atores do
processo de implantação do programa.
Finalmente, constata-se uma nota bastante favorável atribuída pela equipe do PRODER da sede, o que
seria esperado e coerente, já que são o grupo mais comprometido e envolvido no processo. Os gerentes
de produto, por seu turno, repetiram a avaliação mais crítica que haviam feito para as ADRs, dando,
inclusive, uma nota muito semelhante. Um dado interessante a ser destacado na avaliação desses dois
grupos diz respeito a perguntas idênticas que eram feitas a ambos. Por exemplo, perguntava-se a ambos
se havia cooperação entre a Equipe do Proder e os Gerentes de Produto. Os primeiros atribuíram nota 5
(máxima), indicando perceber um padrão de elevada cooperação. Já os gerentes de produto atribuíram a
mesma questão a nota 3,45, dando a entender que têm uma percepção mais pessimista sobre o grau de
cooperação entre as duas equipes.
Em outro item, indagava-se a ambos se existiam problemas na utilização de produtos do SEBRAE
pelo PRODER. Os membros da equipe do PRODER deram nota 4.25 a esta pergunta enquanto que os
Gerentes de Produto atribuíram nota 3.77 à mesma. Ocorre, todavia, que a nota atribuída pela Equipe
do PRODER a este item foi a menor de todas, enquanto que os Gerentes de produtos atribuíram a este
item a maior nota dentre todos os itens avaliados. Assim, embora a percepção da equipe do PRODER
fosse em termos absolutos, digamos, mais “generosa”, foi considerada severa relativamente à avaliação
dos demais itens. Já a equipe de gerentes de produtos foi mais rigorosa na avaliação de todos os itens
mais foi mais “condescendente” na avaliação deste item. Cabe aqui o mesmo comentário feito em
relação a consultores e capacitadores. Os sinais deste tipo revelados nesta avaliação devem ser
entendidos pela direção e pela equipe gerencial como um desafio para adotar ou intensificar medidas
que melhorem a coordenação, comunicação, cooperação, enfim todas essas dimensões do processo
gerencial que vão ser determinantes na maioria dos casos, para o êxito ou fracasso das políticas
organizacionais.
4 - CONCLUSÕES
Ao longo dos itens anteriores, procurou-se enumerar e destacar evidências e sinais que refletem
fragilidades, mas também sucessos do processo de gestão do SEBRAE e que vão determinar, em
última instância, a qualidade do desempenho da instituição e o impacto que ela produzirá na vida de
seus clientes e na sociedade. A seguir apresenta-se, de forma esquemática e direta um sumário desses
pontos.
28

1. Necessidade de adequação e atualização de produtos;
2. Desenvolver produtos que sejam percebidos pelo cliente como capazes de gerar benefícios diretos e
objetivos;
3. Desafio de diferenciar estratégias por região e tipo de cliente (fugir da armadilha da simetria);
4. Utilizar de forma estratégica os diferenciais do SEBRAE: capilaridade, conhecimento detalhado do
MPE e de sua região;
5. Usar o treinamento de forma estratégica, como porta de entrada e acesso ao cliente, criando a partir
daí um envolvimento maior e consolidando a lealdade;
6. Investir no acompanhamento do cliente: o serviço foi de qualidade? Atendeu as expectativas?
Gerou os resultados esperados? (criar lealdade);
7. Refletir sobre estratégias e instrumentos de divulgação do SEBRAE, tanto da instituição, como de
sua missão, quanto de seus produtos;
8. Investir no aprimoramento de mecanismos gerenciais relacionados a:
• Comunicação entre Sede e ADRs
• Interação entre Sede e ADRs
• Coordenação e Articulação entre equipes de direção e planejamento (Gerentes de Produtos) e
pessoal de ponta e responsáveis por projetos (como PRODER)
9. Reconhecer as áreas e setores com desempenho destacado e aprender com elas (aprender com as
melhores práticas);
10. Reconhecer as áreas e setores com piores desempenho e tirar lições dos fracassos;
11. Investir na capacitação do pessoal, especialmente da ponta, procurando formar um profissional
capaz de atuar como consultor;
12. Investir na ampliação e consolidação de parcerias, para consolidar a imagem da instituição e criar
alianças estratégicas e operacionais;
13. Permitir uma participação maior desses aliados na discussão de prioridades, desenho de produtos,
etc (ouvir o cliente);
14. Especificamente quanto ao PRODER:
• Assegurar um relacionamento harmonioso e construtivo entre os diferentes participantes do
processo: consultores e capacitadores, equipe do proder e gerentes de produtos;
• “Testar” a qualidade do diagnóstico antes de sua utilização pelo fórum;
• Rever e avaliar continuamente o conteúdo da capacitação;
• Levar em conta as peculiaridades de cada comunidade no desenho do conteúdo e na sua
implementação (evitar a armadilha da simetria)
Finalmente, é importante ressaltar que se deve a todo o custo evitar a armadilha de considerar o
presente trabalho, bem como as recomendações acima com um fim, ou o fim. A avaliação não é um
fim, mas um meio. Um meio de melhorar o processo de gestão e, por último, o desempenho das
instituições e dos programas públicos. Nesse sentido, deve haver o compromisso de torná-la contínua,
utilizando-a como uma importante ferramenta gerencial para o fortalecimento institucional.
Assim, espera-se que a principal contribuição deste trabalho, antes das recomendações listadas acima,
seja a própria metodologia que possibilitou traçar uma minuciosa radiografia da atuação e do
desempenho do SEBRAE e que permitiu identificar recomendações ou reflexões que, se espera,
melhorem o desempenho da instituição. É fundamental não esquecer que, cada vez mais, as
organizações de sucesso devem estar comprometidas com a melhoria contínua, para a qual a avaliação
pode ser um valioso instrumento.
29

5 - BIBLIOGRGAFIA
BRUDNEY, Jeffrey L., F. Ted Hebert, Deil S. Wright. Reinveinting Governement in the America
States, Measuring and Explaing Administrative Reform. Public Administration Review.
January/February 1999, vol. 59, n. 1.
COHEN, Ernesto e FRANCO, Rolando. Racionalizando as políticas sociais na América Latina: o papel
da gestão. In: Gestión y análisys de políticas públicas. Madrid: Inap, enero/abril, nº 2, pp. 101-8 (essa
informação os autores citam de Haindl, Buvinic e Irarrazaval, 1989).
DILGER, Robert Jay, Randdph. Moffett, Linda Struyk. Privatization of Municipal Services in
Americas Largest Cities. Public Adminstration Review. January/February 1997, vol. 57, n. 1.
KETTL, Donald F, A revolução global: reforma da administração do setor público, pp. 74-76, in
Reforma do Estado e Administração Pública Gerencial, Luiz Carlos Bresser Pereira e Peter Sink, orgs.
LUSTOSA DA COSTA, Frederico & CASTANHAR, José Cezar. Avaliação de Programas Sociais:
limites e possibilidades. Paper apresentado no 22° Encontro Nacional da ANPAD, em Foz de Iguaçu,
ANPAD, de 27 a 30 de setembro de 1998.
SCHWARTZMAN, Jacques. Um sistema de Indicadores para as Universidades Brasileiras.mimeo,
NUPES, USP, Documento de Trabalho 5/94.
SULBRANDT, José. “La evaluacion de los programas sociales: una perspectiva crítica de los modelos
usuales”. In KLIKSBERG, Bernardo (org.). Pobreza: un tema impostergable. México, Fondo de
Cultura Economica, 1993.
SEBRAE/RS. “Indice de Eficácia Percebida dos Produtos do SEBRAE-RS”, mimeo, Porto Alegre,
Janeiro 1999.
TENÓRIO, Fernando Guilherme (coord.) et al. Avaliação de projetos comunitários – uma abordagem
prática. São Paulo, Edições Loyola/CEDAC, 1995.
UNICEF. Guide for monitoring and evaluation. New York, 1990.
VOS, Rob. Hacia un sistema de indicadores sociales, BID/INDES, 1996.
30