PPT Paulo Jannuzzi.pdf - Instituto Fonte

Indicadores, Painéis de Monitoramento ePesquisas de Avaliação como instrumentospara aprimoramento de programas e projetossociaisPaulo de Martino JannuzziSecretaria de Avaliação e Gestão da Informaçãodo Ministério de Desenvolvimento Social eCombate à Fomewww.mds.gov.br/sagiSagi/MDS

Antes, porém, uma correção oportuna: Uma boamanchete ou uma reportagem inverídica ?O Globo,27/05/2012,p.3Sagi/MDS

Disponibilidade pública de resultados depesquisas e base de microdadosSítio SAGI/MDS:www.mds.gov.br/sagiSagi/MDS

Nota de resposta ao JornalO Globo,31/05/2012,p.7Sagi/MDS

Não há uma pesquisa ou estudo avaliativo que possa compreendertoda a realidade. Daí a opção da SAGI pela disseminação daspesquisas, para produção contínua de conhecimento sobre nossaspolíticas e programasTriangular significa abordar o objeto de pesquisa a partir de maisde uma técnica diferente de investigação ou sujeitos a entrevistar,como linhas não paralelas na forma de um triângulo cercando oobjeto de pesquisa ao centro.Sagi/MDS

O que é Avaliação de Programas eProjetos ?Para que serve ?Sagi/MDS

Há um certo desencanto com a Avaliação...Constatação 1As metodologias de avaliação de programas sociais têm sido objeto deseveras críticas. Basicamente, afirma-se que, na prática, as avaliaçõesnão subsidiam o processo decisório porque seus resultados sãoinconclusivos, inoportunos e irrelevantes. Inconclusivos em função daspróprias limitações deste tipo de estudo, inoportunos devido àmorosidade do processo avaliativo e irrelevantes, porque nãorespondem às demandas informacionais de todos os agentes sociaisafetos à intervenção (COTTA 1998, p.118).Sagi/MDS

Há um certo desencanto com a Avaliação...Constatação 2De vez em quando, uma “avaliação” mal concebida ou mal executadaproduz informações que, no melhor dos casos, seriam enganosas e, nopior, absolutamente falsas. Embora essas ocorrências sejam raras,podem causar problemas graves. Como geralmente tem ar derespeitabilidade, essas avaliações não costumam ser questionadas, e oresultado é que decisões importantes sobre programas e serviçosessenciais baseiam-se inadvertidamente em informações falaciosas.(WORTHERN et al. 2004, p.44).Sagi/MDS

Há um certo desencanto com a Avaliação...Constatação 3Garcia, 2001, p.21Sagi/MDS

Possíveis fatores que contribuem para o desencanto coma Avaliação1) Complexidade do objeto –> Complexidade da forma de avaliá-lo• Problemas sociais são complexos e multi-causais,• Públicos-alvo bastante distintos e dispersos• Parte significativa dos programas são muito recentes• Natureza diversa das “entregas” – benefícios monetários, produtos,serviços• Complexidade do contexto de operação dos programas, envolvendoarticulação entre setores da Política Social, entes federativos eorganizações não governamentaisSagi/MDS

Possíveis fatores que contribuem para o desencanto coma Avaliação2) Tecnocratismo ingênuo• Capacidade de implementação superestimada• Crença na elevada programabilidade dos projetos sociais• Planejamento top-down, baixa interação com técnicosenvolvidos na operação dos programas• Gestores e técnicos mais como expectadores do queprotagonistas, encarando M&A mais como espasmos ouestorvos avaliativos do que como ferramentas paraaprendizado e aprimoramento dos programasSagi/MDS

Possíveis fatores que contribuem para o desencanto coma Avaliação3) Limitações dos desenhos das Pesquisas de Avaliação realizadas:• Pesquisas qualitativas com amostras intencionais permitemconhecimento exploratório importante, mas tem limitações nageneralização de resultados• Desenhos metodológicos muito específicos (quaseexperimentais)garantem validade interna, mas comprometem ageneralização de resultados• Amostras nacionais são muito dispendiosas e nãonecessariamente mais precisas ou relevantes para determinadasquestõesSagi/MDS

Possíveis fatores que contribuem para o desencanto coma Avaliação4) Inexistência, deficiência ou problemas na estruturação de Sistemasde Indicadores de Monitoramento de Programas• Em que pese a disponibilidade de dados e informações geradasa todo momento na operação dos programas, eles não estãoorganizados, acessíveis, sistematizados na forma deindicadores• Baixo uso das estatísticas oficiais, cadastros públicos eregistros administrativos, mesmo quando disponíveis naInternet• Baixa utilização de informações produzidas por orgãos decontrole e auditoriaSagi/MDS

Possíveis fatores que contribuem para o desencanto coma Avaliação5) Cultura de monitoramento e avaliação de programas é incipiente, assimcomo seu principal elemento estruturador (Sistema de Proteção Social)• Desconhecimento sobre o estágio de Avaliabilidade dosProgramas, levando a antecipação de avaliações externas denatureza mais de auditoria ou medição de resultados e impactosem detrimento de avaliações de desenho da intervenção ou doprocesso de implementação, mais voltados ao aprimoramento doprograma• Avaliação de programas têm sido realizadas por equipes com boaexperiência em Análise de Macro-Políticas, Conjuntura Social ouprojetos de pesquisa acadêmicos, mas sem muita experiência naimplementação real de programas. sem a interdisciplinaridadeexigida, com participação pouco ativa do gestorSagi/MDS

Como superar o desencanto: Produzir e organizar informação ajustada àsnecessidades Ciclo de do programa Políticas ou projeto e Programas no estágio do Ciclo Públicosde ProgramasSagi/MDS

A demanda por informação estruturadano Ciclo de ProgramasDiagnóstico deCondições de VidaIndicadores sociaisCensos DemográficosCadastros PúblicosCadUnicoSagi/MDS

A demanda por informação estruturadano Ciclo de ProgramasDiagnósticopropositivoIndicadores de diagnósticoPúblicos-alvo (Censos,Cadastros e registros deprogramas)Agentes implementadores(Registros, MUNIC)Participação social(Munic, registros dereuniões)Sagi/MDS

A demanda por informação estruturadano Ciclo de ProgramasIndicadores de monitoramento(produzidos pelo próprioprograma e outros programasno Ministério e fora dele)Gestão eimplementação dosprogramasInsumos ($$, RH, Adesões etc)Processos (Ações, ativ. meio)Resultados (Entregas, uso econsumo de serviço)Impacto (Mudança social)Sagi/MDS

A demanda por informação estruturadano Ciclo de ProgramasInformação para avaliação(pesquisas específicas)Indicadores de Resultados eImpactosInformação de naturezaqualitativaAvaliação somativados programasSagi/MDS

A demanda por informação estruturadano Ciclo de ProgramasAvaliação ex-antede demandasAvaliação dedesenhos deimplementaçãoTipologia depesquisas deavaliação segundomaturidade doprograma ( PeterRossi)Avaliação deprocessosAvaliação custoefetividadeAvaliação deresultados eimpactosSagi/MDS

A demanda por informação estruturadano Ciclo de ProgramasCiclo de Políticas PúblicasSistemas deIndicadoresEnfoqueavaliativoPesquisas deAvaliaçãoSagi/MDS

Enfoque avaliativo -> Sistemas de M&ASM&A pode ser entendido, em um sentido lato, como oconjunto de atividades – articuladas, sistemáticas eformalizadas- de produção, registro, acompanhamento eanálise crítica de informações geradas na Gestão dePolíticas Públicas, de seus programas, produtos e serviços,por meio das organizações, agentes e públicos-alvoenvolvidos, com a finalidade de subsidiar a tomada decisãoquanto aos esforços necessários para aprimoramento daação pública.Trata-se, pois, de um conjunto de atividades inerentes ao ciclode gerenciamento da produção das Políticas Públicas,voltadas à sistematização de informação acerca dosaspectos considerados críticos para sucesso dos programas.Sagi/MDS

Monitoramento e Avaliação de ProgramasExemplo didático: acompanhando a saúde de uma criançaMonitoramentoAvaliação1º. Observação docomportamentosintoma:sinal de mal-estar1º. Busca da avaliação dedecisão:tomar a temperaturaum médico2º. Termômetro 2º. Exame clínicosintoma: febre decisão: remédio 1decisão: antitérmico3º. Exames diversos3º . Termômetro decisão: remédio 2 e 3sintoma: febre persistente4º. Retorno- Nova AvaliaçãoSagi/MDS

Monitoramento e Avaliação de ProgramasExemplo didático: acompanhando aprendizagem do alunoMonitoramentoAvaliação1º. Observação docomportamentosintoma:dispersão/conversa 1º. Investigar com outros prof. sedecisão: alertaracontece em outras aulas2º. Lista de exercício 2º. Investigar problema do alunosintoma: não entregadecisão: nova data para entregadecisão: cobrança3º. Investigar com os pais3º . Prova de conhecimentos decisão: alertar para reprovaçãosintoma: nota baixa4º. Avaliar se houve mudança de comp.decisão: reprovarSagi/MDS

Monitoramento e Avaliação de ProgramasSistemas de MonitoramentoPesquisas de Avaliaçãosubentende um lógica da intervenção desenho pode ser objeto avaliaçãovale-se de dados já coletadosenvolve em geral coleta primáriabusca dispor de indicadoresinformação qualitativa e quantitat.na forma de Painéis gerenciais relatório de avaliação, respondendoou Painéis analíticos- mérito da demanda- recursos e insumos - desenho e institucionalidades- processos e produtos - dificuldades da implementação- resultados e impactos - resultados e impactos- qualidade, produtividade - custo-efetividadeAprimoramento da Gestão do ProgramaSagi/MDS

Integração de Sistemas de Monitoramento ePesquisas de AvaliaçãoMonitoramento e avaliação são processos analíticosorganicamente articulados, que se complementam notempo, com o propósito de subsidiar o gestor público deinformações mais sintéticas e tempestivas sobre aoperação do programa –resumidas em painéis ousistemas de indicadores de monitoramento – einformações mais analíticas sobre o funcionamentodesse, levantadas nas pesquisas de avaliação.Sagi/MDS

O que é um Indicador ?Para que serve ?Sagi/MDS

Indicadores Sociais• Recurso metodológico para “retratar” a realidade social, deforma simplificada, mas objetiva e padronizada• Os indicadores apontam, indicam, aproximam, traduzem emtermos operacionais as dimensões sociais de interessedefinidas a partir de escolhas teóricas ou políticas realizadasanteriormente.• Eles se prestam a subsidiar as atividades de planejamentopúblico e formulação de políticas nas diferentes esferas degoverno, possibilitam o monitoramento das condições de vida,da conjuntura econômica e qualidade de vida da populaçãoSagi/MDS

Representação da realidade: fotosSagi/MDS

Indicadores Sociais• Tal como as fotografias, os indicadores procuram retratar um aspectoda realidade. Fotos reduzem a tridimensionalidade da realidade parao plano bidimensional do papel fotográfico. Podem ser preto e brancaou coloridas, com maior nitidez, luminosidade ou contrastedependendo da resolução da máquina fotográfica e da destreza dofotógrafo em escolher o momento e contexto adequado para o queele quer destacar.• A imagem captada no indicador é também uma redução da realidade,isto é, uma representação simplificada de um aspecto da mesma,tão melhor quanto mais específico for o aspecto de interesse equanto mais confiável e precisas as informações usadas paracômputo do indicador.Sagi/MDS

Representação da realidade: indicadoresSagi/MDS

Representação da realidade das condições de vida dapopulação: Taxa de mortalidade InfantilSagi/MDS

Representação da realidade nutricional da populaçãobrasileira: indicadores antropométricos de 5 a 9 anoswww.ibge.gov.br/home/estatistica/populacao/condicaodevida/pof/2008_2009_encaa/default.shtmSAGI – Secretariat of Evaluation and Information ManagementSagi/MDS

Representação da realidade nutricional da populaçãobrasileira: indicadores de percepção objetivada desegurança alimentarwww.ibge.gov.br/home/estatistica/populacao/seguranca_alimentar_2004_2009/default.shtmSAGI – Secretariat of Evaluation and Information ManagementSagi/MDS

Representação da realidade nutricional da populaçãobrasileira: indicadores antropométricos deadolescenteswww.ibge.gov.br/home/estatistica/populacao/pense_avaliacao_nutricional_2009/pense_avaliacao_nutricional_2009.pdfSAGI – Secretariat of Evaluation and Information ManagementSagi/MDS

Indicadores de Monitoramento de Programas eProjetos Sociais• Recurso metodológico para “filmar” as atividades, ações eprogramas promovidas pelo setor público, assim como amudança social impactada pelos mesmos• Medidas que operacionalizam o acompanhamento da açãopública•Alocação e execução do gasto•Realização de etapas e processos•Oferta de serviços•Entrega de produtos e obras•Medição de efeitos das ações•resultados mais imediatos•impactos mais de médio/longo prazo e mais abragentesSagi/MDS

Indicadores de Monitoramento de Programas eProjetos SociaisSagi/MDS

O terremoto de 8 graus da escalaRichter atingiu o município deWenchuan, na província deSichuan, às 14h28 do dia 12 demaio 2008Sagi/MDS

25,022,6 22,9Indicadores de Monitoramento de Programas eProjetos SociaisEvolução da pobreza extrema (%) - Brasil - 1992/200920,015,017,3 17,7 17,8 16,817,4 17,4 16,517,515,413,511,1 10,58,9 8,510,05,00,01992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.Sagi/MDS

Indicadores de Monitoramento de Programas eProjetos SociaisSagi/MDS

0,61Coeficiente de GINI - Brasil - 1992/20090,60 0,60 0,60 0,60 0,600,59 0,590,600,590,580,580,590,580,570,57 0,570,560,560,550,550,550,540,540,530,520,510,501992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.Sagi/MDS

(em mil pessoas)mar/02jul/02nov/02mar/03jul/03nov/03mar/04jul/04nov/04mar/05jul/05nov/05mar/06jul/06nov/06mar/07jul/07nov/07mar/08jul/08nov/08mar/09jul/09nov/09mar/10jul/10nov/10mar/11jul/11nov/111000Pessoas de 10 anos ou mais de idade, desocupadas na semana dereferência , com menos de 8 anos de estudo nas principais RegiõesMetropolitanas - 2002/2012 (em mil pessoas)9008007006005004003002001000Fonte: IBGE, Pesquisa Mensal de Emprego.Sagi/MDS

Principais pesquisas e fontes de dadosSagi/MDS

Sistema Estatístico NacionalIBGEMinistériosInstituiçõessubnacionaisUnidades estaduaisDatasusINEPSagi/MDSMPSIdesp PACodeplan DFSedet/MTEMCTSeade - SPAgencias MunicipaisMMAMincFEE-RSComitê de Estatísticas SociaisCondepe PESagi/MDS

Comitê de Estatísticas SociaisSagi/MDS

OportunidadesSagi/MDS

Principais pesquisas e fontes de dadosCensos DemográficosCadastros PúblicosPesquisa Nacional porAmostra de DomicíliosRegistros AdministrativosDemais PesquisasIBGESistemas de Informação ProgramasPesquisas regulares deoutras instituiçõesPesquisas de Avaliaçãodos MinistériosSagi/MDS

Principais pesquisas e fontes de dadosSagi/MDS

Principais pesquisas e fontes de dadosSagi/MDS

Página SAGI: www.mds.gov.br/sagiSagi/MDS

Página SAGI: www.mds.gov.br/sagiDataSocialSagi/MDS

Principais Relatórios SociaisSagi/MDS

Principais Relatórios SociaisSagi/MDS

Principais Relatórios SociaisSagi/MDS

Sagi/MDS 55

Propriedades e Tipologias deIndicadoresSagi/MDS

Propriedades dos Indicadores1. Relevância Social2. Validade3. Confiabilidade4. Cobertura5. Sensibilidade6. Especificidade7. Periodicidade na atualização8. Desagregabilidade9. Factibilidade para obtenção10. Comunicabilidade11. Replicabilidade de sua construção12. HistoricidadeSagi/MDS

Sagi/MDS

Sagi/MDS

Sagi/MDS

Sagi/MDS

Sagi/MDS

Sagi/MDS

Propriedades dos IndicadoresSagi/MDS

Tipologias de Indicadores• Indicador simples/composto• Indicador descritivo/normativo• Indicador quantitativo/qualitativo• Indicador objetivo/subjetivo• Indicador insumo/fluxo/produto• Indicador esforço/resultados• Indicador performance/estoque• Indicador eficiência/eficácia/efetividade social• Indicador absoluto/relativoSagi/MDS

Indicadores ObjetivosSagi/MDS

Indicadores SubjetivosSagi/MDS

Indicadores de MonitoramentoIndicador-insumoRecurso: quantidadede médicos por milhabitantes ou gastomonetário per capitaem saúdeIndicadorprocessoUso dosrecursos:Consultas aomês porCriança até1 anoIndicadorprodutoResultado efetivo:Taxa demorbidade oumortalidadeinfantil por causaespecíficaIndicadorimpactoDesdobramentosMais abrangentesMelhora do nívelnutricionalMelhora dodesemprenhoescolarEconomia futuraem gastos comsaúdeCiclo de formulação e avaliaçãoSagi/MDS

Indicadores de MonitoramentoInsumo → Processo → Resultado → ImpactoGasto Públicoem ProgramasdeTransferênciade Renda%Famíliascadastradas% famíliasatendidasProporçãodeIndigentesTaxa deevasãoescolarRedução dadesnutriçãoinfantilSagi/MDS

Indicadores Analíticos e SintéticosIndicador 1Indicador 2Método deaglutinaçãoÍndicecomposto ousintéticoIndicador 3Que dimensões utilizar ?Como combinar ?Que pesos atribuir ?Índice de custo de vidaIndice de DesenvolvimentoHumanoIndice de Desenvolvimento daEducaçãoSagi/MDS

Evolução do IDH Brasil : 1980 - 2011O IDH cresce ano mesmo ritmodesde 1980 - 0,03 a cada cincoanos- em que pese a ampliação doescopo e escala da Política Social noBrasil, sobretudo após Constituiçãode 1988Sagi/MDS71

1.382,841.381,911.489,341.581,931.596,351.681,571.769,641.810,721.803,521.943,602.081,802.265,952.430,382.556,482.827,153000,00Gasto Social per capita, constantes de dez/2010, - Brasil - 1995/20092800,002600,002400,00O Gasto social per capitadobrou em 15 anos2200,002000,001800,001600,001400,001200,001000,001995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009Sagi/MDS

Sagi/MDS

Sagi/MDS

14,012,012,4Taxa de analfabetismo das pessoas de 10 a 14 anos - Brasil -1992/200911,310,09,98,38,78,06,96,04,05,54,23,83,5 3,83,43,0 3,12,82,52,00,01992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.Sagi/MDS

100,095,090,085,0Percentual de pessoas que frequentavam escola na populaçãode 7 a 14 anos de idade - Brasil - 1992/200981,8 83,4 85,9 87,1 89,091,5 93,0 93,9 94,5 94,7 94,7 95,3 95,8 96,6 96,6 97,080,075,070,01992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.Sagi/MDS

50Evolução da taxa de mortalidade infantil (por mil)- Brasil - 1990/2009454035302520151050Fonte : IBGE47,045,143,341,439,537,936,434,833,231,730,129,2 28,427,526,6 25,8 25,1 24,323,3 22,51990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009Sagi/MDS

700600500400Renda real domiciliar per capita - Brasil - 1992/2009398 419 521 530 529 534504 512 512482 493 523 57258761763230020010001992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹Sagi/MDS

25,022,6 22,9Evolução da pobreza extrema (%) - Brasil - 1992/200920,015,017,3 17,7 17,8 16,817,4 17,4 16,517,515,413,511,1 10,58,9 8,510,05,00,01992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.Sagi/MDS

Evolução do IDH Brasil : 1980 - 2011Por quê o IDH não reflete essasmudanças sociais tão significativas naúltima década ?- Dados defasados e não reconhecidos- Escolhas técnicas não plenamenteconsensuais na literatura- Conceito originário restritivo- Dimensões limitadas- Indicadores pouco sensíveis- Ênfase demasiada na modelização nacomposição do índiceSagi/MDS80

Para finalizar: Indicadores, painéis e pesquisas podemser instrumentos úteis para transformar a realidade - t0Sagi/MDS

Para finalizar: Indicadores, painéis e pesquisas podemser instrumentos úteis para transformar a realidade – t1Sagi/MDS

Tal como fotografias, os indicadoresreduzem a realidade social a dimensõestangíveisSagi/MDS

Uma boa fotografia depende da câmera, daposição do fotógrafo, do foco da lente....Sagi/MDS

Mas dependem fundamentalmente da destrezado fotógrafo em retratar o que é efetivamenterelevante a ser apresentadoSagi/MDS

O que é mais útil, relevante e pertinente paraavaliação do Bem Estar e para advocacy deprogramas sociais? Um mosaico de fotografias...Sagi/MDS

Ou uma fotografia composta a partir de técnicassofisticadas de diagramação ?Sagi/MDS

Sagi/MDS