Métodos de pesquisa quantitativa e qualitativa para Ciência da ...

lcad.icmc.usp.br

Métodos de pesquisa quantitativa e qualitativa para Ciência da ...

Métodos de pesquisa quantitativa

e qualitativa para Ciência da

Computação

Jacques Wainer

Gabriel de Barros Paranhos da Costa

Gabriel Dias Cantareira


Metodologia de pesquisa científica

em Ciências da Computação

● Avaliação: processo de julgar o mérito ou

valor de um sistema de informação



Verificação

Validação

● Usualmente leis e teorias

○ Em CC: rasas, de caráter estatístico e datadas

● 4 tipos de pesquisa


Tipos de pesquisa - Analítica

● Gerar/obter conhecimento sobre programas

e algoritmos

● Pressuposições

● Provas matemáticas

● Exemplo

○ Análise de complexidade assintótica de algoritmos


Tipos de pesquisa - Quantitativa

● Medida de poucas variáveis objetivas

● Comparação de resultados

● Benchmarks, competições, questionários

● Pesquisa correlacional ou modelagem

estatística


Relação entre variáveis em um grande conjunto de

dados


Tipos de pesquisa - Qualitativa

● Variáveis que não podem ser medidas

● Observação

● Pesquisa-ação

● Estudo do sistema em questão no ambiente

em que está sendo usado


Tipos de pesquisa - Bibliográfica

● Revisão sistemática

● Meta-análises

● Coletar todos os artigos publicados sobre

um determinado experimento quantitativo

● Resumir os resultados


Métodos quantitativos

● Visão dita positivista

○ Diferentes observadores devem obter os mesmos

resultados em observações distintas

○ Define claramente o que é melhor e o que é pior

○ Medições numéricas consideradas mais ricas que

descrições verbais


Dados sintéticos






Benchmarks

Testes com o programa novo e a "concorrência"

usando os mesmos dados

Pode avaliar tempo de execução, qualidade do

resultado ou resultados esperados

Atenção a limitações como efeitos teto e chão

Competições


Significância estatística

● Métodos usados variam com diferentes tipos

de medida





Medidas categóricas

Medidas ordinais

Medidas intervalares

Medidas de razão


Significância estatística

● Testes estatísticos levam em consideração

uma hipótese nula

● Significância estatística pode medir o valor

de corte (p-value) da probabilidade de

rejeição dessa hipótese


Significância estatística

● Testes com menor valor p-value são

considerados mais fortes

● Testes estatísticos podem ser configurados

para gerar um intervalo de resultados

prováveis dentro de um valor de confiança

(intervalos de confiança)


Significância estatística

● Diversos testes para comparar dois conjuntos

de dados usando intervalos de confiança








Teste T

Intervalo de Wald

Teste T Pareado

Wilcoxon rank-sum test

Wilcoxon signed-rank test

Fischer exact test

Teste chi-quadrado

● São apropriados para diferentes tipos de

medidas


Significância estatística

● Para mais de dois conjuntos, comparações

2 a 2 em sequência reduzem a confiança e

podem propagar erros

● São usados outros testes

○ one-way ANOVA, Kruskal-Wallis, etc


Desenhos fatoriais

● Em análises, podem ser identificados fatores

e níveis

● Design de experimento considerado fatorial

se todas as combinações fator/nível são

testadas

● Caso contrário, o desenho é chamado

fatorial parcial e a escolha das combinações

deve ser cuidadosa


Questionários

● Forma rápida e simples de receber

informações acerca experiências de

usuários

● Tentam medir uma característica invisível ou

latente

● Perguntas com respostas predefinidas


Questionários

● Propriedades



Confiabilidade

Validade

● Atenção à elaboração de perguntas,

alternativas e encorajamento de usuários

● Problemas: viés de amostragem e nãoresposta


Experimentos

● Observação de comportamento de variáveis

em situações controladas ou artificiais

● Em computação, sempre envolvem pessoas


Experimentos

● Validade



Interna: validade das manipulações

Externa: aplicabilidade do experimento para

generalizações

● Seguem duas divisões de grupo:

grupo pré-teste/pós-teste e grupo

experimental/controle


Experimentos

● Grupos pré-teste/pós-teste


Testes diferentes com o mesmo grupo para cada

caso

● Ameaças:





Instrumentação

Testagem

Maturação

História


Experimentos

● Grupos experimentais/controle


Mesmos testes para grupos diferentes nas

condições a serem observadas

● Ameaças:






Seleção

Mortalidade seletiva

Contaminação

Comportamento competitivo

Comportamento compensatório


Experimentos

● Outras ameaças





Regressão à média

Efeito de expectativa do sujeito

Efeito de expectativa do experimentador

Influência de parte da intervenção


Métodos Qualitativos

● Observar variáveis que não podem ser

medidas

● Estudo sobre um sistema no ambiente onde

ele está sendo usado

● Dois tipos de pesquisa



Pesquisa observacional

Pesquisa-ação


Pesquisa Observacional

● Observar o ambiente sem modificá-lo

● Perspectiva positivista



Busca seguir os fundamentos da pesquisa

quantitativa

Teorias e provas

● Perspectiva interpretativista

○ Interpretação de um observador

● Perspectiva crítica

○ Revelar relações de poder e dominação


Pesquisa Observacional Positivista

● Descritiva ou exploratória

● Exploratória



Descreve um fenômeno

Propõe novas teorias

● Explanatória

○ Busca provar ou desprovar uma teoria


Estilos de Pesquisa Observacional

● Estudo de caso




Interação do pesquisador com os sujeitos é semiformal

Descobrir "o que as pessoas escrevem" e "o que as

pessoas dizem"

Entrevistas e conversas programadas

● Etnografia




O pesquisador "vive e trabalha" junto com os

sujeitos

Descobrir "o que as pessoas fazem"

"Fazer parte" do grupo


Técnicas de Pesquisa Observacional

● Como garantir que os dados e as

conclusões obtidas são confiáveis, válidas e

generalizáveis?

● Controlar a subjetividade ou o viés do

pesquisador


Pesquisa-ação

● Modificar o ambiente

● Colaboração dos sujeitos com o

pesquisador

● Ciclo







Infra-estrutura cliente-sistema

Diagnóstico

Planejamento de ação

Tomada de ação

Avaliação

Aprendizado


Outras formas qualitativas de

avaliação

● Crítica artística


Especialista na área usa o sistema e expressa sua

opinião sobre a experiência

● Comitê de Especialista (Professional

Review)



Grupo de especialistas

Várias técnicas são utilizadas para manter a

subjetividade sob controle


Publicação de pesquisa qualitativa

● Defender o mérito dos métodos qualitativos

● Em pesquisa-ação, mostrar que não é

apenas o desenvolvimento de um sistema,

ou resultados de uma consultoria

● Mostrar evidências no artigo de que é um

pesquisador competente


Ética em pesquisa em computação

● O sujeito de um experimento em ciência da

computação deve ser informado que ele

participa de um experimento?

● Caso sim, ele deve ser avisado antes e

concordar em participar do experimento ou

somente aprovar que os dados coletados

sejam utilizados na pesquisa após a

realização do experimento?


Referências Bibliográficas

● WAINER, J. (2007). Métodos de pesquisa

quantitativa e qualitativa para a ciência

computação. In T. KOWALTOWSKI e K.

BREITMAN (Org.), Atualização em

Informática da Sociedade Brasileira de

Computação, pp. 221-262.

More magazines by this user
Similar magazines