Experimentação em Engenharia de Software: Glossário de Termos

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
Experimentação em Engenharia de Software:
Glossário de Termos
Vitor Pires Lopes, Guilherme Horta Travassos
COPPE / UFRJ – Programa de Engenharia de Sistemas e Computação
Caixa Postal 68.511, CEP 21945-970, Rio de Janeiro – Brasil
{vitorlopes, ght}@cos.ufrj.br
Abstract. There is an increasing agreement in the Software Engineering
community that experimentation is necessary to develop or to improve
software development and maintenance processes, methods and tools.
Motivated by the importance of Experimental Software Engineering, some
researchers have tried to adapt concepts and definitions to their own
perspectives and research practices. This scenario frequently leads to
difficulties in knowledge exchanging between research groups and, mainly, in
study results comparison. To address this problem, a glossary of terms
concerned with Experimental Software Engineering has been organized. This
paper describes the construction of this glossary and introduces a web-based
tool that turns it accessible to the research community.
Resumo. Existe um consenso crescente na comunidade de Engenharia de
Software que experimentação é necessária para desenvolver ou melhorar
processos de desenvolvimento e manutenção de software, métodos e
ferramentas. Motivados pela importância da Engenharia de Software
Experimental, alguns pesquisadores tentam adaptar conceitos e definições a
suas perspectivas e práticas de pesquisa locais. Este cenário freqüentemente
leva a dificuldades na troca de conhecimento e, principalmente, na
comparação de resultados de estudo. Para tratar este problema, um glossário
de termos em Experimentação em Engenharia de Software foi construído. Este
artigo relata o processo de construção deste glossário e apresenta uma
ferramenta web que o torna acessível para a comunidade de pesquisa em
engenharia de software.
Palavras-chave. Engenharia de Software Experimental, Taxonomia, Glossário
de Termos, Experimentação
1. Introdução
Atualmente, grande parte das informações sobre novas tecnologias de software
(processos, métodos, técnicas e ferramentas) ainda são baseadas em opinião própria ou
propaganda. Entretanto, a pesquisa científica não pode ser baseada em opiniões ou
interesses comerciais [Juristo e Moreno, 2001]. Neste contexto, experimentação provê
uma forma sistemática, disciplinada e controlada para avaliar processos e atividades
humanas [Wöhlin et al., 2000]. Estudos experimentais contribuem no sentido de prover
justificativas para o uso ou não de tecnologias, baseadas em indicações sobre a
efetividade destas tecnologias para melhoria da qualidade do software. Assim, os
resultados de estudos experimentais executados em diferentes cenários de pesquisa
podem ser utilizados como pontos de partida para definir um conjunto de critérios que
42

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
apóiem o processo de tomada de decisão a respeito da utilização de tecnologias de
software.
Na pesquisa em Engenharia de Software, iniciativas na condução de estudos
experimentais vêm aumentando consideravelmente ano após ano. Diferentes grupos de
pesquisa executam e incentivam a adoção de estudos primários e secundários como
meios de gerar evidências e construir um corpo de conhecimento científico válido em
Engenharia de Software [Travassos et al., 2008].
Motivados pela importância de Experimentação no avanço da pesquisa em
Engenharia de Software, vários grupos de pesquisa tentaram adaptar conceitos e
definições de Experimentação para suas próprias perspectivas e metodologias de
trabalho, freqüentemente diferentes entre si. Isto traz dificuldades no compartilhamento
e disseminação do conhecimento produzido, pois cada grupo de pesquisa passa a utilizar
um conjunto de conceitos e definições próprio. O estímulo à colaboração entre
pesquisadores também é dificultado pela ausência de uma normatização de termos
empregados na área. Além disso, a comparação entre resultados de grupos diferentes
pode ser prejudicada em função de não apresentarem um padrão de descrição
compatível entre si. A falta de uma taxonomia em comum dificulta a evolução científica
da área [Sjøberg et al., 2007].
Tendo em vista este cenário, a comunidade de pesquisadores do ISERN 1
(International Software Engineering Research Network) deu início, em 1995, à
construção de uma primeira versão de um glossário de termos que contemplasse os
conceitos com sua respectiva definição no domínio da experimentação em Engenharia
de Software. Tomando como ponto de partida este trabalho do ISERN, combinado com
informações extraídas de outras iniciativas mais recentes [Amaral, 2003], o grupo de
Engenharia de Software Experimental 2 da COPPE/UFRJ iniciou a reorganização do
glossário de termos. Em complemento, planejou e conduziu, em parceria com diferentes
pesquisadores, sessões de revisão que reuniram cientistas e alunos no sentido de
fornecer contribuições para melhorar a completude e a corretude deste glossário. Para
facilitar o acesso às informações e sua constante atualização e avaliação através da
contribuição contínua da comunidade, o glossário está disponível através de uma
ferramenta web baseada na tecnologia wiki 3 , onde funcionalidades para facilitar a
navegação e consulta da lista de termos foram acrescentadas, incluindo a possibilidade
de representação em diferentes línguas nativas.
Este trabalho descreve o processo de construção do glossário de termos,
contemplando detalhes sobre o planejamento e a execução das sessões de revisão que
contribuíram para a definição da lista de termos atual. É discutida também a integração
do glossário ao repositório de conhecimento de um ambiente de Experimentação em
Engenharia de Software. Além disto, são apresentadas as principais características da
ferramenta 4 sobre a qual o glossário foi disponibilizado à comunidade.
1 http://isern.iese.de/network/ISERN/pub
2 http://ese.cos.ufrj.br
3 http://www.mediawiki.org/wiki/MediaWiki
4 http://lens-ese.cos.ufrj.br/wikiese
43

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
O artigo está organizado em quatro seções: A primeira compreende esta
introdução. A seção 2 descreve o processo de construção do glossário de termos. A
seção 3 detalha as facilidades fornecidas pela ferramenta que disponibiliza o glossário.
A última seção resume e conclui este artigo.
2. Processo de Construção do Glossário de Termos
No contexto de experimentação em larga-escala, a troca de conhecimento e experiência
entre os pesquisadores fica dificultada quando estes não se utilizam de um vocabulário
em comum. Freqüentemente, cada grupo de pesquisa adapta conceitos e definições sob
suas próprias perspectivas. Isto conduz a divergências entre os pesquisadores, por vezes
tornando difícil a comparação entre os resultados dos estudos e assim atrasando a
evolução da área [Sjøberg et al., 2007].
Visando tentar reduzir as divergências terminológicas e construir uma
perspectiva em comum para a área, foi desenvolvido um glossário de termos de
Experimentação em Engenharia de Software. As subseções a seguir detalham a
construção da versão inicial do glossário, a condução de revisões de seu conteúdo em
parceria com diferentes pesquisadores e alunos e a integração do glossário ao repositório
de conhecimento do eSEE, um ambiente de apoio à Experimentação em Engenharia de
Software.
2.1. Construção da Versão Inicial do Glossário de Termos
A comunidade ISERN disponibilizou uma primeira versão de um glossário de termos
[ISERN, 1995], elaborado a partir dos estudos usualmente executados na época no
contexto desta comunidade e relacionados principalmente a estudos in vitro no domínio
de inspeções de software. Desde então foi possível perceber uma demanda crescente
pela utilização de experimentação em Engenharia de Software, com foco diversificado e
direcionado a diferentes categorias de estudo. Desta forma, o glossário proposto
inicialmente, embora adequado para uma categoria em particular de estudos, não
permitia o entendimento consistente dos conceitos envolvidos nos novos tipos de
estudo. Assim, visando contribuir para a evolução da experimentação em Engenharia de
Software, uma nova versão do glossário de termos passou a ser organizada a partir de
2004.
Um conjunto evoluído de termos foi organizado a partir da consolidação da
terminologia básica estabelecida pelo ISERN e dos trabalhos de Amaral (2003), Costa et
al. (2003) e Chapetta (2006). Estes trabalhos abordam conceitos básicos sobre
experimentação e também específicos sobre diferentes categorias de estudo,
contribuindo assim para consolidar um glossário mais contemporâneo e com uma
cobertura mais satisfatória. Nesta reorganização, foram removidas as duplicatas cuja
definição fosse menos precisa. Foi organizada uma sessão no ESELAW’06 para
apresentá-lo à comunidade. O terceiro Workshop de Experimentação em Engenharia de
Software – ESELAW’06 – apresentou objetivos similares aos anteriores: reportar e
discutir novos resultados na área e encorajar a troca de idéias para compreender, a partir
de um ponto de vista experimental, aspectos de qualidade e deficiências de tecnologias
de Engenharia de Software. O evento reuniu vários pesquisadores da América Latina
(principalmente do Brasil) e, portanto, representou uma excelente oportunidade para
conduzir uma sessão de discussão entre os participantes para identificar melhorias no
44

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
glossário e os possíveis requisitos para estrutura computacional de apoio a sua utilização
através da web. Assim, consolidou-se a primeira versão do glossário de termos de
Experimentação em Engenharia de Software. Este resultado se encontra disponível nos
Anais do ESELAW’06.
A discussão conduzida no ESELAW’06 apontou a importância de facilidades
para navegação, inclusão, alteração e exclusão de conceitos e definições no uso do
glossário. Ressaltaram também a facilidade de acesso como sendo uma característica
determinante no incentivo à normatização terminológica na área. Tendo em vista estas
perspectivas, foram identificadas e estudadas tecnologias candidatas para apoiar o
desenvolvimento de uma ferramenta que torne o glossário mais acessível e forneça
operações básicas de manipulação de seu conteúdo. Dentre as opções disponíveis, foi
escolhida a tecnologia wiki. Esta tecnologia fornece uma infra-estrutura com diversas
facilidades construídas especificamente para glossários, incluindo recursos de controle
de acesso, navegação, inclusão, alteração e exclusão de termos e definições. A seção 3
fornece maiores detalhes sobre as funcionalidades oferecidas pela ferramenta que
disponibiliza o glossário. A subseção a seguir descreve como foram conduzidas revisões
do glossário.
2.2. Revisões do Glossário de Termos
Após apresentação no ESELAW’06 e consolidação da primeira versão do glossário, seu
conteúdo passou por sessões de revisão por diferentes grupos relacionados à Engenharia
de Software Experimental. Foram conduzidas sessões de revisão em eventos científicos
que reunissem pesquisadores de diferentes comunidades, representando assim uma
excelente oportunidade de divulgação do glossário no meio de pesquisa e de discussões
visando melhorias na completude e corretude da lista de termos.
Uma primeira revisão ocorreu na reunião do ISERN em 2007. Como uma das
primeiras iniciativas de concepção do glossário veio do ISERN através da definição de
uma terminologia básica, a reunião entre os membros deste grupo foi considerada para
divulgar o glossário e executar uma revisão. Em seguida, outra revisão ocorreu no
ESELAW’07. Os objetivos destas revisões foram avaliar a pertinência e a correção do
conteúdo do glossário.
Nestas revisões, apresentou-se o glossário e uma discussão foi promovida a fim
de identificar quais termos podiam ser incluídos e quais seriam passíveis de exclusão
por não estarem ligados diretamente à experimentação em Engenharia de Software. Os
participantes foram divididos em grupos que receberam um documento (Figura 1)
listando os termos inclusos no glossário, organizados em ordem alfabética. Os
participantes foram orientados a discutir em grupo quais termos poderiam ser inclusos e,
dentre aqueles listados, quais seriam passíveis de exclusão.
45

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
Figura 1. Documento distribuído para registrar
sugestões de inclusão e exclusão de termos
Os termos sugeridos por cada grupo foram comparados para eliminar eventuais
duplicatas e serem efetivamente inseridos. Como as avaliações não solicitaram
definições para os termos sugeridos, realizou-se uma pesquisa na literatura para fornecer
as definições com suas devidas referências. Como resultado, um modelo bem mais
estável e cobrindo um conjunto mais abrangente de tipos de estudos foi obtido.
A seguir, em 2008, como uma última atividade antes da liberação do glossário
para a comunidade, foi realizada uma sessão de inspeção como um dos trabalhos da
disciplina de Experimentação em Engenharia de Software, ministrada pelo Programa de
Engenharia de Sistema e Computação da COPPE/UFRJ. A disciplina foi direcionada
para 22 alunos, dentre os quais 18 mestrandos e 4 doutorandos, tendo transcorrido nos
meses de outubro, novembro e dezembro de 2008. Referências importantes na área de
Experimentação em Engenharia de Software, tais como [Wöhlin et al., 2000] e [Juristo
e Moreno, 2001], juntamente com o conhecimento transmitido na disciplina,
subsidiaram a realização por parte dos alunos de uma inspeção no glossário. Os
objetivos desta inspeção contemplaram a detecção de discrepâncias que não foram
objetivo de avaliação nas revisões anteriores. Os alunos focaram na identificação de
problemas relacionados à omissão de termos e definições, correção de das definições e
alteração de nome dos termos. Um total de 190 oportunidades de melhoria foi
identificado após discriminação e remoção de duplicatas.
2.3. Integração a um repositório de conhecimento
Executar estudos experimentais envolve grande volume de conhecimento consumido e
produzido ao longo da execução do Processo de Experimentação [Shull et al., 2001].
Este conhecimento precisa ser gerenciado adequadamente, sendo disponibilizado no
momento certo ao pesquisador para auxiliá-lo em tomadas de decisão e também
registrado para posterior consulta.
Em vista disto, Lopes e Travassos (2009) destacaram a necessidade de um
repositório que formalize este conhecimento, tornando-o acessível ao pesquisador
durante a execução do Processo de Experimentação. Este repositório foi proposto como
sendo o núcleo de recuperação de conhecimento do eSEE (experimental Software
46

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
Engineering Environment), uma infra-estrutura computacional baseada em serviços web
que provê facilidades de instanciação de ambientes de apoio ao Processo de
Experimentação em Engenharia de Software [Travassos et al., 2008]. O eSEE consulta
o repositório e disponibiliza ao pesquisador o conhecimento necessário para instanciar
ambientes com todas as facilidades requeridas para conduzir o estudo desejado [Lopes e
Travassos, 2009].
Repositórios de conhecimento expressam, através de uma linguagem de
representação de conhecimento específica, conceitos e seus relacionamentos [O’Leary,
1998]. Como o repositório proposto para o eSEE contempla conceitos de
Experimentação em Engenharia de Software, os termos listados no glossário podem
constituir um conteúdo inicial deste repositório. Assim, o glossário construído até então
se revelou um importante mecanismo de representação de conhecimento a ser adotado
na estruturação deste repositório [Lopes e Travassos, 2009].
O eSEE contempla a instanciação de ambientes para diferentes tipos de estudo e,
portanto, o conhecimento a cerca desses estudos deve estar refletido no repositório.
Lopes e Travassos (2008) identificaram o domínio deste conhecimento, que contempla
conceitos ligados às taxonomias de estudo segundo abordagem de pesquisa, estratégia
de estudo, método de pesquisa e ambiente de estudo. Entretanto, o glossário construído
até então carece de uma cobertura mais satisfatória a cerca dos conceitos sobre essas
taxonomias. Desta forma, para consolidar a integração do glossário ao repositório,
realizou-se uma pesquisa em referências importantes na literatura de Experimentação
em Engenharia de Software. O objetivo foi agregar novos termos sobre as taxonomias
previstas em [Lopes e Travassos, 2008], tornando o conteúdo do glossário mais aderente
ao conhecimento requerido pelo repositório de conhecimento do eSEE. As referências
selecionadas foram [Juristo e Moreno, 2001], [Shull et al., 2008] e [Wöhlin, 2000].
Foram identificados 28 novos termos, incluídos com sua respectiva definição no
glossário através da ferramenta wiki.
Com a inclusão dos conceitos sobre os diferentes tipos de estudos previstos em
[Lopes e Travassos, 2008], o glossário foi integrado como um dos mecanismos
estruturantes do repositório de conhecimento do eSEE (Figura 2). Como o repositório
também deve explicitar relacionamentos entre os conceitos, foram construídas
ontologias que representam as relações entre os conceitos expressos no glossário [Lopes
e Travassos, 2009].
Figura 2. Repositório de conhecimento de Experimentação
em Engenharia de Software 47
[Lopes e Travassos, 2009]

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
3. Características do Glossário de Termos
A primeira versão do glossário foi construída e disponibilizada em um documento. O
aumento gradativo no número de termos, embora crucial do ponto de vista de
completude, trouxe dificuldades para os pesquisadores navegarem pela lista, procurar
por um termo específico e, sobretudo, controlar o acesso aos direitos de alteração no
glossário. Assim, deu-se início, após consolidação da primeira versão do glossário, de
um estudo sobre tecnologias disponíveis que pudessem ser empregadas no
desenvolvimento de uma ferramenta que disponibilizasse o glossário. Os requisitos da
ferramenta que a tecnologia deve apoiar são:
Ser composto como um sistema web, permitindo seu uso em diferentes
localidades e entre comunidades de pesquisa;
Prover controle de acesso;
Disponibilizar operações de inclusão, alteração e exclusão de termos, definições
e referências.
Dentre as opções disponíveis, foi escolhida a tecnologia wiki [MediaWiki,
2009]. Esta tecnologia fornece uma infra-estrutura que satisfaz os requisitos
estabelecidos por ter sido concebida para viabilizar a criação e manutenção de
glossários. A infra-estrutura é disponibilizada em um pacote de instalação contendo
nativamente recursos de controle de acesso, navegação, inclusão, alteração e exclusão de
termos e definições. Perfis de moderadores podem cadastrar novos usuários com
diferentes permissões de alteração no glossário. Por padrão, todo usuário da ferramenta
pode consultar os termos do glossário sem, entretanto, estar efetivamente cadastrado. A
ferramenta está acessível através do endereço http://lens-ese.cos.ufrj.br/wikiese.
A ferramenta apresenta a lista de termos em ordem alfabética, na qual o usuário
pode navegar facilmente entre os termos utilizando hiperlinks (Figura 3). A fim de
adicionar uma forma de navegação diferenciada, desenvolveu-se um componente
baseado em hipergrafo (Figura 4) que oferece uma nova perspectiva sobre a lista. Os
termos são apresentados em um hipergrafo e ligados pelos nós rotulados pela sua inicial.
Figura 3. Lista de Termos
48

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
Figura 4. Hipergrafo do Glossário de Termos
Ao acionar o link de um dos termos da lista ou do hipergrafo, o pesquisador é
conduzido à página (Figura 5) contendo a definição em inglês, português e espanhol do
termo em questão. Além disso, são citadas as referências que fundamentam a definição e
outras fontes importantes na contextualização do termo.
4. Conclusão
Figura 5. Definições em diferentes línguas do termo selecionado
Este artigo descreveu o glossário de termos de Experimentação em Engenharia de
Software. O processo de construção do glossário foi detalhado em termos da
consolidação de sua versão inicial e das revisões conduzidas entre os pesquisadores,
visando ampliar a completude e a corretude da lista de termos. Discutiu-se também a
integração do glossário a um repositório de conhecimento sobre Experimentação em
Engenharia de Software, que demandou a inclusão de termos a cerca de conceitos sobre
49

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
os diferentes tipos de estudo experimentais. Ao final foram apresentadas as principais
características da ferramenta que disponibiliza o glossário na web.
Dentre as contribuições deste trabalho, destacamos a construção do glossário
como uma importante iniciativa para estabelecer uma terminologia comum na área de
Experimentação em Engenharia de Software. As avaliações conduzidas constituíram
uma relevante contribuição para que o glossário atingisse níveis de corretude e
completude satisfatórios em comparação com sua versão inicial. Destacamos também a
importância do glossário na estruturação do repositório de conhecimento do eSEE,
através do qual o glossário pode ser utilizado. O glossário revisado pode ser acessado
também de forma independente através do endereço http://lens-ese.cos.ufrj.br/wikiese.
Acreditamos que a comunidade possui importantes contribuições a fornecer no
sentido de melhorar e divulgar o glossário, fomentando seu uso de forma extensiva entre
os pesquisadores. A colaboração de membros da comunidade para evolução contínua e
divulgação do glossário representa um importante passo na normatização da
terminologia e melhoria constante do glossário, que deve refletir a própria evolução da
área de Experimentação em Engenharia de Software.
Agradecimentos
O glossário de termos é parte do projeto Engenharia de Software Experimental e Ciência
em Larga Escala - CNPq (475459/2007-5) e FAPERJ. Agradecemos ao grupo de
Engenharia de Software Experimental, em especial aos alunos Felipe Pinto e Vinicios
Bravo, pelas importantes contribuições na construção da versão inicial da ferramenta
wiki. Os autores reconhecem e agradecem o apoio de Mike Baker (ISERN) e Sandra
Fabbri (UFSCar-ESELAW) nas atividades de organização e revisão do glossário.
Referências
Amaral, E. A. G. G. (2003) “Empacotamento de Experimentos em Engenharia de
Software”, Dissertação de Mestrado, COPPE/UFRJ, Engenharia de Sistemas e
Computação, RJ, Brazil.
Basili, V.R., Shull, F., Lanubile, F. (1999). “Building Knowledge through Families of
Experiments”, In: IEEE Trans. on Software Engineering, vol. 25, No. 4.
Chapetta, W. A., (2006), “Uma Infra-estrutura para Planejamento, Execução e
Empacotamento de Estudos Experimentais em Engenharia de Software”, Dissertação
de Mestrado, Programa de Engenharia de Sistemas e Computação, COPPE/UFRJ,
Universidade Federal do Rio de Janeiro. Rio de Janeiro, RJ, Brasil.
Costa, H.R.; Mian, P.G. Travassos, G.H., (2004), “Estendendo um Modelo de Processo
e de Empacotamento de Estudos Experimentais”, Relatório Técnico do Projeto eSEE.
ISERN, (1995), “ISERN basic terminology in Experimental Software Engineering”,
http://www.cs.umd.edu/projects/SoftEng/tame/isern/isern.definitions.html.
Juristo, N., Moreno, A. (2001). “Basics of Software Engineering Experimentation”,
Kluwer Academic Press, 1ª edição.
50

ESELAW’09
VI Experimental Software Engineering Latin American Workshop
Lopes, V.P., Travassos, G.H. (2008) “Infra-estrutura Conceitual para Ambientes de
Experimentação em Engenharia de Software”, Experimental Software Engineering
Latin American Workshop (ESELAW'08), Brasil.
Lopes, V.P., Travassos, G.H. (2009) “Estrutura do Repositório de Conhecimento de um
Ambiente para Experimentação em Larga Escala
em Engenharia de Software”, Em: Anais do XXIII Simpósio Brasileiro de
Engenharia de Software, SBES, Fortaleza, CE, Brasil, Outubro.
O’Leary, D.E., (1998), “Using AI in Knowledge Management: Knowledge Bases and
Ontologies”. IEEE Intelligent Systems, v. 13, n. 3 (May/Jun), pp. 33-39.
Shull, F., Singer, J., Sjøberg, D. I. K. et al., “Guide to Empirical Software Engineering”,
Springer, ISBN: 978-1-84800-043-8, 2008.
Shull, F., Carver, J., Travassos, G.H., (2001), “An Empirical Methodology for
Introducing Software Processes”. In: 8th European Software EngineeringSymposium
and 9th ACM SIGSOFT Symposium on the Foundations of Software Engineering
(FSE-9) and 8th European Software Engineering Conference (ESEC), Vienna,
Austria, September.
Sjøberg, D.I.K., Diba, T., Jorgensen, M., (2007) , “The Future of Empirical Methods in
Software Engineering Research”. Em: International Conference on Software
Engineering (ICSE), Minneapolis, Estados Unidos, Maio.
Travassos, G. H., Santos, P. S. M., Mian, P. G., Dias Neto A. C., Biolchini, J., “A
Environment to Support Large Scale Experimentation in Software Engineering”, 13th
IEEE International Conference on Engineering of Complex Computer Systems,
Abril, 2008.
MediaWiki, (2009), http://www.mediawiki.org/wiki/MediaWiki
Wohlin, C., Runeson, P., Höst, M., Ohlsson, M., Regnell, B., Wesslén, A.,
Experimentation in Software Engineering – An Introduction. Kluwer Academic
Publishers. 2000.
51