Qualidade de Dados - Dataprev

Escalabilidade e Eficiência em Técnicas de Resolução de Entidades
Wagner Meira Junior
independentemente do tamanho da base de dados, é possível distribuí-la em
várias máquinas e, em momento algum, é necessário ter toda a base em apenas
uma máquina. Esse é o requisito fundamental para a utilização de um cluster de
workstations para fazer esse tipo de operação. Isso é atingido mediante todo um
processo de paralelização e utilização de um ambiente desenvolvido anteriormente,
com o objetivo de fazer a paralelização escalável desses algoritmos. Esse é,
portanto, o grande mérito do ponto de vista técnico.
Quem já tem alguma familiaridade com soluções de pareamento probabilístico
pensa imediatamente no Febrl, uma solução australiana. A questão é que o Febrl,
em dado momento da computação, gera um índice único dos pares a serem
comparados. Então, haja disco ou haja memória. Sendo uma base realmente
grande, ele explode. Aqui está a nossa diferença em relação ao Febrl, não temos
essa limitação. Desde o momento inicial, os dados são paralelizados, distribuídos
em várias bases de dados. Isso vai acontecendo durante todo o processo até que
seja gerado o resultado, haja a convergência e a redução das informações para
uma base única.
Voltando propriamente ao estudo de caso, pegamos uma base de 1,5 milhão de
registros de óbitos e internações na rede pública hospitalar de Belo Horizonte,
entre 2000 e 2005. Nosso objetivo era realizar o pareamento, porque muitas vezes
os tratamentos eram interrompidos, mas não havia informação sobre os motivos.
Não sabíamos se interrupção ocorreu porque a pessoa morreu, se curou, mudou
de cidade ou em virtude de qualquer outra coisa. Detectamos uma série de
problemas referentes a erros de entrada de dados e duplicidade de informação.
Muitos registros dessa base de informações ambulatoriais vêm de registro manual
digitalizado posteriormente. Provavelmente, estamos falando de um dos piores
casos relativos à aquisição de dados. E mais, uma das bases utilizadas foi a do
Serviço de Assistência Especializada (SAE), uma base de pagamento, não de
registro epidemiológico ou coisa do gênero. No caso, sua finalidade principal era o
pagamento dos prestadores de serviços onde as pessoas faziam diálise.
Aqui cabe um aparte. Há um problema muito sério associado à diálise, algo sobre o
que vocês provavelmente já ouviram falar. Por incrível que pareça, o Brasil, com
toda limitação de recurso, tem uma das taxas de crescimento de diálise maiores
do mundo. A Suécia tem uma taxa de crescimento de diálise muito menor do que a
do Brasil, embora o sistema lá também seja estatizado. A questão é que aqui há
uma série de ações quase criminosas: o profissional de saúde antecipa a diálise,
porque isso dá dinheiro. Isso tem gerado um sério problema.
Mas voltemos aos diversos problemas de padronização e limpeza. Vários campos
apresentavam valores incorretos ou com mais de um padrão. Isso se deu em
registros de nomes - em que encontramos até mesmo a frequente utilização do
“RN” para marcar casos de recém-nascidos; municípios – mesmo utilizando o
código do município do IBGE, parte da base não considerou o dígito verificador;
datas – parte da base utilizava o formato AAAAMMDD e outra o DDMMAAAA; e
mesmo os problemas de digitação, já mencionados.
Iniciamos a fase de blocagem com 1,5 milhão de registros. O número potencial de
comparações era da ordem de 225 x 10^10. Após a blocagem, reduzimos a 150
milhões de pares, que foram processados em menos de 8 minutos. A vantagem da
nossa estratégia de blocagem é a possibilidade de aplicação de múltiplos critérios.
Em geral, quando se faz um batimento, escolhe-se um conjunto de critérios
hierarquizados entre si, com precedência de aplicação, e ainda um conjunto de
Fórum de TIC Dataprev
Qualidade de Dados 41