Qualidade de Dados - Dataprev

Escalabilidade e Eficiência em Técnicas de Resolução de Entidades
Wagner Meira Junior
pesos válidos para a base como um todo. No nosso caso, implementamos vários
tipos de blocagem e fizemos a união dessas múltiplas blocagens como sendo
parte do processo de paralelização. Isso aumentou a eficácia do nosso processo.
A comparação é a fase que consome mais tempo, pois deixamos de lado os índices
e passamos a trabalhar com os registros inteiros. Experimentamos várias funções
de comparação, de modo a chegar a uma maior tolerância com os erros de digitação.
O pareamento probabilístico dispõe de um sistema de notas por meio do qual
é possível atribuir peso ao que se encontra de concordante ou discrepante em cada
região. Vejamos isso por meio de exemplos (Figura 4). O primeiro corresponde ao
caso de uma
p e s s o a q u e
provavelmente
se casou, ou seja,
ao nome inicial
foi acrescentado
um sobrenome
no fim, mas os
o u t ros d a d o s
eram muito semelhantes. Esse registro tem uma nota alta. O outro sinaliza,
aparentemente, uma coincidência de data de nascimento, pois os demais dados
são diferentes. Esse tem uma nota menor.
No contexto do pareamento probabilístico, a distribuição de freqüência das notas
encontrada na comparação vai depender das características da base. A dificuldade
é, apenas, determinar exatamente o esquema de peso quando diante dessas
distribuições. Mas é justamente aí que entra o pareamento probabilístico. Ele é
uma técnica teoricamente fundamentada, proposta há quarenta anos, que traz
um processo estatístico pelo qual, olhando as modas das distribuições de frequência
dessas notas, fica possível
determinar o que são pares
verdadeiros, o que demanda a
reavaliação e o que não são pares,
independentemente da base
(Figura 5). Isso torna o processo
realmente interessante. Foi o que
permitiu que tivéssemos a
flexibilidade para, num período de
pouco mais de um ano, fazer
vários pareamentos entre bases
diferentes - nesse caso, entre o
SIA, o SIH e o SIM.
À luz do que foi dito até agora,
considero já ser possível apresentar
a arquitetura geral do sistema
(Quadro 6). Ela segue aquela
dinâmica de análise e padronização,
blocagem, comparação,
várias funções de codificação,
comparação, associações semânticas
e os resultados que se podem obter. Observem que até mesmo a determinação
dos cortes ou a distribuição de frequência dos pesos ensina muito sobre a base
e suas características específicas.
Fórum de TIC Dataprev
Figura 4
Exemplo de resultados
comparados
Fonte: Odilon Vanni de
Queiroz. Relacionamento
probabilístico de registros na
integração de sistema de
informação do SUS...
Figura 5
Classificação de Pares
no Pareamento
Fonte: Odilon Vanni de
Queiroz. Relacionamento
probabilístico de registros na
integração de sistema de
informação do SUS.
Qualidade de Dados 42