MANUAL DE PRUEBA PERICIAL_Suprema Corte

282
Manual de prueba pericial
Si bien es deseable que el error de la técnica sea el menor posible, lo que resulta
crítico es que el sistema esté bien calibrado. Así, y aunque parezca sorprendente
a primera vista, en ciencia forense sería infinitamente mejor un sistema bien calibrado
con un error de identificación alto —por ejemplo, de 30 %—, frente a un
sistema mal calibrado con un error relativamente bajo —por ejemplo, de 3 %—.
El concepto de calibración tiene que ver con la fiabilidad de las predicciones
probabilísticas que el sistema emite en forma de valores de LR. 40 Igual que, por
ejemplo, un determinado medio de pronóstico del tiempo atmosférico será útil
si posteriormente los pronósticos, en media, se verifican —esto es, para el conjunto
de días donde se anunció probabilidad de lluvia de 80 %, debería haber
llovido en ocho de cada 10 de esos días), de la misma forma ocurrirá con un
método que “emite” valores de LR a su salida. Así, un modelo que hace estimaciones
de LR estará bien calibrado si, cuando por ejemplo en el conjunto de casos
donde emite el valor LR = 5, se verifica que se está emitiendo ese valor cinco veces
más bajo la hipótesis H 1 (same-source) que bajo la hipótesis H 2 (different-source).
Para medir la bondad en términos de calibración de un sistema que emite LR,
nuevamente haremos uso de conjuntos de datos same-source y different-source
con soluciones conocidas, y mediante funciones de coste como C llr
41
donde premiaremos
o castigaremos —en términos de coste— en mayor o menor medida al
sistema dependiendo del grado de separación entre el valor de LR emitido y el que,
conocida la solución, debería haber emitido el sistema. Así, por ejemplo, si un
sistema emite un LR de valor muy elevado (e. g., LR = 10 000) en un caso donde
se verifica H 2 (different-source), la penalización recibida será muy alta. Conocido
el rendimien to en términos de calibración del sistema original, podemos “recalibrar”
el sistema, transformando los LR originales en un nuevo conjunto de LR
calibrados. Este proceso resultará en que sistemas con tasas de error mayores,
una vez calibrados, restringirán grandemente el rango de LR posibles a emitir
40
Van Leeuwen, Brümmer, “An introduction to application-independent evaluation of speaker recognition
systems”, en Speaker classification, pp. 330-353; Ramos, Gonzalez‐Rodríguez et al., “Informationtheoretical
assessment of the performance of likelihood ratio compu tation methods”, en Journal of
Forensic Sciences, pp. 1503-1518; Ramos, Gonzalez-Rodríguez, “Reliable support: measuring calibration
of likelihood ratios”, en Forensic Science International, pp. 156-169.
41
Brümmer, Du Preez, “Application-independent evaluation of speaker detection”, en Computer Speech
& Language, pp. 230-275.