Controlo Externo da Qualidade

ENCONTRO DE TÉCNICOS DE LSP
INSA - Lisboa
27 de Maio de 2008
1

1- Objectivo
2- Métodos de avaliação: materiais de referência, ensaios
interlaboratoriais, comparação de métodos
3- Ensaios interlaboratoriais
3.1. Avaliação de desempenho: métodos do z-score e do erro
normalizado
3.2. Tratamento de ensaios interlaboratoriais insatisfatórios: análise de
causas, acções correctivas, análise de eficácia
4- Exemplos
5- Outras aplicações dos ensaios interlaboratoriais: cálculo da
incerteza, avaliação do técnico de ensaio
2

A AEQ permite evidenciar um dos requisitos da acreditação, a
comparabilidade (rastreabilidade) de resultados através da
avaliação regular da exactidão (accuracy) dos resultados
analíticos produzidos pelo laboratório.
A periodicidade da AEQ depende de:
Complexidade dos ensaios e/ou das matrizes das amostras
Domínio do método de ensaio
Existência de CIQ adequado
Qualidade requerida para os resultados
No mínimo 2 / ano
3

A AEQ pode ser efectuada através de:
- Materiais de referência – amostras com uma concentração
bem definida de analito o que permite serem usadas na
avaliação de um método de medida
- Ensaios interlaboratoriais – realização e avaliação de
ensaios no mesmo material por vários laboratórios em
condições pré-definidas
- Cruzamento de métodos – comparação de 2 métodos
4

Um MR pode ser um padrão
- preparado pelo Laboratório ou por uma firma comercial
- preparado por uma entidade com competência reconhecida através
de um processo tecnicamente válido e que possui associada a
incerteza da grandeza a medir (MRC)
Entidades que preparam MRC
BCR (Bureau Comunitário de Referência) - CUE
NIST (National Institute of Standards and Technology) - EUA
US EPA (Environmental Protection Agency)
US Geological Survey dos EUA
Avaliação de desempenho
- O valor obtido pelo laboratório deve estar contido no intervalo de
incerteza indicado para o valor certificado.
- O intervalo de confiança de 95% do valor obtido pelo laboratório deve
conter o valor certificado.
5

MR - Rastreabilidade
O resultado de uma medição deve poder relacionar-se a materiais de
referência por intermédio de uma cadeia ininterrupta de comparações.
MRC
MR2
MR1
Padrões de trabalho
Cadeia metrológica
6

Existem vários tipos de EI consoante o seu objectivo:
- EI de Aptidão - avaliar o desempenho dos labs. participantes
- EI de normalização – estudar as características de um método de
análise
- EI de certificação – obter o valor certificado para um material
candidato a MRC
7

Avaliação de desempenho
É efectuada pela entidade organizadora dos ensaios através do
cálculo do z-score.
=
−
X lab – valor obtido pelo laboratório
X v – Valor verdadeiro
S – unidade de desvio
CRITÉRIOS PARA DEFINIÇÃO DE S
Desvio padrão de referência s (Xv)
Desvio padrão da média dos laboratórios
Máxima percentagem de erro:
5% de X v p/ parâmetros > 100 mg/L
10% de X v
p/ parâmetros 1-100 mg/L
20% de X v p/ parâmetros 0,01 – 1 mg/L
30% de X v
p/ parâmetros < 0,01 mg/L
8

Avaliação de desempenho
Cabe à EO definir os limites de aceitabilidade dos ensaios
através da definição do valor da unidade de desvio (s).
O critério para definição de s depende do objectivo do ensaio
e representa a incerteza aceitável em relação ao objectivo
definido.
- Se U Xv for muito superior a U Xlab deverá ser questionada a validade
do EI.
- Se U Xv for negligenciável relativamente a U Xlab é expectável que
ocorram resultados insatisfatórios.
9

Avaliação de desempenho
0 1 2 3
Satisfatório
Questionável
Insatisfatório
Z-score
O z-score permite ao participante:
- verificar se o seu desempenho está dentro dos critérios
externos definidos pela EO
- detectar erros anormais
- ter confiança nos resultados analíticos
10

Avaliação de desempenho
Caso a incerteza do ensaio seja muito diferente da incerteza
do valor de referência poderá ser útil o cálculo do erro
normalizado o qual pondera a incerteza do valor do ensaio e a
incerteza do valor de referência.
11

DETERMINAÇÃO DO ERRO NORMALIZADO
=
−
+
U (X(
lab ) – incerteza expandida de X lab
U (X(
v ) – incerteza expandida de X v
Satisfatório -1 < En < +1
Insatisfatório En < -1 ou En > +1
Para que En |1|, o valor de X v deve estar dentro do intervalo de
incerteza de X lab
Se os valores do z-score e do En forem muito diferentes (ou seja U Xlab
muito diferente de U Xv ), isso pode significar que:
- A incerteza do resultado está mal calculada
- O EI não é adequado ao objectivo do laboratório
12

Requisitos para que os EI sejam considerados válidos na
avaliação do desempenho do laboratório
As amostras dos EI devem, na medida do possível, ser similares às
amostras reais
O laboratório deve usar nos amostras dos EI e nas amostras reais a
mesma metodologia de análise
13

!
Para EI insatisfatórios é necessário abrir Ficha de não
Conformidade.
Análise de causas
Verificar se houve trabalho não conforme e tomar as medidas
adequadas
Acções correctivas
Análise de eficácia (reavaliação das medidas correctivas)
Repetir ensaio
O resultado é aceitável
O resultado não é aceitável
14

!
Causas prováveis
Equipamento
Reagentes
Calibração do método
Preparação da amostra
Perícia do operador
Erros de registo ou de cálculo
Efeito de matriz
Incorrecta medição de volumes
ou de pesagens
Método de análise inadequado
Diagnóstico
Verificação
Brancos
Padrão de verificação
Repetição
Duplicados de amostra
Verificação
Ensaios de recuperação
Repetição
Incerteza do método
CIQ
15

valiação de desempenho
Exemplos
AQUACHECK
Parâmetro
X lab
X v
X lab
-X v
s
(10% de X v
)
z
Sódio, mg/L
15,3
17,0
-1,7
1,7
-1,00
Condutividade, µS/cm
492,0
498,0
-6,0
49,8
-0,12
Sulfatos, mg/L
Nitritos, mg/L
Amónia, mg/L
32,6 30,5 2,1 3,1 0,69
0,190 0,188 0,002 0,019 0,11
0,103 0,165 -0,062 0,0165 -3,76
X lab
X v
X lab
-X v
s
z
(1/20 do VP)
Amónia, mg/L
0,103
0,165
-0,062
0,025
-2,48
17

valiação de desempenho
Exemplos
RELACRE
Parâmetro
X lab
X v
X lab
-X v
s ref
z
Sódio, mg/L
69,6
71,2
-1,6
2,4
-0,7
Condutividade, µS/cm
922
972
-50
17
-2,9
Sulfatos, mg/L
112,1
113
-0,9
4
-0,2
Nitritos, mg/L
< 0,04
0,03
0,002
2,0
Amónia, mg/L
0,316
0,32
-0,004
0,03
-0,1
18

valiação de desempenho
Comparação
RELACRE / AQUACHECK
Parâmetro
X lab
X v
z (s ref
)
RELACRE
z (10% x v
)
AQUACHECK
Z (1/20 VP)
AQUACHECK
Sódio, mg/L
69,6
71,2
-0,7
-2,2
- 0,2
Condutividade,
µS/cm
922
972
-2,9
-5,1
- 0,4
Sulfatos, mg/L
112,1
113
-0,2
-0,8
- 0,1
Nitritos, mg/L
< 0,04
0,03
2,0
Amónia, mg/L
0,316
0,32
-0,1
-1,3
- 0,2
19

valiação de desempenho
Cálculo do erro normalizado
RELACRE
=
−
+
Parâmetro
X lab
X v
U (X lab
)
U (X v
)
Z
En
pH
7,2
7,17
0,16
0,3
0,2
0,1
Condutividade,
µS/cm
216
204
19,5
6
3,0
0,6
20

valiação de desempenho
Ficha de avaliação do CQE
Controlo Qualidade Externo - Aquachek
pH
4
Z-score
3
2
1
0
-1100 150 200 250 300 350
-2
-3
-4
Distribuição
Z-score
LIC
LIA
LC
LSA
LSC
21

valiação de desempenho
Ficha de avaliação do CQE
Controlo Qualidade Externo - Aquachek
Condutividade a 20 ºC
Z-score
14
12
10
8
6
4
2
0
-2100 150 200 250 300 350
-4
Distribuição
Z-score
LIC
LIA
LC
LSA
LSC
22

Outras aplicações dos EI
1- Avaliação do técnico de ensaio
2- Determinação da incerteza do método
23

Avaliação do técnico de ensaio - Programa AQUACHECK (1997 – 2008)
Parâmetro –Amónia
4,0
3,0
z-score
2,0
1,0
0,0
0 5 10 15 20 25
-1,0
-2,0
Técnico A
Técnico B
LSA
LSC
LIA
LIC
-3,0
-4,0
Técnico A – 14 ensaios
Técnico B – 16 ensaios
Total – 23 ensaios
24

Determinação da incerteza do método
O resultado da mediação (y) corresponde ao valor verdadeiro (m) afectado
do erro sistemático (es) e do erro aleatório (ea(
ea).
=
+
= +
+
A incerteza do resultado (U(
y ) depende da variância do erro aleatório e da
variância do erro sistemático.
A componente do erro sistemático poderá ser estimada com base nos s EI
com resultados satisfatórios.
X = Valor referência
Xi = valor obtido pelo laboratório
n = nº de EI efectuados
=
=
−
Se a amplitude x-xi for reduzida, a componente u(es) poderá ser desprezada no
cálculo da incerteza
25

Bibliografia
Guia RELACRE 3 (1996); Validação de resultados em laboratórios químicos
Guia RELACRE 13 (2000); Validação de métodos internos de ensaio em análise
em análise química.
amc technical brief, How to combine proficiency test results with your own
uncertainty estimate – the zeta score; Analytical Methods Committee, Nº2, Nov. 2000
amc technical brief, Understanding ADN acting no scores obtained ir proficiency
teting schemes; - Analytical Methods Committee, Nº 11, Dez. 2002
Selection, use and interpretation o proficiency testing (PT) schemes by
laboratories – 2000; EURACHEM Guide on selection, use and interpretation of PT
schemes; Edition 1.0 - 2000.
ISO 5725-3 (1994); Accuracy (trueness and precision) of measurements methods
and results – Part 3: Intermediate measures of the precision of a standard
measurements methods.
ISO 5725-6 (1994); Accuracy (trueness and precision) of measurements methods
and results – Part 6: Use ir practice of accuracy values.
26