Annexe à la procédure d'élaboration et de gestion des méthodes microbiologiques dans les aliments

Si vous avez besoin d'aide pour accéder aux formats de rechange, tels que Portable Document Format (PDF), Microsoft Word et PowerPoint (PPT), visitez la section d'aide sur les formats de rechange.

Annexe 4.1 :

mars 2011

Paramètres de performance des méthodes microbiologiques - informations supplémentaires sur la sensibilité et la spécificité

Validation relative d'une méthode indirecte

1. Objectif

L'objectif de ce document est de décrire la façon de calculer les paramètres de performance d'une méthode alternative lorsqu'elle est comparée à une méthode de culture de référence au cours d'une étude de validation. Il est convenu que des échantillons contaminés produiront un taux de positif fractionnel lorsqu'ils sont analysés avec la méthode alternative, la méthode de référence ou par toutes les deux. Cette étude doit être complétée selon les indications données dans le document du Comité des méthodes microbiologiques, « Procédures d'élaboration et de gestion des méthodes microbiologiques dans les aliments », et en particulier la partie 4, «Lignes directrices pour la validation relative des méthodes microbiologiques qualitatives indirectes».

Ce document s'applique uniquement aux études de validation relatives, c'est-à-dire lorsque la méthode alternative est comparée à une méthode de culture de référence. Les études se déroulent différemment, selon que les échantillons soient appariés ou non. Dans le cas d'échantillons appariés, les deux méthodes débutent avec le même bouillon d'enrichissement alors que dans le cas des échantillons non appariés, les deux méthodes débutent avec des bouillons d'enrichissement différents. Selon que les échantillons soient appariés ou non, la méthode de calcul des paramètres de performance sera différente.

2. Validation relative utilisant des données relatives

Généralement, des échantillons sont non appariés lorsque les méthodes alternatives et de référence utilisent des bouillons d'enrichissement primaires différents. Dans ce cas, chaque méthode se voit attribuer une série d'échantillons qui lui est propre. On prépare habituellement ces échantillons en contaminant artificiellement une grande quantité d'aliment qui est ensuite bien mélangé pour répartir l'inoculum de façon homogène. Des portions d'analyse (habituellement 25g) sont ensuite prélevées et attribuées aléatoirement à la méthode de référence ou à la méthode alternative. Le niveau de contamination étant déterminé de façon à obtenir un taux de positifs fractionnels, il est impossible de prévoir quels seront les résultats de chacune des portions. On peut cependant assumer que le nombre de portions contenant au moins une cellule vivante sera statistiquement égal pour les deux méthodes.

Une première série d'échantillons est analysée avec la méthode de culture de référence; les résultats obtenus sont qualifiés de résultats de référence. La deuxième série d'échantillons est analysée par la méthode alternative pour obtenir des résultats dits présomptifs. Ces mêmes échantillons sont ensuite soumis à une confirmation microbiologique à l'aide de la méthode de référence ou par investigation poussée du statut réel de l'échantillon¹ afin de produire des résultats dits confirmés. Les résultats finaux de la méthode alternative sont obtenus par la combinaison du résultat présomptif et du résultat confirmé pour chaque échantillon.

Voici un certain nombre de suppositions qu'il est convenu d'accepter :

1. Spécificité et taux de faux positifs : La méthode de référence étant une méthode de culture, elle ne peut pas générer de faux positifs. La spécificité de la méthode de référence est donc toujours de 100%.
2. Sensibilité et taux de faux négatifs : Les échantillons de la méthode de référence n'étant vérifiés par aucune autre méthode, il est impossible de déterminer si la méthode de référence a manqué la détection d'un échantillon positif. Pour cette raison, on doit assumer que sa sensibilité est toujours de 100%.
3. Les échantillons analysés par l'une ou l'autre méthode étant différents, il n'est pas possible de relier directement les résultats de la méthode alternative et ceux de la méthode de référence, outre le fait qu'on devrait obtenir un nombre de résultats positifs statistiquement égal pour les deux méthodes. De ce fait, il est impossible d'utiliser les résultats de la méthode de référence pour calculer les paramètres de performance de la méthode alternative. Par contre, ces résultats peuvent être utilisé pour démontrer statistiquement l'équivalence des méthodes.

Les résultats présomptifs de la méthode alternative sont soumis à une confirmation, les résultats finaux pour la méthode alternative sont obtenus en combinant les résultats présomptifs et confirmés de la façon décrite au tableau 1.

Tableau 1. Règle d'attribution des résultats et statuts finaux pour la méthode alternative.

Résultats présomptifs	Résultats de la confirmation	Résultats finaux	Statut final de l'échantillon
+	+	+	Positif
+	-	-	Faux positif
-	+	-	Faux négatif
-	-	-	Négatif

Il est à noter qu'il y a 3 façons différentes d'obtenir un résultat final négatif, mais une seule façon d'obtenir un résultat final positif. Toutefois, le statut final des 3 types de résultats finaux négatifs est différent et ceci sera pris en considération dans le calcul des paramètres de performance.

À titre d'exemple, le tableau 2 donne les résultats d'une étude au cours de laquelle deux séries de 20 échantillons contaminés à des taux positifs fractionnels ont été analysées.

Tableau 2. Exemples des données de validation pour échantillons non-appariés

Méthode alternative					Méthode de référence
Identification	Résultat présomptifs	Résultat de la confirmation	Résultat final	Statut final	Identification	Résultat de la référence	Statut final
A1	-	-	-	N	R1	+	P
A2	+	+	+	P	R2	+	P
A3	-	-	-	N	R3	+	P
A4	-	+	-	FN	R4	-	N
A5	-	-	-	N	R5	-	N
A6	-	-	-	N	R6	-	N
A7	+	+	+	P	R7	+	P
A8	+	+	+	P	R8	-	N
A9	+	-	-	FP	R9	+	P
A10	-	-	-	N	R10	-	N
A11	+	+	+	P	R11	+	P
A12	+	+	+	P	R12	+	P
A13	+	+	+	P	R13	+	P
A14	+	+	+	P	R14	+	P
A15	+	+	+	P	R15	-	N
A16	+	+	+	P	R16	+	P
A17	+	+	+	P	R17	-	N
A18	-	-	-	N	R18	+	P
A19	+	+	+	P	R19	+	P
A20	+	+	+	P	R20	-	N
Positifs				12			12
Négatifs				6			8
Faux positifs				1
Faux négatifs				1

P : positif; N : négatif; FP : faux positif; FN : faux négatif.

Dans un premier temps, les paramètres de performance de la méthode alternative sont calculés. Étant donné que les échantillons ne sont pas appariés, il est impossible de comparer directement les résultats de la méthode alternative avec ceux de la méthode de référence pour évaluer les paramètres de performance, sinon qu'en comparant le nombre de positifs total obtenu. L'égalité statistique des deux méthodes est démontrée par le test de la probabilité de détection (POD; se référer à l'annexe 4.4).

Les paramètres de performance de la méthode alternative doivent être calculés en prenant en considération les résultats présomptifs et les résultats finaux. Les résultats finaux sont utilisés pour le calcul de la sensibilité, et les résultats présomptifs sont utilisés pour les calculs de la spécificité. Les détails sont donnés ci-dessous, avec référence au tableau 3 pour les données actuelles.

2.1 Calcul de la sensibilité et du taux de faux négatifs

La sensibilité décrit la capacité d'une méthode à identifier correctement les échantillons positifs par rapport au nombre total d'échantillons positifs déterminés par les résultats de confirmation. La sensibilité et le taux de faux négatifs sont calculés à l'aide des formules (1) et (2). Il est à noter qu'il est tout à fait possible d'obtenir des faux négatifs même si le nombre total de positifs finaux de la méthode alternative est plus grand que le nombre de positifs obtenus par la méthode de référence.

• 1) Sensibilité = (positifs / (positifs + Faux négatifs)) X 100
• 2) Taux de Faux négatifs = (Faux négatifs / (positifs + Faux négatifs)) X 100

2.2 Calcul de la spécificité et du taux de faux positifs

Le taux de faux positifs correspond à la proportion d'échantillons présomptifs positifs qui ne peuvent être confirmés. Ce taux est obtenu en divisant le nombre de positif non confirmés par le nombre total d'échantillons qui ont donné un résultat négatif par confirmation. Il est à noter que le nombre total d'échantillons réfère ici à la colonne « Résultat de la confirmation » du tableau 2. L'échantillon A9 du tableau 2 est un exemple d'échantillon faussement positif. Les paramètres de spécificité et du taux de faux positifs sont calculés à l'aide des formules (3) et (4) ci-dessous.

• 3) Spécificité = (négatifs / (négatifs + Faux positifs)) X 100
• 4) Taux de faux positifs = (Faux positifs / (négatifs + Faux positifs)) X 100

Tableau 3. Paramètres de performance de la méthode alternative calculés à partir des données du tableau 2.

Sensibilité		Faux négatifs		Spécificité		Faux positifs
Alt	Ref	Alt	Ref	Alt	Ref	Alt	Ref
92.3%	n/a	7.7%	n/a	85.7%	n/a	14.3%	n/a

Exemples de calculs:

Sensibilité = (12 / (12 + 1)) x 100 = 92.3%

Faux négatifs = (1 / (12 + 1)) x 100 = 7.7%

Spécificité = (6 / (6 + 1)) x 100 = 85.7%

Faux Positifs = (1 / (6 + 1)) x 100 = 14.3%

Les paramètres de la méthode de référence ne sont pas calculés puisque ces résultats ne peuvent être remis en question.

3. Validation relative utilisant des données absolues

Lorsque les échantillons des méthodes alternatives et de référence sont appariés, les résultats de la méthode de référence peuvent servir de confirmation pour les résultats de la méthode alternative. Cependant, il peut arriver que la méthode alternative identifie un échantillon positif présomptif qui n'est pas confirmé par la méthode de référence pour le même échantillon. Dans un tel cas, il est possible de procéder à une investigation poussée du statut réel de l'échantillon. Lorsque cette investigation permet d'isoler le microorganisme recherché, le résultat présomptif de la méthode alternative est alors confirmé et l'obtention d'un résultat faussement négatif avec la méthode de référence est démontré. À partir de ce moment, il est impossible d'assumer que la méthode de référence a une sensibilité parfaite, ce qui permet de démontrer qu'une méthode alternative peut avoir une sensibilité plus grande que la méthode de référence.

Les « résultats absolus » sont la combinaison des résultats positifs obtenus par la méthode de référence et par l'investigation poussée de certains échantillons.² Ces résultats sont dits absolus parce qu'ils ne sont pas issus d'une méthode en particulier, mais sont plutôt le reflet du statut réel de chaque échantillon contre lequel les résultats des deux méthodes (alternative et référence) peuvent être comparés. Il est à noter que ce type de validation est tout de même relatif puisqu'une méthode de référence est appliquée en parallèle avec la méthode alternative.

Le tableau 4 démontre un exemple de résultats issus d'un essai de validation effectué avec des échantillons appariés. Dans ce cas, les paramètres de performance des deux méthodes sont comparés à l'aide du test de la probabilité de détection en prenant comme données de référence les résultats absolus.

Tableau 4. Exemples des données de validation pour échantillons appariés.

	Méthode alternative				Méthode de référence		Résultats absolusb
Identification	Résultats présomptifs	Résultats de la confirmationa	Résultats finaux	Statut final	Résultat de la référence	Statut final
1	1	1	1	P	1	P	1
2	1	1	1	P	1	P	1
3	1	1	1	P	1	P	1
4	1	0	0	FP	0	N	0
5	1	1	1	P	1	P	1
6	0	0	0	N	0	N	0
7	1	1b	1	P	0	FN	1
8	1	1	1	P	1	P	1
9	0	0	0	N	0	N	0
10	1	1	1	P	1	P	1
11	1	1	1	P	1	P	1
12	0	0	0	N	0	N	0
13	0	1	0	FN	1	P	1
14	1	1	1	P	1	P	1
15	1	1	1	P	1	P	1
16	0	0	0	N	0	N	0
17	0	0	0	N	0	N	0
18	1	1	1	P	1	P	1
19	1	1	1	P	1	P	1
20	1	1	1	P	1	P	1
Positifs				13		13	14
Négatifs				5		6	6
Faux positifs				1		0
Faux négatifs				1		1

P : positif; N : négatif; FP : faux positif; FN : faux négatif.

Les paramètres de performance de la méthode de référence et de la méthode alternative sont calculés à l'aide des formules suivantes

• 5) Sensibilité (alternative) = (Positifs (alternative) / Positifs absolus) x 100
• 6) Sensibilité (référence) = (Positifs (référence) / Positifs absolus) x 100
• 7) Faux Négatifs (alternative) = (Faux négatifs (alternative) / Positifs absolus) x 100
• 8) Faux Négatifs (référence) = (Faux negatives (référence) / Positifs absolus) x 100
• 9) Faux Positifs (alternative) = (Faux positifs (alternative) / négatifs absolus) x 100
• 10) Spécificité (alternative) = (Négatifs (alternative) / négatifs absolus) x 100

Tableau 5. Paramètres de performance de la méthode alternative calculés à partir des données du tableau 4.

Sensibilité		Faux négatifs		Spécificité		Faux positifs
Alt	Ref	Alt	Ref	Alt	Ref	Alt	Ref
92.9%	92.9%	7.1%	7.1%	83.3%	n/a	16.7%	n/a

Exemples de calculs :

Sensibilité (alternative) = (13 / 14) x 100 = 92.9%

Sensibilité (référence) = (13 / 14) x 100 = 92.9%

Faux négatifs (alternative) = (1 / 14) x 100 = 7.1%

Faux négatifs (référence) = (1 / 14) x 100 = 7.1%

Faux Positifs (alternative) = (1 / 6) x 100 = 16.7%

Spécificité (alternative) = (5 / 6) x 100 = 83.3%

3.1 Avantages d'utiliser des résultats absolus

L'utilisation des résultats absolus change la façon dont les paramètres de performance sont calculés dans le cas d'échantillons appariés par rapport à ce qui est actuellement écrit dans le Compendium. Le principal avantage est qu'il est maintenant possible d'analyser correctement des méthodes alternatives qui seraient plus sensibles que la méthode de référence, ce qui n'est pas possible autrement. Une investigation poussée du statut réel de l'échantillon peut démontrer que les échantillons positifs sont de vrais positifs.

3.2 Intervalles de confiance des paramètres de performance

Dans ce document, les paramètres de performance sont calculés sur un ensemble limité de données pour des raisons de simplicité. Selon les instructions données dans la Partie 4, bien que l'analyse de la probabilité de détection doive être faite pour chaque niveau d'inoculation de chaque type d'aliments, le calcul des paramètres de performance n'est effectué que sur l'ensemble des données ayant satisfait aux critères de l'analyse POD. Pour une méthode ayant une sensibilité de 98%, la figure 1 montre les limites supérieures et inférieures (UCL et LCL, respectivement) en fonction du nombre de positifs absolus. Par exemple, pour 180 positifs absolus et une sensibilité de 98% (3-4 faux négatifs), l'intervalle de confiance à 95% sera de 94.5% - 99.4%.

Les intervalles de confiances sont calculés avec la méthode modifiée de Wald (Agresti, A. et Coull, B.A. 1998. The American Statistician 52 :119 :126).

Figure 1. Limites supérieures et inférieures (UCL et LCL) d'une sensibilité calculée de 98% en fonction du nombre de positifs absolus.

Fin du document