In een notendop Trending van microbiologische monitoringsgegevens Dr. Ir. Sander Rijnders, Improvendi BV/PharmSupport BV In een eerdere versie gepresenteerd op het GMP congres voor de (ziekenhuis)apotheek, distributeurs en kleine (farma) bedrijven 4 Vianen Trending van environmental monitoring data: een verwachting vanuit diverse regelgeving en richtlijnen Kritiek op huidige alert en actielimieten Een alternatief: USP Weinig tot geen houvast hoe te trenden Ideeën voor trending: Statistical Process control EU GMP Annex Manufacture of sterile medicinal product Trending wordt niet genoemd Limieten zijn aanbeveling en gemiddelde waarden Zelf alert en actielimieten vaststellen FDA Guidance for Industry Sterile Drug Products Produced by Aseptic Processing (4) Realistische kijk: beperkingen aan methoden Nadruk op trends, meerdere die elkaar aanvullen Niet middelen, elke meetwaarde evalueren Zowel korte als lange termijn trends bekijken Verschillende doorsnedes van de data
GMP Z3 Aseptische handelingen(ziekenhuisapotheken) Zelf alert en actielimieten vaststellen, plaatsgebonden Trending wordt genoemd en mogelijke trendkaart. In LNA procedures verder uitgewerkt VCCN Richtlijn Testen en classificeren van OK s en opdekruimten in rust Geen microbiologische testen/eisen tijdens validatie Microbiologische monitoring tijdens gebruik wordt aangeraden Geen standaard methoden voorgeschreven Geen formele eisen maar verbeterinstrument Monitoring i.c.m. observaties aanbevolen VCCN Richtlijn 8 in ontwikkeling over dit onderwerp Kritiek op huidige praktijk current EM criteria in the aseptic core is completely arbitrary and contrary to good science. Making critical decisions on the state of control of a facility based on numbers well into the noise range of the assay is unwise (Sutton) colonies have a lower limit of quantification of approximately colonies per plate. ( ) EM alert and action levels in the CFU range are therefore of questionable accuracy (Sutton) Microbiological monitoring of a clean room is technically a semiquantitative exercise. ( ) Treating differences that are within expected, and therefore, normal ranges as numerically different is not scientifically valid (USP ) Kritiek current EM criteria in the aseptic core is completely arbitrary and contrary to good science. Making critical decisions on the state of control of a facility based on numbers well into the noise range of the assay is unwise (Sutton) colonies have a lower limit of quantification of approximately colonies per plate. ( ) EM alert and action levels in the CFU range are therefore of questionable accuracy (Sutton) Microbiological monitoring of a clean room is technically a semiquantitative exercise. ( ) Treating differences that are within expected, and therefore, normal ranges as numerically different is not scientifically valid (USP ) Argumenten Gebrek aan accuraatheid en precisie Recovery: in lab <%, praktijk nog minder Je telt alleen die cellen die onder de testcondities een kolonie kunnen vormen Je telt cellen die goed gescheiden zijn op de plaat: één kolonie kan groeien uit cel of uit duizenden cellen Je telt alleen cellen die onbeschadigd zijn gebleven bij monstername (m.n. active air, contactafdrukken) Omstandigheden van monstername, groeimedia en incubatie variëren Mogelijkheid van vals positieven Verschillende sampling devices: gemeten aantal kan factor verschillen Limit of quantification vanaf 3 KVE (Sutton) Veel nulwaarden: aanname van statistisch normale verdeling klopt niet Hoe lager de KVE waarde, des te minder betrouwbaar Bij lage KVE waarden zeer groot aantal monsters nodig om verschillen aan te tonen
USP Microbiological control and monitoring of aseptic processing environments Aanbevolen actieniveaus USP Belangrijke verandering in het denken naar meer kwalitatieve trending Contamination recovery rate: frequentie waarmee contaminatie aangetroffen wordt (plaat bevat KVE of niet) Analyseer veranderingen in de contaminatiegraad om te detecteren of er een aanwijzing is voor veranderingen in de state of control In het midden gelaten hoe en over hoeveel metingen gemiddelde te bepalen (jammer!) Onderzoek significante excursies > KVE in klasse A Trending: pragmatische benadering Enkele rules of thumb die gebruikt worden: Meerdere samples met hetzelfde organisme op diverse lokaties op dezelfde dag of gedurende meerdere dagen Alert of action level overschrijdingen bij hermonstername Drie of meer action level overschrijdingen voor een test type op dezelfde dag Drie of meer action level overschrijdingen in een ruimte op verschillende dagen, ongeacht meetlokatie Control charts (Shewhart charts) Afkomstig uit SPC (Statistical Process Control) Wijdverbreide toepassing in industrie om kwaliteit en performance te monitoren Gericht op vaststellen van limieten op basis van historische procesgegevens Onderzoekt of proces statistisch onder controle is Limieten zijn alleen betrouwbaar als het proces onder controle is Bevat al allerlei testen om trends te ontdekken Nog weinig tot geen toepassing in microbiologische monitoring en trending. FDA Food heeft onderzoeksrapport over SPC in microbiologische monitoring. Ook toegepast en nuttig in monitoren van bijv. medicatiefouten Diverse beschikbare control charts Charts voor variable data (meetgegevens, bijv. aantal KVE) Charts voor attribute data (tellingen, bijv. plaat gecontamineerd ja/nee) Time weighted charts (zowel voor variable als attribute data) Moving Average CUSUM EWMA Rare event charts (attribute data) Veel verschillende control charts voor verschillende gegevens Je moet weten/analyseren welke statistische verdeling jouw dataset heeft, anders trek je mogelijk foute conclusies sed D Run chart sedimentatie klasse D 3 3 Number of runs about median: 24 Expected number of runs: 2, Longest run about median: 9 Approx P-Value for Clustering:,92 Approx P-Value for Mixtures:,88 Run Chart of sed D 3 3 Number of runs up or down: 3 Expected number of runs: 3, Longest run up or down: 3 Approx P-Value for Trends:,4 Approx P-Value for Oscillation:,84 4 4 Bij P waarden <. is er sprake van special cause variation. In dit geval dus niet, ook al denk je visueel misschien wel een patroon te zien
Individual Value Moving Range I MR chart sedimentatie klasse D 3 24 8 2 3 3 9 9 I-MR Chart of sed D 3 3 3 3 TEST. One point more than 3, standard deviations from center line. Test Failed at points: ; 3; 4; TEST 2. 9 points in a row on same side of center line. Test Failed at points: 39 TEST. 2 out of 3 points more than 2 standard deviations from center line (on one side of CL). Test Failed at points: 3; 4; ; TEST. 4 out of points more than standard deviation from center line (on one side of CL). Test Failed at points: ; 4 Proportion P chart van contamination recovery rate,,4,2,,8,,4,2, Tests performed with unequal sample sizes 2 P Chart of contaminated plates 3 4 8 Data zijn gefingeerd Moving Average chart sedimentatie klasse D EWMA chart van sedimentatie klasse D 3 Moving Average Chart of sed D EWMA Chart of sed D Moving Average Alarm bij meting I MR gaf alarm bij meting EWMA Signaal bij meting 3, Sneller dan MA chart - 3 9 3 3 3 9 3 3 Cumulative Sum CUSUM chart sedimentatie klasse D - - 3 9 CUSUM Chart of sed D 3 3 Signaal bij 3 e resultaat Zelfde als EWMA Reageert heftiger Detecteert ook een kleinere dalende trend. Rare event charts G chart Om gebeurtenissen te monitoren die niet vaak voorkomen Aantal dagen of aantal mogelijkheden tussen twee events meten i.p.v. proportie gebeurtenissen Is beter in tijdig detecteren van veranderingen in event rates dan bijv. P chart Goed toepasbaar in monitoring klasse A: event is het vinden van een waarde meer dan KVE (een contaminatie ) Alternatief voor de contamination recovery rate Vereist wel berekening van aantal monsters tussen twee contaminaties. Datums van contaminated plates kan ook.
9 G chart van handschoenafdrukken Number Between Events 8 4 8 4 2 3 G Chart of Hand contaminated Event Probability =,39 4 8 Als contaminatie weinig voorkomt dan heb je weinig datapunten Trending met control charts Control charts verschillen in de gevoeligheid en snelheid waarmee ze veranderingen detecteren Control charts bieden interessante mogelijkheden voor trending van microbiologische data. EWMA en CUSUM zijn interessant voor snelle detectie. Valkuil: statistische assumpties moeten kloppen, anders kun je verkeerde conclusies trekken. Type I fout: concluderen dat proces out of control is terwijl het in control is Type II fout: concluderen dat proces in control is terwijl het out of control is Run chart en I MR chart zijn het veiligst wat dat betreft. Verdere ontwikkeling voor toepassing microbiologische monitoring is nodig Trending is een wetenschap en goede trending vereist gedegen statistische kennis