Mieke Kraan van der Est Kwaliteitsadviseur SPSZN. Nieuwe toetsing Evaluatie vorige toetsing

Transcriptie

1 Mieke Kraan van der Est Kwaliteitsadviseur SPSZN Nieuwe toetsing Evaluatie vorige toetsing

2 Inhoud: NT Nieuwe protocol NT-beeldbeoordeling Resultaten van de NT-toetsing Resultaten herbeoordeling NT SEO Nieuwe protocol SEO beeldbeoordeling Resultaten de SEO toetsing Resultaten van de herbeoordeling SEO Evaluatie van SEO beoordeling Karakteristieken geauditeerde SEO-echoscopisten SEO-beeldbeoordeling op beeldniveau SEO-beeldbeoordeling na training op beeldniveau Karakteristieken en hun invloed op de SEO-beeldbeoordeling Validatie van de SEO beeldbeoordeling

3 NT-beeldbeoordeling versie 2 Kwantitatieve beoordeling blijft gelijk 1. Aantal NT-metingen 150 eerste twee jaar, 100 daaropvolgende jaren 2. Mediane NT MoM-waarde 1,00 grenzen: 0,90 en 1,10 3. % boven de mediaan 50% grenzen: 40% en 60%

4 Kwalitatieve beoordeling, wijzigt: NT-beeldbeoordeling versie 2 De echoscopist kiest zelf de 3 beste uit een selectie van 5. Het logboek bestaat uit 3 casus. (per casus: CRL + NT-meting). De CRL meting wordt beoordeeld De CRL wordt net zo zwaar meegeteld als de NT-meting De doorsnede van de foetus wordt zwaarder meegewogen in de CRL meting De vergroting wordt zwaarder meegewogen in de NT-meting Per casus max. 10 punten voor de CRL en 10 punten voor NT. Voor NT 20 punten en CRL 20 punten. Voor 3 casus 40 punten is voldoende, Afkapwaarde: 67%

5 NT-beeldbeoordeling

6 NT-beeldbeoordeling

7 Resultaten van de NT-toetsing 1. Beeldbeoordeling NT-logboek Kwalitatieve beoordeling NT-meting Oordeel Uitstekend Goed Voldoende onvoldoende Aantal NTechoscopisten Kwantitatieve analyse 1. MoM NT < 0,9 0,9<MoM<1,1 >1,1 Aantal echoscopisten Percentage < 40% 40% < mediaan >60% NT t.o.v. de < 60% mediaan Aantal echoscopisten 3. NT-curve (echoscopist) te laag goed te hoog referentiecurve wordt gekruist; deel te hoog en deel te laag * Aantal echoscopisten *dit betekent niet per definitie dat NT MoM of de mediaan buiten de norm viel.

8 Resultaten van de NT-toetsing Resultaten van de totale NT-beoordeling (kwalitatief en kwantitatief, N=43)) Kwalitatieve beoordeling Kwantitatieve beoordeling (statistiek) Beeldbeoordeling Voldoende Onvoldoende Totaal uitstekend (16%) goed (44%) voldoende (26%) onvoldoende (14%) Totaal 30 (70%) 13 (30%) 43 (100%) Zowel de beeldbeoordeling als de statistiek moeten voldoende zijn. In totaal hebben = 15 echoscopisten de eerste toets niet gehaald.

9 Resultaten van de NT-toetsing Resultaten van de totale NT-beoordeling (kwalitatief en kwantitatief, N=43)) NT-toets (kwalitatieve en kwantitatieve analyse) Oordeel Goed Voldoende Onvoldoende Totaal Kwaliteit van de NT-meting 19 (44%) 9 (21%) 15 (35%) 43

10 Resultaten van NT-herbeoordeling (N=15) Afhankelijk van het resultaat eerste NT-toetsing wat wordt herbeoordeeld. 15 onvoldoendes: 14 statistische her-analyses 9 her- beeldbeoordelingen (logboek) Kwantitatieve analyse Beeldbeoordeling totaal eerste toetsing herbeoor deling Aantal echoscopisten Onvoldoende statistiek Voldoende statistiek Voldoende Beeldbeoordeling Onvoldoende beeldbeoordeling Resultaat toets onvoldoende 14 voor statistiek statistische en beoordelingen 9 voor een nieuw volgen nog, 1 logboek beeldbeoordeli (9 voor beide) ng volgt nog NT

11

12 Resultaten van NT-mediaan 0-meting in 2011 (mw. Snijders)

13 Resultaat NT-mediaan tijdens 1 ste toetsing en herbeoordeling

14 Conclusie NT-toetsing leidt verbetering: 0-meting>toetsing>herbeoordeling 1) Buiten NT-MoM: 19% > 12% > 0% 2) Buiten NT-mediaan: 51% > 30% > 5% 3) Onvoldoende beeldbeoordeling: 13% > 14% > 0% In Astraia first trimester auditrapport, stand van de statistiek te zien.

15 SEO beeldbeoordeling, landelijk protocol versie 2 1. Kwantitatieve beoordeling: blijft gelijk Aantal SEO s 250 eerste twee jaar, 150 volgende jaren Geen statistiek > reden: geen normstelling op dit moment. 2. Kwalitatieve beoordeling: wijzigt Zelf 3 beste casus uit een selectie van 5. Het logboek bestaat uit 3 casus. (per casus: alle verplichte NVOG beelden) Het logboek bestaat uit minimaal: minimaal 26 beelden Extra beeld: bij wervelkolom coronaal lumbo-(sacraal) en (lumbo)-sacraal

16 SEO beeldbeoordeling, landelijk protocol versie 2 Beoordelingscriteria vastgelegd in de bijlage A van het protocol. Regionaal: Annotatie blijft advies (links, rechts) Geen bewegende beelden Wijzigingen in beoordelingscriteria: Wervelkolom sagitaal telt zwaarder mee. Niet goed: 0 punten. Goed: 2 punten. Biometrie apart Plaatsing van de ellips HC (hoofd omtrek) apart Maximum aantal punten per casus is 72. Max 59 anatomie en max 13 voor biometrie Voor 3 casus 140 punten. De afkapwaarde 67%.

17 Van de 26 SEO- beelden mogen (eigen keuze!) een aantal dezelfde beelden voor verschillende beoordelingen: 1. Hoofd,axiale doorsnede transventriculair vlak, beoordeling schedelbot/structuur = meting achterhoorn = biometrie HC (hoofdomtrek), BDP/DBP (biparietale diameter) 2. (Achter)hoofd, axiale doorsnede transcebellair vlak = biometrie TCD (transcerebellaire diameter) 3. Abdomen, maagvulling = biometrie AC (buikomtrek) SEO beeldbeoordeling, landelijk protocol versie 3 Is in de maak! Zodra het vrijgegeven wordt, wordt u geïnformeerd. Basis: NVOG modelprotocollen SEO versie 2 + foetale biometrie versie 1

18 Resultaten SEO toetsing Uitkomst van beoordelingen: N=87 echoscopisten SEO toets Kwalitatieve beoordeling SEO Oordeel Uitstekend Goed Voldoende onvoldoende Aantal SEOechoscopisten 2 (2,3%) 47 (54%) 25 (29%) 14 (16%)

19 Resultaten SEO herbeoordeling 14 SEO echoscopisten hebben een onvoldoende beeldbeoordeling. 13 herbeoordelingen geweest. 1 SEO echoscopist is gestopt SEO toets 2 Kwalitatieve beoordeling SEO Oordeel Uitstekend Goed Voldoende onvoldoende Aantal SEOechoscopisten 12 1

20 Eerste toets versus herbeoordeling SEO (N=13) Punten totaal beste drie SEO logboeken

21 Evaluatie methode SEO beeldbeoordeling Methode: 1. logboeken (geanonimiseerd) van 85 echoscopisten 2. Alle beoordelingen in een database; 1 logboek, 5 casus, 25 structuren per casus, 2 of 3 items (vergroting, doorsnede evt. caliper) 3. Opnieuw benoemen: a=absent, 0= onvoldoende beoordeling items per logboek 5. Analyse van de karakteristieken van de audit. 6. Statistische analyse van de beeldbeoordeling voor de beste 3 casus. 7. Welke karakteristieken hebben invloed op de beeldbeoordeling

22 Basiskarakteristieken getoetste echoscopisten Visitatie gegevens Geauditeerde echoscopisten aantal (%) Zorginstelling Ziekenhuis 33 (39%) Echopraktijk 43 (50%) Verloskundigenpraktijk 9 (11%) Aantal echografisten werkzaam in zorginstelling 1-2 echoscopisten 12 (14%) 3-7 echoscopisten 48 (57%) >7 echoscopisten 25 (29%) SEO ervaring Ervaren ( 2 jaar werkzaam) 63 (74%) Startend (< 2 jaar werkzaam) 22 (26%) Voldoet aan de jaarlijkse norm voor het aantal SEO Ja 60 (71%) Nee 25 (29%) Visitatie periode 1 (Okt 2012 Sept 2013) 27 (32%) 2 (Okt Sept 2014) 37 (43%) 3 (Okt April 2015) 21 (25%)

23 voldoend e Onvoldoende voldoend e Onvoldoende Afwezig voldoendtot aal n = 255 e Onvoldoende Afwezig Uitkomsten evaluatie SEO beeldbeoordeling (beste 3 casus) Tabel 2. doorsnede vergroting plaatsing calipers Centraal Zenuwstelsel Axial e doorsnede hoofd 237 (92.9%) 18 (7.1%) 238 (93.3%) 17 (6.7%) (84.6%) a 39 (15.4%) - Suboccipito-bregmale doorsnede 234 (91.8%) 21 (8.2%) 238 (93.3%) 17 (6.7) (97.2%) a 7 (2.8%) - Wervelkolom 217 (85.1%) 38 (14.9%) 237 (92.9%) 18 (7.1%) Gelaat Sagitale doorsnede profiel 193 (75.7%) 45 (17.6%) 209 (82.0%) 29 (11.3%) 17 (6.7%) Orbitale diameter 234 (91.8%) 8 (3.1%) 231 (90.6%) 11 (4.3%) 13 (5.1%) Coronale doorsnede neus, lippen, kin 219 (85.9%) 34 (13.3%) 236 (92.5%) 17 (6.7%) 2 (0.8%) Thorax Vorm en echogeniciteit van de longen 213 (83.5%) 36 (14.1%) 217 (85.1%) 32 (12.5%) 6 (2.4%) Diafragma 200 (78.4%) 50 (19.6%) 216 (84.7%) 34 (13.3%) 5 (2.0%) Vierkamerbeeld 223 (87.4%) 32 (12.5%) 200 (78.4%) 55 (21.6%) Hart: linker uitstroombaan 223 (87.4%) 31 (12.2%) 211 (82.7%) 43 (16.9%) 1 (0.4%) Hart: rechter uitstroombaan 223 (87.5%) 29 (11.4%) 220 (86.3%) 32 (12.5%) 3 (1.2%) Hart: three vessel view 237 (92.9%) 17 (6.7%) 222 (87.1%) 32 (12.5%) 1 (0.4%) Buik Buikomtrek 230 (90.6%) a 24 (9.4%) 234 (92.9%) c 18 (7.1%) (86.6%) d 33 (13.4%) - Buikwand 221 (87.0%) a 28 (11.0%) 216 (85.0%) a 33 (13.0%) 5 (2.0%) - - Darmen 210 (82.4%) 24 (9.4%) 212 (83. 2%) 22 (8.6%) 21 (8.2%) - - Linker nier 227 (89.0%) 28 (11.0%) 220 (86.3%) 35 (13.7%) (65.9%) c 86 (34.1%) - Rechter nier 210 (82.3%) 43 (16.9%) 212 (83.1%) 41 (16.1%) 2 (0.8%) 154 (61.1%) c 97 (38.5%) 1 (0.4%) Blaas 241 (94.5%) 9 (3.5%) 222 (87.0%) 28 (11.0%) 5 (2.0%) Extremiteiten Femur 238 (93.3%) 14 (5.5%) 229 (89.8%) 23 (9.0%) 3 (1.2%) 233 (94.7%) e 10 (4.1%) 3 (1.2%) Linker been en voet 202 (79.2%) 44 (17.3%) 226 (88.6%) 20 (7.9%) 9 (3.5%) Rechter been en voet 204 (80.0%) 43 (16.9%) 229 (89.8%) 18 (7.1%) 8 (3.1%) Linker arm en hand 229 (89.8%) 18 (7.1%) 229 (89.8%) 17 (6.7%) 9 (3.5%) - - Rechter arm en hand 220 (86.3%) 24 (9.4%) 229 (89.8%) 15 (5.9%) 11 (4.3%) Navelstreng 240 (94.5%) a 12 (4.7%) 237 (92.9%) 16 (6.3%) 2 (0.8%) Placenta en cervix 199 (78.0%) 42 (16.5%) 226 (88.6%) 15 (5.9%) 14 (5.5%) a= 1 ontbreekt, c = 3 ontbreekt, d = 8 ontbreekt, e = 9 ontbreekt.

24 Conclusies van de SEO beeldbeoordeling 1. Best beoordeelde foetale structuren zijn: de blaas de navelstrengvaten het femur. 2. Minst beoordeelde foetale structuren zijn; de sagitale doorsnede van het profiel de placenta-cervix het diafragma 3. Voor de calipers: best beoordeeld: meting suboccipito-bregmale doorsnede (97% goed) minst beoordeeld: meting van de pyela (66% rechts en 61% links goed) 4. 2% van de verplichte beeldopslag ontbrak (beste 3 casus)

25 De SEO herbeoordeling Analyse in maart 2015: 11 SEO herbeoordeling (2 nog niet uitgevoerd) De score van de eerste beoordeling is geanalyseerd met de score die behaald is bij de herbeoordeling. Alleen de beste drie casus worden geëvalueerd. Er is een significante verbetering in de beoordeling tussen het eerste logboek en het tweede logboek.

26 Het verband tussen de SEO-score en de karakteristieken Type zorginstelling Gemiddeld aantal punten (3 casus) Regressie - coëfficient (B) p waarde 95%-CI Ziekenhuis referentie Echopraktijk Verloskundigenpraktijk Aantal echoscopisten werkzaam in zorginstelling 1-2 echoscopisten referentie 3-7 echoscopisten >7 echoscopisten < SEO ervaring Ervaren ( 2 jaar werkzaam) referentie Startend (< 2 jaar werkzaam) Voldoet aan de norm voor het jaarlijkse aantal SEO Ja referentie Nee Visitatie periode 1 (Okt 2012 Sept 2013) referentie 2 (Okt Sept 2014) (Okt April 2015) P-waarde < 0.05 dan is er significant verband

27 Validatie van SEO beeldbeoordeling 1. Representatieve verdeling voor de validatie 6 beelden goede kwaliteit 4 beelden voldoende kwaliteit 2 onvoldoende kwaliteit 2. Van elke auditor 3 casus 3. Totaal 12 casus 4. Geanonimiseerd

28 Validatie beeldbeoordeling SEO Alle auditoren beoordeelden de onvoldoende casus ook als onvoldoende Inter-auditor variabiliteit is berekend door mw. Ursem. De icc (interclass correlation) was 0.974! Een icc >0.8 is goed en een icc > 0.9 is excellent. Dus de scoringmethode werkt heel goed. De interauditor variabiliteit is heel goed, wat betekent dat er uniform wordt beoordeeld door alle auditoren.

29 Conclusies 86% van de beoordeelde casus (beste 3) is van voldoende kwaliteit bij de eerste beoordeling Significant verschil in kwaliteit SEO na training/ feedback tijdens visitatie Er is een positief verband tussen het aantal echoscopisten dat werkt in de zorginstelling en de SEO score Er is een positief verband tussen het halen van de norm (jaarlijks aantal SEO s) en de SEO-score De beoordeling van het SEO is uniform

30 Met dank aan: Aan alle geauditeerde echoscopisten uit Zuidwest Nederland Auditoren voor het beoordelen van echobeelden: - Titia Cohen Overbeek (PND Erasmus MC) - Margreet Husen Ebbinge (PND Erasmus MC) - Ernst Schoonderwaldt (PND Erasmus MC) - Cathy Rebel de Vries (PND Reinier de Graaf, Star-MDC) - Averil de Reus (PND Erasmus MC) - Karin den Hollander (PND Erasmus MC) Statistische analysen: - Amber de Jong ( student 3 e jaar gezondheid en leven VU) - Ingrid Peters (SPSZN) - Nicolette Ursem (SPSZN)

31 Andere tips voor de derde visitatieronde: Blijf up-to-date door o.a. de nieuwsbrieven van de SPSZN 1) Echoscopische nascholing 16 punten van de BEN in 2 jaar 2) Echoapparatuur max. 5 jaar, met upgrade max. 8 jaar 3) Hou overzicht op verrichtingen en follow-up gegevens 4) Volg de landelijke registratierichtlijnen voor het SEO 5) Tijdig updaten van Astraia software 6) Frequentie voor het opladen van gegevens naar Peridos: Maandelijks NT en eens per kwartaal SEO 7) Bezwaarregistratie in Peridos via BSN nummer zwangere 8) Geef uw verlof door i.v.m. ontheffing van de verrichtingsnorm 9) Bel de Stichting bij vragen