Evidence-Based (whatever)

Transcriptie

1 Evidence-Based (whatever) Basic Principles And Practical Examples June 26, Rotterdam

2 Postgraduate Course

3 Postgraduate Course

4

5 Postgraduate Course

6 Mijn missie voor vandaag Na deze 45 minuten maakt u zich ernstig zorgen over de wijze waarop u (of uw ziekenhuis) gewoonlijk management beslissingen neemt, en neemt u zich voor om de evidence-base van uw beslissingen (of die van uw ziekenhuis) in het komende jaar met minstens 10% te verhogen

7 Agenda 15 min EBMgt: Wat is het en waarom hebben we het nodig? 15 min Professionele ervaring (en judgment ) 10 min ASK: kritische vragen stellen 2 min Meten is weten?

8 Evidence based Management: What is it?

9 We gaan stemmen Internet 1 2 De tekst op deze dia legt aan uw publiek uit hoe te stemmen. Deze tekst komt tevoorschijn zodra u een sessie heeft gestart. SMS 1 Let op: de 2 tekst en het uiterlijk van deze dia (font, grootte, kleur, etc.) kunnen niet aangepast worden. Twitter 1 2 Stemmen is anoniem

10 Vraag 1 Evidence based Management: Wat is het? A. Nooit van gehoord B. Wel eens van gehoord, maar geen idee wat het is C. Van gehoord, weet wat het is D. Weet wat het is, en kan het uitleggen De vraag gaat open zodra u een sessie en diavoorstelling start. Stemmen: 0 Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

11 Vraag 1 Evidence based Management: Wat is het? A. Nooit van gehoord 0,0% Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn. B. Wel eens van gehoord, maar geen idee wat het is 0,0% Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur) C. Van gehoord, weet wat het is 0,0% D. Weet wat het is, en kan het uitleggen 0,0% Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

12

13 Evidence-based management Central Premise: Decisions should be based on a combination of critical thinking and the best available evidence.

14 Evidence? outcome of scientific research, organizational facts & figures, benchmarking, best practices, personal experience

15 All managers base their decisions on evidence

16 But many managers pay little or no attention to the quality of the evidence they base their decisions on and use too few sources of evidence

17 Trust me, 20 years of management experience

18 Evidence based decision Scientific research outcomes problem Ask Acquire Appraise Apply Assess Professional experience and judgment solution Organizational data, facts and figures Stakeholders values and concerns

19 Evidence based management: Where does it come from?

20 Medicine: Founding fathers David Sackett Gordon Guyatt McMaster University Medical School, Canada

21 How it all started

22 5 steps of EBmed 1. Ask: translate a practical issue into an answerable question 2. Acquire: systematically search for and retrieve the evidence 3. Appraise: critically judge the trustworthiness of the evidence 4. Apply: incorporate the evidence into the decision-making process 5. Assess: evaluate the outcome of the decision taken

23 Evidence-Based Practice

24 Evidence-Based Practice

25 Where the evidence is strong, we should act on it. Where the evidence is suggestive, we should consider it. Where the evidence is weak, we should build the knowledge to support better decisions in the future. Jeffrey Zients, acting director of the Office of Management and Budget and President Obama s Economic Advisor

26 Evidence-Based Practice

27

28 Evidence-Based (whatever) = the use of critically appraised evidence from multiple sources to increase the likelihood of a favourable outcome

29 Evidence-Based Management Why do we need it?

30

31 Vraag 2 Incompetent people benefit more from feedback than highly competent people A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet De vraag gaat open zodra u een sessie en diavoorstelling start. Stemmen: 0 Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

32 Vraag 2 Incompetent people benefit more from feedback than highly competent people A. Waarschijnlijk 0,0% Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn. B. Onwaarschijnlijk 0,0% Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur) C. Weet ik niet 0,0% Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

33 Vraag 3 Task conflict improves workgroup performance while relational conflict harms it A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet De vraag gaat open zodra u een sessie en diavoorstelling start. Stemmen: 0 Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

34 Vraag 3 Task conflict improves workgroup performance while relational conflict harms it A. B. Waarschijnlijk Onwaarschijnlijk Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn. 33,3% Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur) 66,7% C. Weet ik niet 100,0% Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

35 Vraag 4 Encouraging employees to participate in decision making is more effective for improving organization performance than setting performance goals A. Waarschijnlijk B. Onwaarschijnlijk C. Weet ik niet De vraag gaat open zodra u een sessie en diavoorstelling start. Stemmen: 0 Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

36 Vraag 4 Encouraging employees to participate in decision making is more effective for improving organization performance than setting performance goals A. B. Waarschijnlijk Onwaarschijnlijk Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn. 33,3% Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur) 66,7% C. Weet ik niet 100,0% Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

37 The 3 hardest words in management I Don t Know (but I know how to find out)

38 How evidence-based are we? 959 (US) (Dutch) HR professionals 35 statements, based on an extensive body of evidence likely / unlikely / uncertain HR Professionals' beliefs about effective human resource practices: correspondence between research and practice, (Rynes et al, 2002, Sanders et al 2008)

39 Outcome: not better than random chance

40 Evidence-based management Scientific research outcomes Professional experience and judgment Ask Acquire Appraise Aggregate Apply Assess Organizational data, facts and figures Stakeholders values and concerns

41 Discuss with your neighbor Why is a physician s clinical experience, as a rule, more trustworthy than a manager s professional experience?

42 Developing expertise 1. A sufficiently regular, predictable environment 2. Opportunities to learn regularities through prolonged practice and feedback The management domain is not highly favorable to expertise!

43

44 Bounded rationality

45 Bounded rationality / prospect theory System 1 Fast Intuitive, associative heuristics & biases System 2 Slow (lazy) Deliberate, Reasoning Rational

46 System 1: short cuts

47 System 1: short cuts Shepard s tables

48 System 1: dominant, cause necessary to survive 95%

49 System 1: cognitive errors Seeing order in randomness Overconfidence bias Halo effect False consensus effect Group think Self serving attribution bias Sunk cost fallacy Cognitive dissonance reduction Confirmation bias Authority bias Small numbers fallacy In-group bias Recall bias Anchoring bias Availability bias

50 System 1: cognitive errors Seeing order in randomness Overconfidence bias Halo effect False consensus effect Group think Self serving attribution bias Sunk cost fallacy Cognitive dissonance reduction Confirmation bias Authority bias Small numbers fallacy In-group bias Recall bias Anchoring bias Availability bias

51 Error 1: pattern recognition We are predisposed to see pattern and causal relations in the world. Patternicity: The tendency to find meaningful patterns in both meaningful and meaningless noise.

52 Error: pattern recognition We are pattern seeking primates: association learning

53

54

55

56

57 Points of impact of V-1 bombs in London

58 Points of impact of V-1 bombs in London

59 Error 1: pattern recognition Erroneous beliefs plaque both experienced professionals and less informed laypeople alike. stress & lifestyle peptic ulcer

60 Peptic ulcer an infectious disease! Oct 2005 This year's Nobel Prize in Physiology or Medicine goes to Barry Marshall and Robin Warren, who with tenacity and a prepared mind challenged prevailing dogmas. By using technologies generally available (fibre endoscopy, silver staining of histological sections and culture techniques for microaerophilic bacteria), they made an irrefutable case that the bacterium Helicobacter pylori is causing disease. By culturing the bacteria they made them amenable to scientific study. In 1982, when this bacterium was discovered by Marshall and Warren, stress and lifestyle were considered the major causes of peptic ulcer disease. It is now firmly established that Helicobacter pylori causes more then 90% of duodenal ulcers. The link between Helicobacter pylori infection and peptic ulcer disease has been established through studies of human volunteers, antibiotic treatment studies and epidemiological studies.

61 Error 1: pattern recognition A Type I error or a false positive, is believing a pattern is real when it is not (finding a non existent pattern) A Type II error or a false negative, is not believing a pattern is real when it is (not recognizing a real pattern) Dr. Michael Shermer (Director of the Skeptics Society)

62 Error 1: pattern recognition A Type I error or a false positive: believe that the rustle in the grass is a dangerous predator when it is just the wind (low cost)

63 Error 1: pattern recognition A Type II error or a false negative: believe that the rustle in the grass is just the wind when it is a dangerous predator (high cost)

64 Error 1: pattern recognition A Type I error or a false positive: believe that the rustle in the grass is a dangerous predator when it is just the wind (low cost) A Type II error or a false negative: believe that the rustle in the grass is just the wind when it is a dangerous predator (high cost)

65 Error 1: pattern recognition superstitious rituals superstitious rituals more stress = more prone to type 1 errors

66 Error 1: pattern recognition

67

68

69

70 Bounded rationality I ve been studying judgment for 45 years, and I m no better than when I started. I make extreme predictions. I m overconfident. I fall for every one of the biases.

71 So why don t managers like EBMgt?

72 Why don t managers like EBMgt? Undermines formal authority Speed valued and rewarded more than accuracy Feel they cannot use their own experience and judgment (not true) Managers not necessarily rewarded for doing what works (organizations rarely evaluate) THEY LOVE FADS & QUICK FIXES

73 Fads & quick fixes Huge (peer) pressure to adopt fads & quick fixes

74

75 75

76 How are fads a problem? The main problem is their lack of any solid intellectual foundation. Implicit in each fad is a cause effect statement that is rarely made explicit and never properly supported. (Donaldson & Hilmer, 1998)

77 77

78

79

80 80 James McNerney George Buckley

81 Evidence-based management: Asking

82 Evidence based decision Scientific research outcomes problem Ask Acquire Appraise Apply Assess Professional experience and judgment solution Organizational data, facts and figures Stakeholders values and concerns

83 Uw oplossing? Lean Management / Lean Six Sigma / TOC Self steering / autonomous teams Agile working Value based management / healthcare Talent management Het Nieuwe Werken

84 Evidence based decision Scientific research outcomes problem Ask Acquire Appraise Apply Assess Professional experience and judgment solution Organizational data, facts and figures Stakeholders values and concerns

85 Step 1: What is the problem? What is the problem? Why is this a problem: what are its organizational consequences? How big: what is its impact on the organization when nothing is done? Why does this problem exist, what is the assumed major cause? What is the assumed causal mechanism? How does the cause lead to the problem and its consequences?

86 The problem Our hospital Door to needle time, 48 UK hospitals in Westmidland

87 Discuss with your neighbour possible causes for these differences

88 Step 2 - What is the evidence for this problem (and its assumed cause)? - Where multiple sources consulted? - How trustworthy is the evidence?

89 ASK: multiple sources Scientific research outcomes problem Ask Acquire Appraise Apply Assess Professional experience and judgment solution Organizational data, facts and figures Stakeholders values and concerns

90 Trust me, 20 years of management experience

91 Without clinical expertise, practice risks becoming tyrannized by evidence, for even excellent external evidence may be inapplicable to or inappropriate for an individual patient.

92 ASK: multiple sources Scientific research outcomes problem Ask Acquire Appraise Apply Assess Professional experience and judgment solution Organizational data, facts and figures Stakeholders values and concerns

93 Step 2: What is the org evidence? Are there organizational data available relevant to this problem? Do the organizational data confirm there is a problem? How does the magnitude of the problem compare to the average in the sector? Is there a trend? What do the data suggest will happen when nothing is done? Do the data confirm the assumed causal mechanism: is there a correlation?

94 Types organizational evidence 1. financial data (cash flow, solvability) 2. business outcomes (ROI, market share) 3. clinical outcomes (HSMR, length of stay, readmissions) 4. patient impact (patient satisfaction) 5. performance indicators (occupancy rate, failure frequency) 6. HR metrics (absenteeism, employee engagement) 7. soft data (organizational culture, trust in senior management, leadership style, commitment) 8. data from benchmarking

95 Organizational facts and figures

96 descriptive > predictive level of education (MBA) years of health care experience + productivity patient satisfaction clinical outcomes medical errors employee satisfaction absenteeism

97 ASK: multiple sources Scientific research outcomes problem Ask Acquire Appraise Apply Assess Professional experience and judgment solution Organizational data, facts and figures Stakeholders values and concerns

98

99 Vraag 5 Het jaarlijkse MTO wijst uit dat de satisfactie van de medewerkers is gedaald van een 7.5 naar een 6.3. Dit is een probleem, want een tevreden medewerker is een productieve medewerker (daarom MTO) A. Mee eens B. Niet mee eens C. Weet ik niet De vraag gaat open zodra u een sessie en diavoorstelling start. Stemmen: 0 Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

100 Vraag 5 Het jaarlijkse MTO wijst uit dat de satisfactie van de medewerkers is gedaald van een 7.5 naar een 6.3. Dit is een probleem, want een tevreden medewerker is een productieve medewerker (daarom MTO) A. Mee eens Deze voorbeeld resultaten zullen op 0 gezet worden zodra een sessie en diavoorstelling gestart zijn. 33,3% B. Niet mee eens Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur) 66,7% C. Weet ik niet 100,0% Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

101

102

103 ASK > boze managers en bestuurders Is dat zo? Hoe weet u dat?

104 Meten is weten (Maar niet alles wat u meet is relevant of betrouwbaar)

105 Vraag 6 A data set, randomly pulled from the management information system, will be accurate and can be trusted. A. Mee eens B. Niet mee eens C. Weet ik niet De vraag gaat open zodra u een sessie en diavoorstelling start. Stemmen: 0 Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

106 Vraag 6 A data set, randomly pulled from the management information system, will be accurate and can be trusted. A. Mee eens Deze voorbeeld resultaten zullen op 0 gezet worden zodra 33,3% een sessie en diavoorstelling gestart zijn. B. Niet mee eens Voel u vrij om ondertussen de layout van de resultaten te veranderen (bv. de kleur) 66,7% C. Weet ik niet 100,0% Tijd: 15s Internet SMS Twitter Dit tekstvak wordt gebruikt om de verschillende stemmethodes uit te leggen. De juiste uitleg wordt hier ingevuld nadat u een sessie heeft gestart. Het is mogelijk om dit tekstvak aan te passen en te verplaatsen.

107 Is de oplossing effectief? Scientific research outcomes problem Ask Acquire Appraise Apply Assess Professional experience and judgment solution Organizational data, facts and figures Stakeholders values and concerns

108 Heeft de oplossing gewerkt? Problem Evidence (baseline) Solution Problem Evidence (outcome)

109 No, there are no data available relevant to the problem. No, we seldom assess the outcome of our projects. But trust me, I have 20 years of management experience

110 Mijn missie voor vandaag Na deze 45 minuten maakt u zich ernstig zorgen over de wijze waarop u (of uw ziekenhuis) gewoonlijk management beslissingen neemt, en neemt u zich voor om de evidence-base van uw management beslissingen (of die van uw ziekenhuis) in het komende jaar met minstens 10% te verhogen

111 In de komende weken, voordat een management beslissing wordt genomen, VRAAG (jezelf eens af) Wat is nu precies het probleem? Wat is de beschikbare evidence? Is deze evidence kritisch beoordeeld op betrouwbaarheid, validiteit, toepasbaarheid?

112 Dank & succes!