Doelmatigheidsindicatoren NVI. Project Vorming NVI

Transcriptie

1 Doelmatigheidsindicatoren NVI Project Vorming NVI Versie maart 2005

2 Inhoudsopgave 1 Inleiding Relatie NVI jaarplan Samenhang indicatoren Financiële indicatoren Kwaliteitsindicatoren Audits en benchmarking Stand van zaken ultimo

3 1 Inleiding Doelstelling bij de instelling van een Baten-lastendienst is onder meer dat de betreffende dienst door resultaatgericht management doelmatiger gaat werken. De dienst dient daarom als instellingsvoorwaarde vooraf aan te geven hoe hij (en anderen) later kunnen beoordelen of men doelmatiger is gaan werken. Doelmatigheid heeft betrekking op het verband tussen de ingezette middelen en de door de dienst geleverde hoeveelheid producten en diensten. Het gaat derhalve om de verhouding tussen prijs en kwaliteit. Basisindicator is de kostprijs per eenheid product of dienst. In aanvulling hierop dienen één of meerdere kwaliteitsindicatoren te worden vastgesteld. Voor een organisatie is het van belang dat bij de doelmatigheidsontwikkeling ook het langere termijn aspect, de continuïteit van de organisatie in beeld wordt gebracht. Wanneer de aandacht sterk gericht wordt op de financiële aspecten als kostprijs per product en tariefontwikkeling, bestaat het risico dat factoren die voor de continuïteit van de organisatie van belang zijn als expertiseontwikkeling en dergelijke onderbelicht worden. Deze factoren kunnen op termijn een negatief effect op de ontwikkeling van de organisatie hebben. In dat kader dienen doelmatigheidsindicatoren naast op de financiële aspecten ook betrekking te hebben op de kwaliteit van de output, de opdrachtgevertevredenheid en de maatschappelijke rol en de resources (beschikbare expertise en kennisniveau) en interne organisatie. Bij een analyse van de (doelmatigheids)ontwikkeling van het NVI zullen deze indicatoren in samenhang beschouwd dienen te worden. In het laatste hoofdstuk wordt de stand van zaken ultimo 2004 toegelicht. 3

4 2 Relatie NVI jaarplan In de managementafspraken SG VWS en de directeur NVI is opgenomen dat de directeur NVI ieder jaar bij de SG VWS een jaarplan indient voor het daaropvolgend kalenderjaar. Het jaarplan dient naast missie en strategie voor een aantal aspecten door de directeur NVI geformuleerde meetbare doelstellingen te bevatten. Deze meetbare doelstellingen hebben betrekking op financiële aspecten, interne organisatie en prestatiegegevens. De in deze nota uitgewerkte indicatoren vormen de basis voor het formuleren van deze meetbare doestellingen. Op basis van het jaarplan brengt de directeur NVI een jaarverslag uit over het daaraan voorafgaande kalenderjaar. Daarin geeft de directeur, met eventuele kanttekeningen, aan in hoeverre de doelstellingen zijn gehaald. De (doelmatigheids)ontwikkeling van de organisatie kan via deze verslaggeving worden gevolgd. 4

5 3 Samenhang indicatoren Met betrekking tot de ontwikkeling van indicatoren kan een onderscheid worden gemaakt tussen mogelijkheden die intern gericht zijn en waarvan de ontwikkeling bepaald wordt door een vergelijking binnen de organisatie zelf en mogelijkheden die extern gericht zijn en waarvan de ontwikkeling bepaald wordt door een vergelijking met andere (vergelijkbare) organisaties. In het laatste geval is sprake van audits en benchmarking (zie 6). Bij doelmatigheidsontwikkelingen gaat het altijd om een combinatie van prijs en kwaliteit. Voor de intern gerichte mogelijkheden is dan ook het onderscheid tussen financieel gerichte - en kwaliteitsgerichte indicatoren gemaakt. Doelmatigheid kan worden ingedeeld in: economy (zuinig inkoop van middelen), efficiency (verhouding output en middelen) en effectiviteit (doelbereik). De eerste twee genoemde aspecten komen aan de orde in de paragraaf over de Financiële invalshoek, het derde aspect in de paragraaf over de Opdrachtgevertevredenheid. 5

6 4 Financiële indicatoren Standaard producten Het NVI heeft als belangrijkste standaardproduct het leveren van vaccins en sera. Voor de verschillende vaccins en sera zijn integrale kostprijzen berekend (zie de nota kostprijsmodel en kostprijzen NVI). De kostprijs ontwikkeling voor vaccins en sera is dan ook een standaard indicator, waarover gerapporteerd dient te worden. De kostprijsontwikkeling van het standaardproduct (efficiency). Unieke producten en diensten Binnen het NVI wordt de kostprijs van de unieke producten en diensten bepaald door de combinatie van uren x tarief en projectgebonden kosten. Het tarief wordt, op basis van een tariefvoorstel van de directeur NVI, jaarlijks vastgesteld door de SG VWS. De hoogte van het tarief wordt bepaald door onder meer de ontwikkeling van de loonkosten, de overhead en het aantal te declareren uren per medewerker (% declarabiliteit). Deze onderdelen zullen afzonderlijk worden gevolgd. Het aandeel overhead in het NVI tarief is daarbij een maat voor de doelmatigheid (economy) van de ondersteunende diensten en het door de units gewenste ondersteuningsniveau. Het NVI verricht naast de werkzaamheden voor de primaire opdrachtgever de DG Volksgezondheid van het ministerie van VWS ook werkzaamheden voor derden. De bijdrage hiervan in het totale werkpakket is substantieel en met name vanuit het oogpunt van de gemeenschappelijke overhead, belangrijk om doelmatig te kunnen werken. Om een indicatie te krijgen van de doelmatigheidsontwikkeling wat de financiële aspecten betreft worden op basis van het voorgaande de volgende indicatoren voorgesteld: De ontwikkeling van het NVI tarief, op basis van de onderdelen waaruit het is opgebouwd (bijvoorbeeld loonkosten, overhead en declarabiliteit). Het aandeel (percentage) opdrachten van derden 6

7 5 Kwaliteitsindicatoren 5.1 Algemene kwaliteitsindicatoren Naast de aantallen geleverde producten of diensten (kwantiteit) en de kostprijs van producten of diensten, vormt ook de kwaliteit van de geleverde prestaties belangrijke outputinformatie voor het management van de baten-lastendiensten de eigenaar voor het sturen op doelmatigheid. Kwaliteitsindicatoren zijn indicatoren die inzicht bieden in de kwaliteit van geleverde prestaties, zoals doorlooptijd, levertijd, serviceniveau. De kwaliteit van de productie wordt bepaald door toetsing (door de opdrachtgever) aan de overeengekomen productspecificaties, overeengekomen budget en overeengekomen levertijd (effectiviteit). Dit wordt, zoals in de opdrachtovereenkomst is overeengekomen, vastgelegd in de: Beoordeling per project en per programma in de 4-maandelijkse voortgangsrapportages De opdrachtgever geeft met de kwalificaties goed, voldoende en onvoldoende met een eventuele toelichting aan, in hoeverre hij tevreden is met het onderzoeksresultaat. Het oordeel van de opdrachtgever wordt op deze wijze iedere vier maanden vastgelegd, waardoor de trends over één of meerdere jaren kan worden vastgesteld. Indicator in dit kader is: Het oordeel van de opdrachtgever over de uitvoering en tijdigheid van het project. 5.2 Wetenschappelijke en infrastructurele kwaliteitsindicatoren De belangrijkste resources van het NVI voor de unieke producten en dienstverlening zijn de medewerkers, die de expertise vertegenwoordigen die het NVI nodig heeft om het onderzoek uit te voeren. Het op peil houden van de benodigde expertise en de mogelijkheden van aanpassingen van expertise wanneer een veranderende vraagstelling van de opdrachtgevers dit noodzakelijk maakt, is voor de continuïteit van het NVI van levensbelang. Ook voor de opdrachtgevers is het van belang dat het NVI wetenschappelijk gezien een gezaghebbend instituut is. In dat kader is het van belang dat het NVI participeert in (inter)nationale commissies (bijvoorbeeld in EU kader) en wetenschappelijke congressen. De NVI-producten komen tot stand volgens een systematische, controleerbare en wetenschappelijke werkwijze, zoals die is vastgelegd in de kwaliteitssystemen van de laboratoria. Alle laboratoria zijn gecertificeerd (GLP en ISO) en worden regelmatig getoetst door interne en externe auditeurs. In opdracht van de Directeur NVI wordt strategisch onderzoek (SVOP) uitgevoerd, gericht op de ontwikkeling van expertise en kwaliteit die nodig is om ook in de toekomst taken voor de opdrachtgevers adequaat uit te kunnen voeren ( geanticipeerde vraag ). Dit onderzoek zal op twee aspecten worden beoordeeld. 1. Om inzicht te krijgen of het SVOP inderdaad vooruitloopt op latere vragen van de opdrachtgevers in een periode van bijvoorbeeld 5 tot 10 jaar, dient de Directeur NVI achteraf te meten of met het uitgevoerde SVOP de goede keuzes zijn gemaakt (SVOP effectiviteitstoets). Daartoe wordt nagegaan of het SVOP aansluit bij de NVI strategie en of (nieuwe) opdrachten een relatie hebben met eerder uitgevoerd Strategisch onderzoek. De Directeur NVI dient te verantwoorden wat met de wensen van de opdrachtgevers en de eigenaar is gedaan. 2. Op wetenschappelijke productie en de kwaliteit hiervan. 7

8 Er is een Commissie van Toezicht (CvT) die onder meer tot taak heeft het wetenschappelijk niveau van het NVI te bewaken. Daarvoor kan de CvT van tijd tot tijd wetenschappelijke audits initiëren. Maar de reguliere bewaking zal bestaan uit het monitoren van de wetenschappelijke output van publicaties en rapporten. Er zal een systeem opgezet worden dat gebruikt maakt van de zogenaamde Journal Impact Factor (JIF) en het aantal publicaties De verkregen waarden worden vergeleken met een eerder vastgestelde norm. Met deze aanpak wordt aangesloten bij de gangbare benadering in de universitaire wereld. Indicatoren met betrekking tot het strategisch onderzoek zijn: De kwaliteit en het aantal van de wetenschappelijke publicaties volgens de normering die ten behoeve van toetsing van het strategisch onderzoek op verzoek van de Commissie van Toezicht is ontwikkeld. De effectiviteit van het strategisch onderzoek, achteraf te meten door de Directie NVI aan de hand van de aansluiting van het uitgevoerde strategisch onderzoek met (nieuwe) vragen van de opdrachtgevers Daarnaast brengt de CvT verslag uit van de status van de infrastructuur van het NVI. Voor de continuïteit van het NVI is het van groot belang dat de technische staat van de infrastructuur (inclusief validatie processen en installaties), zodanig is, dat de huidige en toekomstige produkt volgens de geldende GMP, arbo en milieu normen worden vervaardigd. De hierbij geldende indicator is: Een zelfstandig oordeel van de CvT over de technische infrastructuur 8

9 6 Audits en benchmarking De SG kan voor het bepalen van de doelmatigheid van het NVI gebruik maken van benchmarking van de kostprijs en voor het bepalen van de kwaliteit van de organisatie een bedrijfsvoeringsonderzoek instellen. Tot de standaardafspraken behoren het verschaffen van informatie over onder andere het ziekteverzuim en de bezettingsgraad. Deze informatie geeft vaak ook al een indicatie over de kwaliteit van de organisatie en daarvan afgeleid de continuïteit en dergelijke. Daarnaast kan de directeur NVI besluiten een onderdeel een audit of een benchmarking uit te (laten) voeren. Daarbij kunnen werkwijze en productiekosten worden vergeleken met die bij vergelijkbare (internationale) instituten. Dit wordt jaarlijks vastgesteld in het jaarplan NVI. 9

10 7 Stand van zaken ultimo 2004 De stand van zaken rond de doelmatigheidsindicatoren zijn eind 2004 door de Werkgroep Financieel Beheer in beeld gebracht. De rapportage omvat zowel indicatoren genoemd in de groenlicht meting als afspraken verwoord in het externe jaarplan De conclusie van de Werkgroep Financieel Beheer is dat het NVI de afspraken waar mogelijk, uitgevoerd heeft of deze in uitvoering heeft. Voor enkele doelmatigheidsindicatoren worden (overigens conform tijdschema) in 2005, 0-metingen uitgevoerd. 7.1 Stand van zaken doelmatigheidsindicatoren Doelmatigheidsindicatoren Inleiding Doelstelling bij de instelling van een baten-lastendienst is onder meer dat de betreffende dienst door resultaatgericht management doelmatiger gaat werken. Eén van de instellingsvoorwaarden betreft het aangeven hoe anderen later kunnen beoordelen of de dienst doelmatiger is gaan werken. In 2003 zijn hiertoe een aantal indicatoren ontwikkeld en opgenomen in de Groenlichtmeting. Overeengekomen is dat in 2004 van de indicatoren een 0-meting dient te worden uitgevoerd. Hierna kan in 2005 per indicator een norm worden vastgesteld. Een overzicht van de doelmatigheidsindicatoren is in hoofdstuk 7.2 opgenomen. Indicatoren Financieel De opgenomen indicatoren zijn: - kostprijs - loonkostenontwikkeling - aandeel overhead - declarabele uren per medewerker - aandeel opdrachten voor derden - budget versus realisatie Een 0-meting van alle financiële indicatoren over 2004 kan op basis van de jaarcijfers definitief eind maart 2005 worden vastgesteld. Indicatoren Kwaliteit Dienstverlening Verkoop De doelmatigheid van de dienstverlening van Verkoop met betrekking tot levering van producten voor het RVP dient gemeten te worden aan de leverbetrouwbaarheid, het leveren van producten op de overeengekomen tijd en het geleverde serviceniveau. De leverbetrouwbaarheid wordt rechtstreeks in SAP bijgehouden. De aantallen geleverde producten per klantorder zijn zichtbaar te maken. Ook eventuele naleveringen. Tot oktober kan het NVI bogen op een 100% leverbetrouwbaarheid. 10

11 De tijdige levering vanaf NVI goederenafgifte is ook rechtstreeks uit SAP te halen. Tot oktober bleek volgens SAP 95% van de orders op tijd te zijn uitgeleverd. In praktijk was dit echter 100%. De goederenafgifte verwerkt haar afgehandelde orders niet altijd dezelfde dag, hierdoor laat het systeem een iets lagere waarde zien. Vastgesteld dient te worden welk betrouwbaarheidspercentage het uitgangspunt wordt voor de 0-meting. De kwaliteit van de dienstverlening wordt door Verkoop gedurende het jaar met een klanttevredenheidsonderzoek bij de PEA's gemeten. Het eindoordeel ligt momenteel dicht tegen het cijfer 8 aan. Alle drie de indicatoren kunnen over 2004 begin 2005 geleverd worden. Beoordeling per project De kwaliteit van de productie wordt bepaald door toetsing door de opdrachtgever aan de overeengekomen productspecificaties, budget en levertijd. Deze zijn per product vastgelegd in de opdrachtovereenkomst. In de viermaandsvoortgangsrapportage dient de opdrachtgever met een kwalificatie goed, voldoende of onvoldoende, eventueel met toelichting, aan te geven in hoeverre hij tevreden is met het onderzoeksresultaat. Het NVI geeft per product reeds aan of het binnen de gestelde termijn wordt opgeleverd of dat het te laat opgeleverd wordt. Indicatoren wetenschappelijk productie Journal Impact Factor De kwaliteit en het aantal van de wetenschappelijke publicaties voortkomend uit het SVOP wordt gemeten volgens de Journal Impact Factor (JIF). Deze factor geeft aan hoe vaak in een bepaald jaar, door artikelen die dat jaar verschenen zijn in de internationale wetenschappelijke tijdschriften, gerefereerd wordt aan artikelen die in de twee voorafgaande jaren verschenen zijn in een bepaald tijdschrift. Het verkregen aantal wordt vervolgens gedeeld door het totaal aan artikelen dat in die twee jaar in het betreffende tijdschrift is gepubliceerd. Gegevens over de JIF van 2004 komen pas in augustus 2005 beschikbaar. Voor de 0-meting wordt voorgesteld de wetenschappelijke publicaties over 2003 als uitgangspunt te nemen. In het kader van het SVOP zijn in wetenschappelijke publicaties uitgebracht, die een gemiddelde JIF opleveren van 3,58. Conform de Groenlichtmeting zal deze waarde voorgelegd worden ter accordering aan de Raad van Toezicht. Aantal publicaties per wetenschappelijk full time equivalent (fte) Naast de 19 publicaties die het NVI uitbrengt in het kader van het SVOP, publiceren medewerkers van het NVI ook buiten het SVOP. In 2003 heeft dit 18 keer plaatsgevonden. Uitgaande van de functie-omschrijving onderzoeker heeft het NVI 25 fte aan onderzoekers. Hiermee bedroeg het aantal publicaties per wetenschappelijke fte over ,48. Over 2004 kan dit begin 2005 vastgesteld worden. Effectiviteit van het uitgevoerde SVOP De effectiviteit van het strategisch onderzoek dient achteraf gemeten te worden door de directie van het NVI. Als leidraad hiervoor dient de aansluiting van het uitgevoerde strategisch onderzoek met nieuwe vragen van de opdrachtgevers. Het is in 2004 niet mogelijk hiervan een 0-meting uit te voeren. Infrastructuur Voor de continuïteit van het NVI is de technische staat van de infrastructuur van groot belang, zodat ook in de toekomst volgend de geldende GMP normen geproduceerd kan worden. De Raad van Toezicht (RvT) zal hierover een zelfstandig oordeel dienen te geven. Op de eerstvolgende vergadering van de RvT wordt dit door de directie van het NVI op de agenda gezet. 11

12

13 7.2 Overzicht van overeengekomen doelmatigheidsindicatoren en afspraken uit het jaarplan 2004 Invalshoek Doelmatigheidsindicator Operationeel Verantwoordelijk Opmerking Financieel Kostprijs Ja, 114 BVO Per Mogelijk wijziging nav evaluatie kostprijsmodel Loonkostenontwikkeling Ja BVO Volgt uit eindejaarsrekening. Definitief vast te stellen per Aandeel overhead BVO Volgt uit eindejaarsrekening. Definitief vast te stellen per Declarabele uren per medewerker BVO Volgt uit eindejaarsrekening. Definitief vast te stellen per Aandeel opdrachten van derden 20%, BVO Volgt uit eindejaarsrekening. Definitief vast te stellen per Budget vs realisatie BVO Volgt uit eindejaarsrekening. Definitief vast te stellen per Kwaliteit Levertijd RVP 95%, Verkoop Correctie voor later verwerken Goederen Afgifte in SAP niet meegenomen. Definitief vaststellen per Leverbetrouwbaarheid RVP 100% Verkoop Definitief vast te stellen per Serviceniveau gem. 7,5 Verkoop Schriftelijk vastgelegd, gemiddelde van PEA's Beoordeling per project en per programma in de 4 maandsrapportage S&B Beoordeling dient te leiden tot een kwalificatie van goed, voldoende en onvoldoende. S&B dient nog met PG af te stemmen of dit per project/per rapportage en op welke wijze communicatie zal plaatsvinden; PO, schriftelijk met/zonder kwalitatieve toelichting Wetenschappelijke kwaliteit productie Journal Impact Factor S&B 0-meting heeft plaatsgevonden over JIF-gegevens 2004 pas in september 2005 bekend Aantal publicaties per wetenschappelijke fte S&B Publicaties zijn bekend, 0-meting kan worden uitgevoerd na vaststellen aantal wetenschappelijke fte's Kwaliteit infrastructuur Zelfstandig oordeel van Raad van Toezicht S&B In oktober krijgt de RvT een rondleiding, visuele inspectie. Daarnaast beoordeelt de RvT het investeringsplan. Advies naar directie Wetenschappelijke kwaliteit onderzoek Achteraf meting of SVOP aan heeft gesloten Directie Ben van der Zeijst plaatst dit op de eerstvolgende RvT vergadering bij strategie en/of opdrachten 13