CAPITOLO 2 FINALITÀ E METODO DEL PROGETTO “STRUMENTI E METODI PER VALUTARE LA PERFORMANCE IN SANITÀ - ESPERIENZE REGIONALI A CONFRONTO” Sabina Nuti*, Milena Vainieri**, Francesco Niccolai*** 2.1. Premessa Nel mese di dicembre 2007 a Roma, presso l’ISS (Istituto Supe- riore di Sanità), il laboratorio Management e Sanità della Scuola Superiore Sant’Anna ha organizzato il convegno nazionale “sistemi di valutazione della performance in sanità” che ha visto partecipi diverse regioni e l’allora ministro della salute Livia Turco. In quella occasione, sono stati presentati alcuni sistemi di va- lutazione della performance in sanità adottati in contesti inter- nazionali (Canada, Olanda, Spagna, Inghilterra e Giappone) ed in Toscana. L’interesse mostrato dalle regioni, dal ministero e dall’Agenas sul tema della valutazione della performance in sanità e l’inte- resse di ricerca per l’analisi delle caratteristiche specifiche del contesto italiano, ha determinato la scelta del Laboratorio MeS di avviare un progetto di mappatura dei sistemi di valutazione della performance attualmente adottati dalle regioni e province italiane in sanità con il contributo della fondazione Lilly. Il decreto legislativo 502/92 che ha dato il via al processo di regionalizzazione, evidenzia all’art. 2 1 che il ruolo di valutare la * Sabina Nuti, Direttore del Laboratorio Management e Sanità, è Professore asso- ciato di Economia e gestione delle imprese della Scuola Superiore Sant’Anna. ** Milena Vainieri, Dottoranda in Management, Competitiveness and Development della Scuola Superiore Sant’Anna, collabora alle attività di ricerca del Laboratorio Ma- nagement e Sanità. *** Francesco Niccolai, Direttore UO Comunicazione dell’Azienda USL 6 di Livorno. 1 Il dlgs 502/92 all’art. 2 recita “le linee dell’organizzazione dei servizi e delle attività de- stinate alla tutela della salute, i criteri di finanziamento delle unità sanitarie locali e delle aziende 26 Sabina Nuti, Milena Vainieri, Francesco Niccolai qualità dei servizi sanitari spetta alle regioni. Il PSN ancora vigente (2006-2008) pubblicato a marzo 2006, al capitolo 6 – la valutazione del SSN e il monitoraggio del piano, in- dica come principale strumento di valutazione dei servizi sanitari, la relazione sullo stato sanitario del paese con cadenza annuale. Successivamente, a seguito della l. 266/2005, con decreto del Ministro della salute nel giugno del 2006, viene istituito il Siste- ma nazionale di Verifica e controllo sull’Assistenza Sanitaria (Si- VeAS), al fine di provvedere alla verifica che i servizi erogati dalle regioni rispettino i criteri di efficienza, appropriatezza e qualità. Il SiVeAs deve operare, secondo il decreto, attraverso programmi annuali di concerto con la cabina di regia. Si intro- duce quindi la possibilità, per il livello centrale, di valutare i ser- vizi sanitari su tutto il territorio nazionale fino al livello azienda- le. Tale incidenza del livello ministeriale, viene in parte rivista nell’ambito del Patto per la Salute redatto nel mese di settembre 2006 che introduce il concetto di autovalutazione da parte delle Regioni della qualità dell’assistenza erogata e sottolinea che il li- vello centrale è sia quello nazionale del Ministero ma anche quello del coordinamento regionale: “[…e che] il livello centra- le (sia ministeriale che del coordinamento interregionale) svolga non solo una funzione di verifica ma, per le regioni che lo ri- chiedano o comunque per quelle impegnate nei piani di rientro, anche di supporto, servizio e affiancamento finalizzati ad una autovalutazione della qualità dell’assistenza erogata”. Sebbene negli ultimi anni ci sia stato quindi un cambiamento nei ruoli previsti per Stato e Regioni relativamente alla valuta- zione dei servizi sanitari, non vi sono studi a livello nazionale che mostrano lo stato dell’arte sugli strumenti attualmente adot- tati dalle regioni e province autonome. Recentemente sono stati pubblicati tre rapporti sui sistemi sa- nitari regionali/provinciali che, in modo diretto o indiretto, sono collegati al tema della valutazione della performance in sanità: “I ospedaliere, le attività di indirizzo tecnico, promozione e supporto nei confronti delle predette unità sanitarie locali ed aziende, anche in relazione al controllo di gestione e alla valutazione della qualità delle prestazioni sanitarie, rientrano nella competenza delle regioni”. Finalità e metodo del progetto 27 sistemi di governance dei servizi sanitari regionali” del Formez, “I modelli decisionali nella sanità locale” del Censis ed infine il qua- derno di Monitor “I sistemi di valutazione dei servizi sanitari”. I primi due rapporti (Formez e Censis) propongono, attra- verso metodologie diverse, modelli interpretativi dei sistemi di governance e delle decisioni nei sistemi sanitari delle regioni/ province italiane. Gli strumenti di misurazione adottati sono trattati in funzione dell’argomento principale del rapporto. Il supplemento al numero 20 di Monitor (2008) invece rac- coglie, in forma monografica, la descrizione dei sistemi di va- lutazione dei servizi sanitari presenti in 7 regioni: Abruzzo, Friuli Venezia Giulia, Lombardia, Piemonte, Toscana, Umbria e Veneto. Il progetto di ricerca del Laboratorio MeS, realizzato con il con- tributo della Fondazione Lilly, vuol provare a completare il quadro di analisi avviato dal numero di Monitor, proponendo uno schema di lettura dei sistemi di valutazione della performance che aiuti a confrontare le esperienze regionali/provinciali attraverso: l’analisi delle caratteristiche comuni o peculiari dei vari stru-• menti di misurazione della performance; l’analisi della struttura e del processo del sistema di valutazione; • l’analisi del grado di integrazione con gli strumenti di incenti-• vazione ed accreditamento; l’analisi dei fabbisogni di controllo;• la rilevazione della percezione delle regioni/province sul ruo-• lo che può rivestire il benchmarking dentro e fra i SSR/P. 2.2. La ricerca qualitativa per la mappatura dei sistemi di valutazione della performance nei SSR/P in Italia L’obiettivo della ricerca è stato quello di rilevare e compren- dere gli strumenti di misurazione/valutazione utilizzati, ossia cogliere, al di là della tecnicalità degli strumenti adottati, il sen- so che tali strumenti assumono nell’ambito della filosofia com- plessiva di “governance” che la regione/provincia adotta nelle 28 Sabina Nuti, Milena Vainieri, Francesco Niccolai relazioni con le aziende sanitarie. In questa ottica è stato adotta- to per la ricerca un approccio qualitativo capace di far emergere il vissuto ed il punto di vista dell’attore sociale. La ricerca si è sviluppata in due momenti consequenziali con obiettivi differenti: nella prima fase sono state realizzate intervi- ste semi-strutturate alle figure apicali di ciascuna regione parte- cipante alla ricerca; la seconda fase ha previsto la condivisione dei risultati emersi nelle interviste in un workshop. La conduzione delle interviste semi-strutturate con i referenti delle regioni sono state impostate in modo tale da rilevare sia la situazione sul campo sia la percezione e l’interpretazione che i referenti davano degli strumenti esistenti2. Il workshop ha perseguito una duplice finalità: da un lato va- lidare i risultati e le interpretazioni riportate dai ricercatori e dall’altro lato individuare, attraverso un processo di partecipa- zione, un framework condiviso per lo sviluppo dei sistemi di misurazione a livello regionale3. Fra giugno e luglio 2008 sono state invitate a partecipare al progetto le 19 regioni e le 2 province autonome italiane. Il pro- cesso di arruolamento prevedeva l’invio di una lettera ad ogni assessorato e direzione generale regionale e quindi un contatto telefonico per introdurre i temi dell’intervista. Fra luglio 2008 e gennaio 2009 sono state condotte le interviste in 13 regioni e 2 province autonome (Fig. 1). Le regioni che non hanno partecipato per motivi istituzionali o per un’esplicita non adesione sono: Lazio, Molise, Abruzzo, Emilia-Romagna, Val d’Aosta e Calabria. Le interviste realizzate hanno visto una diversa partecipazio- ne: nella maggior parte dei casi si è trattato di interviste di grup- 2 Lo scopo dell’intervista nella ricerca qualitativa è capire come i soggetti studiati vedono il mondo, di apprendere la terminologia, il loro modo di giudicare e di catturare la complessità delle loro individuali percezioni ed esperienze (Patton 1990). 3 Se l’intervista poteva avere un approccio “constructivism” in quanto mira alla comprensione dei sistemi e del contesto, il workshop aveva un approccio “Advocacy“ in quanto mira ad individuare, tramite la discussione, le azioni di cambiamento (Creswell 2002) che i SSR/P possono perseguire per un miglioramento dei propri sistemi di misu- razione/valutazione. Finalità e metodo del progetto 29 po in cui era presente sia lo staff che l’assessore e/o il direttore generale, in alcune regioni sono stati intervistati solo gli assesso- ri o i direttori generali ed infine in alcuni casi in cui si è intervi- stato solo lo staff del dipartimento della Salute (Fig. 2). La traccia dell’intervista comprendeva una serie di domande (vedi allegato 1) che nell’iniziale modello di lettura predisposto dal gruppo di ricerca, si articolava in tre macroaree: la descrizione degli strumenti di governo/valutazione; • la valutazione degli strumenti di governo in uso;• la descrizione del sistema di valutazione della performance • ideale. Le interviste sono state condotte sempre da una coppia di in- tervistatori facente parte di un unico team che aveva condiviso l’impostazione della ricerca. La conduzione dell’intervista segui- va un approccio “aperto” per dare modo agli interlocutori re- gionali di evidenziare le proprie priorità ed il proprio modo di vedere la questione. Anche per facilitare questo processo le in- Fig. 1 - Le regioni e province autonome intervistate. 30 Sabina Nuti, Milena Vainieri, Francesco Niccolai terviste sono state condotte sempre vis-a-vis4 e senza un invio preventivo delle domande. Le interviste sono state inoltre sem- pre registrate per una approfondita analisi successiva, mirante a cogliere anche le sfumature, il tono, le connotazioni attribuite dagli intervistati. Il verbale delle interviste è stato inviato agli in- tervistati per una sua validazione. 2.3. Il modello di lettura emergente dall’analisi delle interviste Le informazioni contenute nelle interviste sono state elabora- te seguendo le fasi associate alla ricerca qualitativa5. L’analisi Fig. 2 - I soggetti intervistati e le date delle interviste regione per regione. 4 Unica eccezione è la Lombardia che ha voluto partecipare ma ha optato per compilare ed inviare il questionario via e-mail. 5 Le fasi individuate da Creswell (2002) sono sei: Organizzare e preparare i dati per l’analisi1. Leggere le informazioni per comprendere il senso generale2. Classifica le informazioni in gruppi 3. Finalità e metodo del progetto 31 dettagliata dei verbali condotta nel team di ricerca ha fatto emergere un modello di interpretazione dei dati che viene ripor- tato nella figura 3. Tale modello di lettura “descrittivo”, emergente dai dati rac- colti sul campo, teso a dare ordine e senso alle diversità di situa- zioni rilevate, si integra con lo schema iniziale proposto dai ri- cercatori, che ricalcava uno schema “normativo” (dal come è al come dovrebbe essere). Lo schema di lettura proposto può essere scomposto in cin- que blocchi logici: Filosofia della misurazione e valutazione;1. 2. Caratteristiche dei sistemi di misurazione/valutazione; 3. Valutazione degli strumenti; Fig. 3 - Il modello di lettura adottato. Descrizione dei temi per le classi individuate4. Rappresentazione dei temi e delle descrizione a tutti i ricercatori coinvolti5. Interpretare i dati6. 32 Sabina Nuti, Milena Vainieri, Francesco Niccolai 4. Contesto; 5. Sistema ideale. FILOSOFIA DELLA MISURAZIONE E VALUTAZIONE1. Attraverso questo blocco logico, si è inteso cogliere quale fosse la filosofia che ha guidato le regioni/province nella predi- sposizione di sistemi di misurazione e valutazione in ambito sa- nitario. I diversi principi che sottendono i sistemi di misurazione e valutazione determinano la struttura dei sistemi ed il processo con cui vengono costruiti o gestiti (Vasselli, 2005). Ad esempio l’OMS individua quattro dimensioni e cioè mi- gliorare lo stato di salute, garantire l’equità finanziaria, garantire la rispondenza del servizio alle esigenze degli utenti e garantire l’accessibilità ai servizi offerti. Su tali prospettive vengono misu- rate le performance sintetizzate in un unico indicatore complessi- vo sulla base del quale si costruiscono le classifiche dei sistemi sa- nitari nazionali pubblicate periodicamente e largamente cono- sciute (ad es. la classifica del WHO report 2000). L’OCSE invece inserisce come obiettivi di performance anche il livello di spesa sanitaria e non giunge ad un indicatore unico (OECD, 2002). La filosofia del sistema determina anche differenze nel proces- so con cui vengono creati e gestiti i sistemi di misurazione ed i suoi risultati: vi sono approcci top down in cui tutto è deciso dal livello centrale, come è avvenuto nel NHS inglese, o di condivi- sione, in cui lo strumento e gli indicatori sono costruiti assieme ai professionisti del sistema ai vari livelli, come nel caso del sistema di valutazione della performance della Toscana6. Un’altra distin- zione di fondo fra i sistemi è collegata al destinatario dei risultati di performance: vi sono strumenti destinati esclusivamente al de- cisore politico o a più livelli del sistema (quindi documenti utiliz- zati e diffusi a tutti i livelli). 6 La Toscana è stata definita dal Censis (2008) un sistema “poliarchico compatto” in quanto i molteplici attori che costituiscono il sistema prendono decisioni su scelte or- ganizzative e di spesa in modo unitario seguendo le direttive fissate dalla Regione che gioca un forte ruolo di controllo. Finalità e metodo del progetto 33 CARATTERISTICHE DEI SISTEMI DI MISURAZIONE E VALUTAZIONE2. Sono stati individuati sei descrittori sulla base dei quali decli- nare gli elementi di comunanza o di diversità e identificare nel dettaglio le specificità regionali di ciascun elemento. Questi de- scrittori sono: focalizzazione, multidimensionalità, riferimento, integrazione, intensità e diffusione. In particolare si intende: a. Focalizzazione: esprime quanto il sistema di misurazione e valutazione adottato o l’insieme degli strumenti, siano orien- tati su alcune priorità identificate. Questa caratteristica può essere talvolta rilevante su un elemento come per esempio il rientro dal deficit, oppure su una parte dell’attività sanitaria come per esempio l’attività ospedaliera. b. Multidimensionalità: è la capacità del sistema di misurare le dimensioni che rappresentano sia i diversi portatori di inte- resse dei sistemi sanitari pubblici (cittadini versus professio- nisti, ecc.) e sia soprattutto i diversi aspetti in cui è possibile leggere il risultato conseguito come ad esempio l’efficienza, l’efficacia, ecc. Nella Fig. 4 sono riportate le dimensioni attraverso cui moni- torare e valutare la performance dei sistemi sanitari utilizzate o proposte da alcuni organismi internazionali. Attraverso questo descrittore si intende indagare quali sono le dimensioni analizzate dalle regioni/province ma anche se e quanto queste siano integrate fra di loro in un unico strumen- to. Infatti le regioni/province possono analizzare più dimen- sioni facendo corrispondere a ciascuna dimensione uno stru- mento o un sistema di monitoraggio/valutazione specifico. Situazione opposta è quella in cui si concentrano in un unico strumento i risultati di performance ottenute in tutte le di- mensioni. c. Riferimento: un ulteriore elemento di analisi dei sistemi è quello chiamato riferimento e confronto: questo descrittore indica l’orientamento dei sistemi di valutazione a non essere autoreferenziali e quindi a fare ricorso a termini di paragone o standard che possono essere parametri nazionali, interna- zionali, indirizzi regionali monitorati nel tempo. 34 Sabina Nuti, Milena Vainieri, Francesco Niccolai Il riferimento può essere temporale (confronto fra anni) o nel- lo spazio e quindi a confrontare i soggetti del sistema e capire quanto le regioni fanno ricorso a strumenti di benchmarking. d. Integrazione: esprime il grado con cui i sistemi di misurazione e valutazione sono integrati e collegati con altri strumenti di governance del sistema regionale e di orientamento del sistema stesso. In particolare i riferimenti considerati sono: il sistema premiante dei direttori generali ed il sistema di accreditamen- to, che possono in qualche modo essere integrati o sovrapposti e tendenzialmente coerenti con i sistemi di valutazione. e. Intensità: individua se i sistemi di misurazione e valutazione assegnano un valore alle performance che misurano. Sistemi con intensità bassa si limitano a descrivere la realtà mentre si- stemi con intensità alta arrivano ad assegnare un valore esplici- to e una valutazione alle performance ottenute. Dimensioni HSURC (Canada) CIHI (Canada) CCHSA (Canada) JCAHO (USA) NHS (Inghilterra) WH O Accessibilità X X X X X Equità X X Rilevanza X Efficacia pratica X X X X X X Accettabilità X X X X X Efficienza X X X X X X Appropriatezza X X X X Competenza X X Continuità X X X Sicurezza X X X Tempestività X X Prevenzione X Efficacia teorica X Reattività (responsiveness) X Fig. 4 - Le dimensioni proposte o analizzate da alcuni organismi internazionali (Bellini et al., 2002). Finalità e metodo del progetto 35 Cislaghi e Braga (2008) propongono la valutazione come un percorso, che nasce con la nomenclatura e termina con una de- cisione (Fig. 5). Fasi antecedenti e necessarie alla valutazione sono la descrizione e il monitoraggio: la descrizione è una copia semplificata della realtà, anche se, essendo una copia, può es- serne distorta; il monitoraggio rende la descrizione sistematica e ripetuta accompagnata da un confronto. Uno degli elementi es- senziali affinché la descrizione si trasformi in una valutazione, è la presenza della variabilità nel fenomeno osservato. Questo descrittore individua quindi la propensione dei SSR/P a trasformare i propri sistemi di misurazione della performance in sistemi di valutazione. f. Diffusione: la pubblicizzazione dei risultati del sistema indica quanto e a chi il sistema di misurazione e valutazione rende noto e con chi siano condivisi i propri risultati di performance. Indaga quindi quali strumenti e quali logiche di condivisione dei dati sono utilizzati sia all’interno del sistema sanitario, con il top management e con gli operatori, sia all’esterno, nei con- fronti di altri stakeholder come i comuni, le rappresentanze istituzionali ed i cittadini, portatori d’interesse finali. IL CONTESTO4. Le diversità degli strumenti di governo possono dipendere da elementi di contesto. In particolare un elemento è “il momento storico” attraversato dalla regione: regioni sotto stress per il rien- Fig. 5 - Il percorso della valutazione e decisione (Monitor, 2008). 36 Sabina Nuti, Milena Vainieri, Francesco Niccolai tro dal deficit oppure regioni in fase di consolidamento7 che at- traversano un momento storico diverso che può determinare l’utilizzo di strumenti specifici o, quantomeno, focalizzazioni dif- ferenti. Un altro elemento che è stato considerato di contesto è il modello istituzionale: dalla cd. riforma della regionalizzazione del sistema sanitario nazionale, le regioni/province hanno adottato modelli talvolta assai diversi di assetto organizzativo. Inoltre vi sono realtà in cui il SSR/P si interfaccia prevalentemente con operatori pubblici, altri in cui la presenza del privato è rilevante. 5. LA VALUTAZIONE DEI SISTEMI ATTUALI Questo blocco logico fa riferimento alle domande poste agli intervistati relativamente all’individuazione dei punti di forza e di debolezza dei sistemi di valutazione e misurazione della per- formance adottati dai SSR/P. La percezione degli intervistati dei punti di forza segnala i fattori ritenuti di successo dei sistemi di misurazione e valuta- zione della performance, dall’altro lato i punti di debolezza esplicitano quali sono i fabbisogni informativi avvertiti dagli in- tervistati non soddisfatti dagli attuali sistemi. 6. IL SISTEMA IDEALE E LE IDEE PER IL FUTURO Il blocco logico finale corrisponde all’ultimo gruppo di doman- de relative alle caratteristiche del sistema ideale ma contiene anche una sintesi dei precedenti blocchi logici. Infatti dal contesto, dalla filosofia del sistema di valutazione e dai fabbisogni informativi espressi, si possono delineare le caratteristiche dei sistemi di valuta- zione ed il ruolo che può giocare il benchmarking in una situazione ideale. Dalle domande poste dal gruppo di ricerca e dalle domande connesse a questo ultimo blocco logico, ha preso avvio il dibattito del workshop con le regioni tenutosi a Pisa il 30 e 31 gennaio 2009. Nel capitolo seguente la descrizione dei risultati emersi. 7 Alcuni autori hanno messo in correlazione il modello istituzionale con l’orienta- mento politico del governo locale (Formez, 2007) altri invece hanno analizzato la mobi- lità dei direttori generali e la stabilità politica come fattori che influenzano i risultati di performance aziendale (Del Vecchio e Carbone, 2002).