Gli effetti delle modificazioni introdotte dall'informatica nelle procedure di raccolta dei dati sono oggetto di un notevole interesse, testimoniato sia dal moltiplicarsi di convegni nazionali e internazionali sull'argomento, sia da una copiosa letteratura. Altre relazioni presentate in questo stesso convegno vertono sul medesimo argomento, quindi, non ripresenteremo, la questione nei suoi termini generali, ma ci concentreremo su una tecnica particolare, il CATI e su un problema specifico, quello della sperimentazione di un software per la raccolta di meta-informazioni al fine di controllare le prestazioni dei rilevatori. Occorre precisare che le possibilità offerte da tali informazioni sono solo in piccola parte esplorate in questa relazione. In realtà il principale risultato della sperimentazione consiste nella verifica che un tale software può essere inserito senza problemi e sostanzialmente a costo zero nei programmi di gestione correnti. Le analisi presentate nelle pagine che seguono hanno, dunque, carattere esemplificativo delle potenzialità offerte da questa innovazione.

L’obiettivo è dunque, limitato ma concerne uno dei vantaggi più rilevanti del metodi di rilevazione assistiti da computer, che consiste nella possibilità di effettuare alcuni controlli di qualità dei dati nel momento stesso in cui vengono rilevati e quindi nella possibilità di verificare le informazioni raccolte direttamente con l’intervistato. Una parte della fase di revisione viene, in questo modo, anticipata rispetto alle interviste PAPI e viene affidata al rilevatore. Da un lato, si alleggerisce il lavoro di controllo ex-post, ma, d’altro lato, si parcellizza il processo di correzione dei dati, correndo il rischio di disomogeneità nei criteri di correzione e si affida al rilevatore un compito che nelle indagini PAPI non è chiamato ad assolvere.

Si tratta di un problema piuttosto complesso e relativamente nuovo nel panorama delle modalità di revisione dei dati, strettamente connesso alla tecnica di rilevazione assistita da computer.

Nel corso del progetto di ricerca, il problema è stato affrontato in prima istanza attraverso l’osservazione diretta dei comportamenti durante una intervista CAPI (Ferrante, Filippucci, 2000). Tuttavia, non sempre è possibile ricorrere ad un osservatore esterno e spesso non risulta agevole cogliere e registrare il momento in cui si verificava un errore, il modo in cui viene corretto, i valori immessi prima e dopo la correzione. Ancora, vi sono correzioni che il rilevatore apporta direttamente mentre digita i dati prevenendo il messaggio di errore che l’esperienza gli fa prevedere. In sostanza, ci è apparso evidente che occorre una registrazione puntuale di tutto ciò che il rilevatore fa durante l’intervista che non è compatibile con i tempi e con i modi della osservazione diretta.

Per affrontare questo problema è stata progettata una sperimentazione nell’ambito dell’indagine congiunturale sulle imprese artigiane dell’Emilia Romagna condotta con la tecnica CATI. Con l’aiuto della società che gestisce la rilevazione, è stato messo a punto un programma che memorizza tutto ciò che viene digitato sul computer nel corso dell’intervista, dei messaggi di errore che compaiono nel corso della stessa, della durata delle singole domande ed altre informazioni che vedremo in seguito. Prima di descrivere in dettaglio in che cosa consiste la sperimentazione e illustrare, in maniera esemplificativa, alcuni risultati, presenteremo qualche considerazione strettamente funzionale alla precisazione della portata e dell'interesse del lavoro svolto, relative al ruolo del software e dei rilevatori nelle indagini telefoniche assistite da computer. Dopo questa breve introduzione, la relazione si sofferma su tre argomenti principali: (i) la descrizione schematica del software di gestione dell'indagine per chiarire le modificazioni introdotte e il tipo di meta-informazioni raccolte, (ii) un resoconto dei principali risultati raccolti in termini di prestazioni dei rilevatori, (iii) una esemplificazione delle possibilità offerte dalla procedura in merito alla misura degli errori non campionari attraverso una applicazione del metodo della compenetrazione.

L'impiego dei computers come ausilio per le indagini telefoniche ha una data e un luogo di nascita ben identificabile ed è avvenuta alla Chilton Research Services in USA nel 1971 (Scheuren e Batcher, 1998). In quell'anno viene creato un prototipo, chiamato SRP (Survey Response Processor), che verrà poi sviluppato fino al 1977, scritto in COBOL su un IBM 370. La necessità di ridurre al minimo lo sforzo di programmazione spinse i programmatori a gestire transazioni separate di dati e, quindi, a scindere i questionari in una successione di moduli indipendenti di domande. Una tale impostazione, rendeva, ovviamente difficili i controlli incrociati sulle risposte e la gestione dei salti tra i quesiti.

Un consistente cambiamento, non solo nel software di gestione, del CATI avviene nel 1978, anno in cui Scheuren e Meeker, presso 1'UCLA, decidono di abbandonare l'SRP e i suoi moduli per progettare una versione del questionario che potesse essere descritta direttamente in linguaggio Fortran e arricchiscono il software con un sistema di generazione automatica delle chiamate telefoniche. I due autori, per così dire, rovesciano il punto di vista adottato con l'SRP: assodato che esistono limiti alla possibilità di adattare il software al modo usuale di porre le domande e di raccogliere le risposte, essi si dedicano alla costruzione di uno strumento di indagine che possa essere direttamente informatizzato. Comincia a delinearsi la specificità dell'indagine telefonica assistita da computer. A partire dagli inizi degli anni '80 il CATI conosce una diffusione crescente in concomitanza alla diffusione dei computer su larga scala e il software ad esso dedicato si sviluppa e migliora sensibilmente grazie ai nuovi e più agevoli linguaggi di programmazione.

Attualmente non è ben nota la quantità di pacchetti software CATI utilizzati nel mondo, ma il Subcommittee on Computer Assisted Survey Informaiion Collection dell'ASA ha stimato che il loro numero era superiore al migliaio già all'inizio degli anni '90, affermando che "in sole due decadi il CATI è divenuto un tipico veicolo di raccolta dei dati legato ad avanzate strutture di ricerca" (Weeks, 1992). La tendenza alla diffusione si è sicuramente accentuata in questi ultimi anni, anche perché, le procedure informatiche sono state sempre più utilizzate per il controllo ex-post delle indagini dirette e la maggiore economicità dei computer portatili ha favorito l'utilizzo del PC come supporto anche nelle interviste faccia a faccia.

Per quanto riguarda i programmi di gestione e controllo dell'intervista ciò ha creato le premesse per un reciproco vantaggio. Il software di gestione delle interviste telefoniche ha beneficiato dello sviluppo informatico delle procedure di controllo e revisione messe a punto per le indagini dirette, mentre queste ultime hanno potuto utilizzare il meccanismo di visualizzazione, raccolta e prima revisione delle domande, tipico del CATI. Emblematica di questa situazione è la prima applicazione su ampia scala del metodo CAPI in Europa. Promossa da Statistics Netherlands, la sperimentazione ha riguardato le indagini sulle forze lavoro nei Paesi Bassi del 1987.Il programma di gestione dell'indagine doveva affrontare un duplice ordine di problemi: da un lato, il controllo del campione: cioè delle chiamate di preavviso e degli appuntamenti, e dall'altro il controllo in linea delle risposte raccolte. La risposta a questa duplice finalità è stata l'integrazione di due procedure software già utilizzate presso l'Istituto: quello correntemente usato per le indagini telefoniche, adatto a conseguire il primo obiettivo, e il software Blaise sviluppato per la revisione ex-post delle indagini correnti. Il risultato è stato il cosiddetto CAPI-Blaise. A fronte di risultati favorevoli con esso ottenuti, nel 1989, l'Ufficio Nazionale di Statistica aggiorna anche il proprio sistema CATI integrandolo con la procedura Blaise. Questo tipo di integrazione determina un cambiamento radicale nel modo di concepire i programmi di gestione del CATI, infatti si afferma la consapevolezza che l'ausilio dei PC nelle indagini telefoniche può non limitarsi alla semplice organizzazione delle telefonate e alla raccolta delle risposte, ma deve integrare anche procedure di controllo e di revisione.

Oggi siamo forse alla vigilia di un nuovo cambiamento. E' già rintracciabile una progressiva tendenza ad incorporare nel software non solo una quantità crescente di controlli sul contenuto e la coerenza delle risposte fornite ai quesiti, ma anche la raccolta di meta-informazioni relative allo svolgimento dell'intervista, al comportamento del rilevatore e al controllo delle sue prestazioni. E' nostra opinione che gli sviluppi dell'hardware e dei linguaggi di programmazione siano tali da aprire ampi orizzonti su questo tema, e che la ricerca e la sperimentazione siano appena agli inizi.

La considerazione appena enunciata costituisce la motivazione della sperimentazione avviata nell'ambito del progetto di ricerca cofinanziato dal Murst per il biennio 97-98, di cui in questa relazione vengono presentati i principali risultati.

Molto è stato scritto sul ruolo e sugli effetti degli intervistatori sulla qualità dei dati, d’altra parte i compiti loro affidati sono molteplici e di conseguenza le possibilità di contribuire all'errore di misura, qualunque sia l'oggetto dell'inchiesta o del sondaggio, sono numerose. In ultima analisi i rilevatori sono i primi e principali responsabili delle operazioni sul campo e, nel caso delle interviste PAPI, raramente sono assistiti e supervisionati con continuità. Questo stato di cose ha spesso creato difficoltà alla valutazione del loro comportamento che, quando sono condotte, rivestono carattere sperimentale ed episodico. Molto spesso le operazioni sul campo si configurano come una sorta di scatola nera il cui contenuto può solo essere congetturato.

A questo proposito la situazione che caratterizza le indagini telefoniche è piuttosto diversa, in questo caso i rilevatori sono riuniti nello stesso luogo fisico e la loro supervisione è molto più facilmente realizzabile e può avvenire addirittura durante l’intervista. Questa situazione consente un'interazione molto intensa tra rilevatori, supervisori e responsabili della ricerca. Naturalmente l’osservazione diretta del comportamento del rilevatore ha gli stessi limiti cui si è accennato nell’introduzione, ma può trovare un ausilio prezioso nel software a cui è affidata la gestione dell’indagine.

Non va poi trascurato il fatto che le tecniche di rilevazione assistite dal computer affidano ulteriori compiti al rilevatore, oltre a quelli già citati poco sopra, in particolare quello di registrare le risposte e, in presenza di qualche incongruenza segnalata dal software di controllo, decidere la strategia per correggere la risposta ottenuta, al limite di definire il criterio di imputazione da adottare.

Infine, l’osservazione delle prestazioni dei rilevatori ha una altra motivazione non trascurabile: in media, oltre il 50% del costo di una indagine telefonica è assorbito dai rilevatori pertanto l’ottimizzazione delle loro prestazioni sia in termini di tempi sia in termini di qualità è essenziale.

Queste motivazioni ci hanno spinto a porre al centro della sperimentazione proprio il controllo delle prestazioni in termini di tempi e qualità le procedure di correzione messe in atto.

La procedura di controllo (PCO) messa a punto per la sperimentazione è stata ideata dal gruppo di ricerca e realizzata dalla società che gestisce l’indagine. La procedura é stata direttamente integrata nel programma di gestione (PG) correntemente utilizzato dalla Res Coop per le indagini precedenti. Questo è stato possibile in quanto il PG è stato interamente realizzato dagli stessi utilizzatori che quindi hanno le conoscenze e la possibilità di ampliarlo e modificarlo secondo le necessità. Prima di elencare le meta-informazioni raccolte con la procedura di controllo è necessario fornire una sia pur sommaria descrizione delle principali caratteristiche del PG per precisare in quale contesto si è svolta la sperimentazione.

Il PG è progettato in modo da funzionare sia in modalità stand-alone che in rete. Nel corso delle indagini telefoniche è utilizzato unitamente ad una LAN che di norma prevede un server e 8-10 postazioni client che sono utilizzate dagli intervistatori. Si tratta, dunque, di due distinti programmi (CATICLIENT e CATISERVER) che comunicano sulla base di un protocollo di rete e si sincronizzano mediante un sistema di flag.

Oltre al vero e proprio PG, vi è il software di impostazione della indagine che crea gli archivi di base, in particolare una lista delle unità della popolazione con l’indicazione delle unità da intervistare e il serbatoio degli eventuali sostituti; l’archivio che contiene la struttura dell’intervista (domande, risposte, sequenza) e le informazioni per la loro visualizzazione su schermo, l’archivio dei controlli di esistenza e coerenza.

Una volta creati gli archivi di base, la gestione dell’indagine prevede, distintamente per il programma server e client, le seguenti funzioni:

CATISERVER utilizza ed aggiorna gli archivi di base prima dell’intervista e alla sua conclusione, in particolare assolve alle seguenti funzioni:

Invio dei numeri telefonici ai client

Registrazione dell’esito del contatto

Gestione degli appuntamenti

Sostituzione delle unità cadute (se previsto)

Registrazione dei dati ad intervista conclusa

Statistiche sull'andamento dell'intervista e sulle prestazioni dei rilevatori

CATICLIENT costituisce l’interfaccia con l’intervistatore e si incarica della gestione vera e propria della intervista, in particolare:

Presentazione delle videate di domande

Gestione dell’input da tastiera e mouse

Controllo dell’input

Gestione messaggi di errore e delle rettifiche

Registrazione locale dei dati e dei meta-dati

Invio dei dati al server

In sintesi la sequenza delle operazioni è la seguente:

1. Dalla lista delle unità di popolazione, il server, identifica la prima da intervistare (dando priorità agli appuntamenti in scadenza) in maniera casuale
2. Il server interpella i client e invia i dati di base dell’unità da intervistare al primo client libero
3. Il client riceve i dati, li visualizza e aspetta l’input da tastiera da parte del rilevatore, lo esamina alla luce dei controlli da compiere e, se corretto, lo registra su un archivio locale provvisorio.
4. Quando l’intervista è conclusa, invia un messaggio al server che indica che l’intervista è conclusa, che archivio provvisorio può essere prelevato e che il client è pronto per una nuova intervista.
5. Il server riceve il messaggio di intervista conclusa passa un nuovo nominativo al client, copia l’archivio provvisorio e, a seconda dei casi, intraprende una delle seguenti azioni:

• Se l’intervista è chiusa normalmente, aggiorna l’archivio definitivo sulla base di quello provvisorio del client e inibisce il ripescaggio della unità intervistata
• Se, per qualsiasi motivo, l’unità è da sostituire, provvede alla individuazione della nuova unità da intervistare e la rende disponibile per la prossima richiesta
• Se il contatto telefonico non è avvenuto incrementa il contatore dei tentativi effettuati, se il numero di tentativi supera la soglia prevista, provvede alla sostituzione della unità dopo aver chiesto conferma.
• Se è stato preso un appuntamento, ne prende nota e riorganizza la lista degli appuntamenti

6. Ripete il ciclo dal punto 1

L’ultimo aspetto da sottolineare concerne il processo di assegnazione dei nominativi ai rilevatori. Senza entrare nel dettaglio della procedura, qui basta osservare che l’ordinamento della lista, che viene casualizzato in fase di impostazione dell’indagine, il meccanismo di scelta dei nominativi che è randomizzato e l’assegnazione ad un particolare client che avviene sulla base della disponibilità e, infine, il fatto che i rilevatori ad ogni turno utilizzano macchine diverse, rendono l’assegnazione del tutto casuale. Cosicché le evidenze che verranno descritte in seguito possono essere considerate come frutto di un piano sperimentale randomizzato.

La procedura realizzata per la sperimentazione modifica il programma client, e prevede la registrazione su due archivi locali delle seguenti meta-informazioni

File CONTROLLI: Contiene informazioni su tutti i campi e i controlli che sono stati attivati nel corso dell’intervista. In dettaglio per ogni volta che viene visualizzata una domanda si registra:

Codice dell'intervistato

Ora, minuto e secondo della visualizzazione

Codice della domanda

Codice del controllo attivato

Tipo di controllo (di coerenza, di ammissibilità, domande filtrate etc..)

Valore contenuto nel campo della domanda al momento del controllo

Esito del controllo (positivo o negativo)

Queste informazioni vengono registrate ogni volta che viene completata l’immissione di una singola risposta. Poiché in caso di errore il programma ripropone la stessa domanda che non ha superato il controllo, nel file le domande "errate" compaiono almeno due volte ed è quindi possibile rilevare se e in quale modo l’errore è stato corretto.

In sostanza la elaborazione di queste informazioni consentono di:

Quantificare il numero di controlli attivati

Quantificare il numero di errori

Quantificare le correzioni apportate e i valori confermati

Misurare il tempo che intercorre tra la segnalazione di errore e la sua correzione

Ricostruire il flusso dell’intervista (ritorni sulle stesse domande, correzioni a ritroso ecc.).

File TASTI: Contiene tutti i tasti e i click del mouse avvenuti durante l’intervista. In dettaglio:

Codice rilevatore

Codice intervistato

Ora, minuto e secondo della pressione sul primo tasto nel campo di immissione

Codice della domanda

Tipo di domanda (aperta o chiusa con elenco di risposte ecc.)

Domanda sottoposta a controllo

Codice ASCII dei tasti premuti o posizione del click del mouse

Questo file consente di ricostruire le correzioni e le modificazioni apportate dal rilevatore nel corso della digitazione, prima di "chiudere" l’immissione di ciascun campo e quindi prima di attivare il controllo.

Tali informazioni sono registrate ogni volta che il rilevatore passa da una domanda all’altra. Come risulta evidente da questa breve descrizione, la procedura non interferisce in alcun modo con la gestione della intervista ed è completamente automatica nel senso che non richiede alcun intervento da parte del rilevatore che non ha modo di rendersi conto della registrazione.

La quantità di informazioni così raccolte è molto ampia: nel corso della sperimentazione qui descritta effettuata nel gennaio 2000, per 3000 interviste che hanno richiesto oltre 12000 tentativi di contatto, ambedue gli archivi sono composti da più di 250.000 record e, quindi, da alcuni milioni di informazioni elementari.

Tali informazioni si prestano ad una duplice utilizzazione, da un lato consentono un controllo continuo (al limite in tempo reale) dell’andamento della rilevazione e delle prestazioni dei rilevatori e sono, quindi, preziose per i gestori dell’indagine che possono percepire eventuali problemi e intervenire in corso d’opera per le opportune correzioni. D’altro lato si prestano ad analisi ex-post sulla qualità del processo di raccolta dei dati. Nei paragrafi che seguono mostreremo solo alcune delle molte elaborazioni possibili su tali dati.

Nella indagine osservata la remunerazione dei rilevatori è calcolata ad ora, e pertanto le loro prestazioni hanno un evidente influenza sul costo complessivo della rilevazione, che comunque deve garantire 3000 interviste portate a termine. Il calcolo della produttività individuale è dunque un elemento cruciale per il responsabile dell’indagine. L’articolazione delle informazioni su tempi e durate, raccolte con la procedura descritta consente una valutazione assai approfondita della produttività e delle cause delle discrepanze tra i rilevatori. Come abbiamo detto la procedura registra:

1. Istante in cui il server invia il nominativo al client
2. Istante in cui il nominativo perviene al client
3. Istante in cui il rilevatore ordina al client di visualizzare il nominativo
4. Istante in cui avviene la prima digitazione utile
5. Istanti in cui avviene la prima digitazione per ciascuna domanda posta
6. Istante di chiusura della intervista

I tempi che intercorrono tra le diverse fasi possono essere attribuiti a diversi fattori di ritardo in particolare:

differenza tra 1 e 2 problemi di hardware (macchine in errore o rete intasata)

differenza tra 2 e 3 sospensione nel lavoro del rilevatore

differenza tra 3 e 4 tempo richiesto dal contatto telefonico

differenze tra 4 e 5 tempi richiesti dalle singole domande

differenze tra 5 e 6 tempi di congedo

Naturalmente i tempi hanno significati diversi a seconda dell’esito del contatto, in alcuni casi si ha una sola digitazione ("non risponde nessuno") in altri si porta termine l’intera intervista. Nel grafico seguente sono riportate le durate medie per ciascuna componente sopra citata, distintamente per esito del contatto.

Il ritardo medio legato a problemi hardware e al congedo dall’intervistato è risultato inesistente (meno di 1 secondo), mentre una intervista completa ha richiesto in media circa 8 minuti. Ci vogliono, inoltre, circa 3 minuti in totale per concludere un contatto che non ha buon esito e i rilevatori lasciano squillare il telefono per circa 1 minuto prima di dichiarare l’irreperibilità del rispondente.

Una considerazione a parte va svolta per i numeri di telefono errati: in questo caso il comportamento suggerito al rilevatore consiste nel contattare il supervisore il quale opera una ricerca del numero sbagliato o mancante sia su CD, sia attraverso Internet. L’intera operazione richiede, in media circa 7 minuti, poco meno del tempo necessario a completare una intervista.

Qualunque sia l’esito del contatto, comunque, passa circa 1 minuto dal momento in cui il nuovo nominativo è disponibile e l’istante in cui esso viene visualizzato. Si tratta probabilmente di un intervallo fisiologico, però la sua valorizzazione in termini di costo porta a risultati di rilievo.

Complessivamente sono stati operati 12252 tentativi di contatto, pertanto solo in termini di ritardo nella visualizzazione sono stati perse oltre 200 ore, poiché il costo orario di un rilevatore è di 18.000 lire, il costo del ritardo ammonta a più di 3,5 milioni.

Il meccanismo di moltiplicazione dei costi legato al numero di rilevatori (che varia da 8 a 10 ogni turno) e i 4 turni giornalieri protratti per 7 giorni sottolinea l’importanza anche di piccole correzioni che hanno l’obiettivo di eliminare i tempi "morti". Ad esempio il momento del cambio di turno è assai importante, complessivamente è risultato che ad ogni turno tra la chiusura dell’ultima intervista di un turno e la visualizzazione del primo nominativo successivo, passano in media, poco meno di 10 minuti, che moltiplicati per 28 volte (4 turni per 7 giorni) e per 8 rilevatori assorbono un costo pari a poco meno di 1 milione di lire.

Nel grafico seguente, è riportato il numero medio di interviste concluse per ora, che si mostra molto regolare nell'andamento, con la sola eccezione del primo giorno di indagine che è quello che registra la media più bassa (4.3), scontando qualche problema di rodaggio, anche perché come vedremo su 24 rilevatori 10 erano alla prima esperienza.

Osserveremo immediatamente sia la variabilità nelle prestazioni dei rilevatori ma, soprattutto, quanto questo aspetto incide sui costi di un'indagine telefonica.

La regolarità che emerge dall'andamento del grafico precedente è frutto di comportamenti piuttosto diversi, infatti esaminando i tempi medi di intervista dei singoli rilevatori (Tab.1), il primo fenomeno che colpisce è la notevole variabilità nelle prestazioni. A fronte di una durata media pari a 7 minuti, si va da un minimo di poco più di 5 minuti ad un massimo di oltre 10. Il calcolo di un test t per la differenza tra la media di ciascun rilevatore e quella generale (i risultati significativi sono segnalati da un asterisco) evidenzia la presenza di 2 casi particolarmente plus-varianti, ma soprattutto l'esistenza di un gruppetto di 6-7 rilevatori che dimostrano una notevole rapidità di intervista. La velocità, come risulta chiaramente dalla tabella, non è da attribuire al fatto che i rilevatori più rapidi incappino in contatti più brevi per rifiuti, irreperibilità o altri motivi, infatti l'alta produttività si osserva qualunque sia l'esito dell'intervista

L'esperienza sembra essere il fattore determinante delle prestazioni dei rilevatori: solo uno dei 6 più veloci è alla prima indagine e, al contrario, solo uno su quattro dei meno efficienti ha già esperienza, del tutto ininfluenti risultano sia il sesso che la condizione.

La differenza non è di poco conto, nello stesso tempo in cui GI porta a termine una intervista JU ne completa 2. Come abbiamo già detto il compenso ai rilevatori è stabilito su base oraria, mentre come spesso avviene il compenso all'organizzatore dell'indagine è commisurato al numero programmato di interviste complete, ciò implica che dal punto di vista di quest'ultimo il costo di GI è doppio rispetto a quello di JU.

Un'ultima considerazione sulle performance dei rilevatori può essere condotta a proposito dei rifiuti espliciti alla collaborazione ricevuti durante l'indagine. A fronte di un tasso complessivo (fisiologico) di rifiuto del 16% si nota che il gruppetto di 6 persone cui si è fatto cenno in precedenza registra un numero di rifiuti al di sotto della media. E' interessante notare che l'unica persona "nuova" all'interno di questo gruppo ha registrato, invece, un tasso eccessivo (oltre il 40% delle persone contattate ha rifiutato di collaborare), mentre, dal verso opposto, l'unico rilevatore "vecchio" tra i meno efficienti è riuscito ad ottenere maggiore collaborazione (6,8% di rifiuti).

Il fatto poi che la causa principale di tale maggior costo sia rintracciabile nel diverso livello di esperienza sottolinea l'importanza di un adeguato addestramento preliminare dei rilevatori, soprattutto di quelli che vengono inseriti per la prima volta nell'indagine.

Come è già stato detto, l'intervista prevede 125 quesiti, e 61 di questi sono soggetti ad almeno un controllo. Può sembrare una quota non troppo ampia, tuttavia va considerato che alcuni campi risposta sono riempiti automaticamente sulla base delle informazioni già fornite (campi somma o codici) e altre domande subiscono un controllo implicito nel senso che il rilevatore sceglie la risposta da immettere da una lista chiusa. La situazione delle domande e dei controlli è riassunta nella tabella seguente:

Apparentemente 13 domande non subiscono alcuna verifica, ma non è così in realtà infatti si tratta di campi che raccolgono informazioni elementari che poi alimentano un campo a riempimento automatico che è controllato, ad esempio singole componenti di una lista a cui va attribuita una percentuale che viene automaticamente sommata in un campo totale che è controllato in modo che faccia 100. Per converso i campi automatici che non sono controllati vengono riempiti sulla base di singole risposte controllate. In sostanza, dunque, tutte le informazioni raccolte sono sottoposte ad una qualche forma di verifica e la maggior parte dei controlli richiede obbligatoriamente una correzione, i 9 casi a correzione facoltativa (viene presentato un messaggio a video e si chiede se si vuole correggere l'immissione) riguardano la rettifica di dati contenuti nella lista della popolazione che vengono verificati con una domanda diretta (addetti, settore di attività, ragione sociale ecc.) e che comportano l'esclusione dall'indagine. Occorre, infine, sottolineare che una stessa domanda può essere sottoposta a più di una verifica, cosicché il numero complessivo massimo per ciascuna intervista ammonta a 61 verifiche (escluse quelle relative alle domande chiuse).

Poiché ogni contatto telefonico è caratterizzato da un numero diverso di quesiti, in quanto molte domande sono filtrate nel senso che vengono poste (e compaiono a video) solo per alcune categorie di intervistati,.è necessario considerare il numero di controlli effettivamente attivati nella tornata di indagine che stiamo analizzando. La situazione è riassunta nella tavola seguente:

Dei circa 250.000 campi riempiti, solo 18.847 (7.5%) non ha subito alcun controllo, mentre il 22% è stato verificato esplicitamente.

Il tasso complessivo di errore cioè il rapporto tra i messaggi di errore comparsi a video e il numero complessivo di quesiti posti è molto basso, pari al 5 per mille. Tuttavia occorre tenere conto che non tutte le domande richiedono un controllo, che uno stesso quesito può essere oggetto di più controlli e che il rilevatore può porre più volte la stessa domanda. Se al denominatore del tasso di errore poniamo il numero di controlli effettivamente attivati nel corso dell'indagine, cioè le occasioni in cui ha potuto manifestarsi un messaggio di errore, il valore sale al 2.8%. Considerato che la quasi totalità dei controlli è ineludibile, nel senso che l'intervista si blocca finche non viene digitata una risposta accettabile, il sistema di controllo ha forzato il controllo o addirittura evitato più di 1500 errori nella registrazione dei dati.

Come risulta evidente, la maggior parte dei messaggi visualizzati dal programma ha avuto la funzione di warning, cioè ha richiesto una conferma dei valori digitati. Come è stato detto si tratta di quei quesiti che implicano la variazione di informazioni da lista e, spesso, l'esclusione dalla indagine. Se si escludono questi ultimi, il tasso di errore vero e proprio scende al 2%. Come era da attendersi gli errori si concentrano sulle domande aperte e sui campi calcolati automaticamente. Come vedremo, si tratta in gran parte di valori percentuali che devono assommare a 100 (il campo totale è automaticamente calcolato) e quindi subiscono un controllo complessivo. Una lista delle domande a correzione obbligata che si sono rivelate più difficoltose, è riportato nella tabella seguente:

Sono, dunque i quesiti sugli addetti all'impresa a mostrare i problemi più rilevanti, anche perché su di essi è possibile un controllo più stringente. Infatti il dato relativo agli addetti è desumibile sia dalla lista, sia dalle risposte fornite in una tornata precedente della stessa indagine

Al contrario di quanto abbiamo osservato per la velocità di intervista, l'intervista non sembra influenzare il tasso di errore, molta maggiore importanza rivestono il sesso e la condizione. I maschi e gli studenti si mostrano più attenti nella raccolta e nella digitazione delle informazioni il, infatti, il loro tasso medio di errore è circa pari alla metà di quello delle donne e delle persone in altra condizione. Questi dati fanno già capire che non vi è alcuna relazione significativa tra rapidità e accuratezza dell'intervista, la impressione è confermata dal coefficiente di correlazione tra la durata media dell'intervista e il tasso di errore che è pari a 0.05.

Dalle analisi sommariamente descritte nei paragrafi precedenti è apparso evidente come alcune caratteristiche dei rilevatori possano essere determinanti nello spiegare le differenze tra intervistatori in termini di qualità del lavoro svolto, nelle pagine che seguono mostreremo che anche in termini di qualità dei dati raccolti, si notano differenziazioni di rilievo.

A questo fine, in considerazione della casualità nelle assegnazioni dei nominativi, più volte ricordata, è stato possibile ottenere una misura dell'influenza del rilevatore sulla qualità complessiva dei dati applicando il metodo cosiddetto della compenetrazione (o delle assegnazioni casuali) (Mahalanobis, 1946; Kish, 1962). Il metodo, come è noto, utilizzando uno schema mutuato dalla analisi della varianza consente di ottenere una stima del rapporto tra la varianza dovuta al rilevatore e la varianza complessiva della misura (Pritzker e Hanson, 1962). Tale indice, di norma denominato indice di inconsistenza, che varia tra 0 e 1 rappresenta una misura dell'effetto rilevatore. La stima è stata portata per la maggior parte delle variabili quantitative ed ha fornito i risultati riportati nella Tab. 7

La stima, anche se in linea con i risultati di altre sperimentazioni condotte in Italia (Bernardi et alii, 1991) mostra in modo inequivocabile una forte influenza dell'intervistatore, infatti per quasi tutte le variabili considerate l'indice è superiore al 50%, mentre il livello medio si attesta attorno al 60%.

E' interessante notare che, come era prevedibile ai primi posti della graduatoria si trovano i quesiti che sollecitano una opinione o una valutazione personale, per i quali è più facile immaginare un meccanismo di interazione tra intervistato e intervistatore tale da influenzare le risposte. A questo proposito è bene precisare che nelle analisi successive si distinguerà tra variabili rilevate con domande d'opinione (percentuali di fatturato, livello ordinativi, percentuali di lavoro per conto proprio e/o per conto terzi, per imprese nazionali esportatrici e non) e variabili fattuali (numero di dipendenti ed indipendenti).

La possibilità di disporre di una misura dell'influenza del rilevatore consente di arricchire l'analisi delle loro performance in molti modi, per motivi di spazio qui ci limiteremo ad illustrare le modalità secondo le quali le caratteristiche personali concorrano a determinare una maggiore o minore peso dell'intervistatore nella raccolta dei dati.

Per fare ciò sono state ricalcolate le stime dell'indice di inconsistenza per diverse tipologie di rilevatori. Ad esempio per verificare l'effetto del sesso si è proceduto al calcolo dell'indice classificando i rilevatori in due gruppi (maschi e femmine) e trattando i gruppi come se fossero un unico rilevatore. La sintesi tra gli indici ottenuti per le diverse domande è data dalla media dell'indice. I risultati sono riportati nella Tab. 8.

Considerando l'effetto rilevatore distinto per sesso, stimato sempre con il metodo della compenetrazione dei campioni non ci sorprende affatto di trovare tra maschi e femmine sostanziali e ben precise differenze. Le intervistatrici femmine sono molto più competenti dei colleghi uomini nell'ottenere un clima di fiducia sufficiente a portare a termine un'intervista più efficace, nell'incoraggiare i rispondenti a parlare liberamente e francamente come dovrebbero.

Si può ipotizzare che la voce femminile risulti più confidenziale della voce maschile e che la telefonata di un uomo estraneo sia più minacciosa e propensa a destare ansie o semplicemente più indesiderata e inopportuna di una telefonata femminile.

Lo conferma la stima dell'effetto rilevatore che per le donne è in media pari al 58,4% della variabilità complessiva, mentre per gli uomini arriva ali'80,7%. Questo si traduce in un effetto medio, per le variabili rilevate con domande non fattuali, del 51,8% per le donne e del 79,8% per gli uomini (più 28%).

Non meno importante della discriminante sesso risulta essere il fattore esperienza che possiamo indagare sotto forma di rilevatori che hanno già collaborato a questa indagine ("vecchi") e rilevatori alla prima esperienza lavorativa nella stessa ("nuovi"). La stima della varianza per questo due gruppi selezionati tramite il carattere discriminante esperienza rivela che questa aiuta ad ottenere una migliore qualità dei dati in termini di risposte maggiormente attendibili. Gli intervistatori con un po' di esperienza hanno maggior successo di quelli senza esperienza, anche se il guadagno è senza dubbio più modesto rispetto alle differenze riscontrate nell'analisi precedente: i rilevatori "nuovi" hanno un effetto intervistatore medio maggiore di 5,7 punti percentuali dell'effetto rilevatore degli intervistatori "vecchi"; sulle domande d'opinione spiegano il 63,5% della variabilità complessiva, contro il 58,4% rilevato per i già esperti.

Sembra che gli intervistatori sviluppino le loro capacità persuasive attraverso la pratica e l'esperienza: i collaboratori con più esperienza risulterebbero maggiormente confidenziali e professionali, mostrerebbero un'elevata padronanza nel rispondere ai quesiti e ribattere i rifiuti a collaborare; mentre i meno esperti sembrano più impreparati ai problemi che insorgono durante l'intervista e meno capaci nel persuadere i contattati a collaborare all'indagine in modo tale da ottenere una buona qualità delle risposte.

Quando aumenta la quantità di assegnazioni si acquisisce molta padronanza dei questionari anche all'interno di una sola esperienza in questa indagine. Infatti , distinguendo per numero di ore lavorate più o meno elevato e dunque anche in termini di turni giornalieri più o meno lunghi, i risultati non deludono. Sebbene i rilevatori che hanno fatto turni giornalieri doppi e dunque più ore lavorative siano per il 57% nuovi, i risultati migliori sono chiaramente a loro favore: i più impegnati nell'indagine non solo non mostrano sintomi di stanchezza, ma anzi acquisiscono tanta più padronanza e diventino maggiormente efficienti, quante più ore lavorano. II loro effetto rilevatore medio è del 61,1% mentre i lavoratori meno impegnati incidono sulla qualità dei dati per il 72% del totale. Le stime divergono ancora di più se si analizzano le sole variabili rilevate con domande d'opinione: i rilevatori con turno giornaliero di 3 ore inficiano la qualità delle risposte del 15,8% in più dei rilevatori che lavorano 6 ore al giorno.

Distinguendo tra intervistatori con un numero di interviste maggiore (mediamente 190) e intervistatori con un numero di interviste minori (99), si evidenzia come il 78% dei rilevatori appartenenti al primo gruppo ha lavorato turni giornalieri doppi.

Le differenze tra le stime dell'effetto rilevatore dei due gruppi vanno interpretate, allora, come dipendenti non della minore o maggiore efficienza dei rilevatori che hanno un carico di assegnazioni minore o maggiore, ma ancora una volta dalla esperienza acquisita nel lavorare con una mole di appuntamenti telefonici nettamente diversa. La mole degli assegnamenti delle interviste ha effetti positivi sulla qualità delle risposte: sembrerebbe che con maggiori assegnamenti la motivazione degli intervistatori non diminuisca e che questi attraverso la pratica e l'esperienza migliorino i loro rapporti con gli interlocutori.

Gli intervistatori con più interviste influiscono sulla qualità dei dati per il 60% della variabilità complessiva, mentre gli intervistatori con meno interviste incrementano tale varianza di 12 punti. Le divergenze tra i due gruppi diventano ancora più evidenti per le domande non fattuali, dove mentre l'effetto rilevatore per gli individui con un carico di questionari elevato diminuisce del 7%, gli intervistatori i meno impegnati nel sondaggio influiscono ancora per un 70%, assestando le differenze attorno al 17%.

Per quanto concerne la velocità di intervista, emerge che i rilevatori più veloci sono per il75% intervistatori con un turno giornaliero e per il 75% femmine. Avendo rilevato nelle donne una attitudine migliore a portare a termine interviste più veritiere, ma nei rilevatori assegnati ad un solo turno la tendenza ad influenzare in modo determinante la qualità delle risposte, l'interazione tra i due opposti effetti conferma che gli intervistatori più veloci sono comunque i più efficienti nel rilevare dati maggiormente attendibili.

L'effetto intervistatore medio per i più veloci è del 62% contro il 72% dei meno veloci; per le sole variabili rilevate tramite domande d'opinione e giudizio abbiamo una differenza tra i due gruppi del 9%. I risultati suggeriscono che una qualità come la velocità d'intervista, indipendentemente dalla intensità dell'esperienza lavorativa in questa indagine, è sinonimo di un elevato grado di padronanza del questionario e di minore distrazione dal proprio molo di "cronista" ed è responsabile del contenuto effetto rilevatore ad essa associato.

I rilevatori più lenti sono anche quelli che per ottenere un'intervista hanno dovuto insistere maggiormente in termini di tentativi telefonici: infatti il 67% ha speso più di 1,23 telefonate per intervista e l'effetto rilevatore più determinante è quello dovuto agli intervistatori che hanno fatto più telefonate per ottenere un'intervista con un valore del 72% contro il 68% degli altri. Le differenze sono comunque modeste, soprattutto per quanto riguarda l'effetto rilevatore stimato per le domande non fattuali, con uno scarto tra i due gruppi del 2%.

Le sotto-popolazioni definite dalla condizione di studente hanno composizione equilibrata rispetto alle caratteristiche velocità d'intervista e nuovi e vecchi rilevatori. I rilevatori studenti sono per il 71% femmine e per il 76% lavoratori con un turno giornaliero, mentre i non studenti sono composti da donne per il 78% e da rilevatori con un turno giornaliero per il 71%. L'effetto rilevatore è più alto per gli studenti: in media incide per il 70% sulla variabilità complessiva e per le variabili rilevate con domande non fattuali la percentuale di varianza spiegata dall'influenza dell'intervistatore è pari a 70.

Evidentemente gli studenti partecipano a questo tipo di indagine meno motivati dei non studenti: infatti il 78% degli studenti lavora solo 3 ore al giorno, proprio a dimostrare che per questi l'indagine è più un lavoro occasionale. Inoltre i1 94% degli studenti è molto giovane (di età inferiore ai 25 anni): come ampiamente dimostrato in letteratura gli intervistatori più anziani hanno maggiori capacità di instaurare un buon rapporto di fiducia con l'interlocutore, forse per la confidenza o il tono di voce che i rispondenti trovano rassicurante.

Con la sperimentazione descritta in queste pagine ci eravamo proposti di compiere un primo passo verso l'obiettivo di definire un ventaglio di controlli sull'andamento delle interviste telefoniche e sull'operato dei rilevatori.

Una prima conclusione riassuntiva di questo lavoro è che il processo è fattibile e comporta costi assai contenuti, a patto di poter modificare il software esistente e non interferisce con il normale processo di intervista assistita dal computer. Dal punto di vista tecnico è possibile certamente apportare miglioramenti, ad esempio, la precisione delle informazioni può essere incrementata affidando al computer le operazioni di composizione del numero telefonico e la durata dell'attesa di risposta, tuttavia per quanto concerne il software, il problema è sostanzialmente risolto.

Molto invece rimane da studiare circa il miglior utilizzo delle informazioni che si rendono disponibili, la loro grande quantità rende necessaria la definizione di un insieme di indicatori sintetici della qualità e delle produttività che possano essere calcolati nel corso dell'intervista in modo da poter individuare tempestivamente il sorgere di situazioni critiche ed intervenire in corso d'opera. Tutti gli indicatori analizzati in questo lavoro si prestano a un simile obiettivo, tuttavia la sensazione che rimane agli autori è quella di aver solo scalfito la superficie di un terreno che potrebbe mostrarsi molto più fecondo. E' nostra convinzione che su questo terreno il contributo più interessante possa venire da un più esteso utilizzo della procedura in indagini concrete. E' significativo che la stessa società che ha collaborato alla sperimentazione ha già deciso di adottare stabilmente la procedura di calcolare giornalmente alcuni indicatori di qualità e produttività da utilizzare come materiale per la supervisione dei rilevatori e come parte integrante della documentazione circa la qualità delle sue indagini.