Dr. Rãzvan Ioan Traºcu, expert medic, Colegiul Medicilor din Municipiul Bucureºti
În perioada 11-31 ianuarie 2007 a fost disponibil online un chestionar de verificare a gradului de satisfacþie a utilizatorilor programului EMCB (arhiva.emcb.ro) la finalizarea ultimei etape (etapa a 3-a).
Programul EMCB este un program de educaþie medicalã continuã derulat online sub egida Colegiului Medicilor din Municipiul Bucureºti ºi a Universitãþii de Medicinã ºi Farmacie „Carol Davila” din Bucureºti. Prima etapã a programului a debutat în 2004, oferind celor circa 40 de utilizatori înregistraþi la data terminãrii etapei inaugurale articole creditate EMC în cadrul a trei specialitãþi. În prezent, programul s-a extins, atingând o cifrã record de peste 1100 utilizatori, cãrora le va oferi în cadrul etapei a patra (programatã a începe în aprilie-mai 2007) articole creditate EMC grupate în 5 secþiuni principale: „medicinã internã”, „chirurgie”, „pediatrie”, „gastroenterologie” ºi „alte specialitãþi”.
Chestionarul aplicat a constat dintr-un numãr total de 21 întrebãri, grupate pe mai multe puncte de interes. Utilizatorii au fost rugaþi sã aleagã atent varianta de rãspuns consideratã cea mai apropiatã de punctul lor de vedere personal.
În vederea facilitãrii procesãrii rezultatelor, precum ºi pentru a evita indecizia respondenþilor, am preferat eliminarea valorilor intermediare/neutre din scala de apreciere.
Pentru a putea ulterior analiza ºi rezolva eventualele probleme punctiforme ale anumitor utilizatori, precum ºi pentru a elimina posibilitatea de „falsificare” a rezultatelor chestionarului („vot dublu”), utilizatorii au fost obligaþi sã se autentifice în consola principalã a programului EMCB; s-au salvat astfel în fiºierul de date identificatori numerici care sã permitã, la nevoie, identificarea respondentului prin interogarea încruciºatã cu baza de date cu utilizatorii programului EMCB; în etapa de procesare statisticã nu s-a acordat acces la identitatea (numele) utilizatorului respondent, ci numai la identificatorul numeric alocat în mod unic fiecãrui utilizator EMCB.
Protocolul chestionarului prevedea cã, dacã ar fi existat înregistrãri duble, identice ale aceluiaºi utilizator, acestea sã fie luate în considerare doar ca un singur rãspuns / respondent; dacã acelaºi utilizator ar fi furnizat seturi diferite de rãspunsuri, s-ar fi luat în considerare numai ultima variantã (cronologic), salvându-se la completarea chestionarului alãturi de rãspunsurile furnizate ºi identificatorul numeric corespunzãtor respondentului, dar ºi data ºi ora completãrii chestionarului.
Am considerat util sã acceptãm rãspunsuri ºi de la utilizatorii care nu au participat activ la etapã prin completarea de chestionare creditate EMC, dorindu-se pe de o parte sã se identifice eventualele cauze care au împiedicat participarea acestora la program (excepþie fãcând acei utilizatori înregistraþi în sistem dupã terminarea etapei a III-a), dar ºi sã se testeze percepþia acestora asupra programului, pornind de la premisa cã au existat cazuri în care participanþii nu au înþeles modul de funcþionare a sistemului, sau nu au dispus de facilitãþile tehnice necesare pentru participarea / continuarea participãrii la program (lipsa conexiunii Internet survenitã dupã înscriere, lipsa unui computer personal, etc).
Pe parcursul celor trei sãptãmâni în care chestionarul a putut fi accesat de utilizatori am primit rãspunsuri de la un total de 218 utilizatori EMCB (19,21% din cei 1135 utilizatori înregistraþi la data redactãrii prezentului articol) – fig. 1.
Tabelul 1 rezumã rezultatele procesãrii rãspunsurilor primite de la utilizatori: programul este apreciat favorabil (de multe ori, chiar folosind superlative).
Tabelul 1: Structura chestionarului aplicat ºi rãspunsurile furnizate de utilizatori. Sunt evidenþiate cu caractere aldine pãrerile majoritãþii utilizatorilor.
|
ÎNTREBARE |
VARIANTE DE RÃSPUNS |
PUNCT DE INTERES |
|
1. Articolele publicate în program au fost: |
· foarte slabe: 0% (n=0) · slabe: 1,83% · bune: 82,11% · excelente: 16,06% |
S-a investigat satisfacþia utilizatorilor în raport cu materialele selectate pentru procesul EMC: au fost acestea în primul rând utile (aplicabile în practicã), au fost acestea suficient de explicite? |
|
2. Exemplele ºi ilustraþiile folosite în cadrul articolelor publicate au fost: |
· foarte slabe: 0,92% · slabe: 8,72% · bune: 70,18% · excelente: 20,18% |
|
|
3. Pentru activitatea dvs. medicalã, articolele propuse au fost: |
· utile: 92,2% · inutile: 7,8% |
|
|
4. Calitatea chestionarelor propuse a fost: |
· foarte slabã: 0% (n=0) · slabã: 5,5% · bunã: 79,82% · excelentã: 14,68% |
S-a investigat dacã modul de apreciere a volumului de informaþie asimilatã în procesul EMC (chestionarul) a corespuns calitativ cerinþelor utilizatorilor. |
|
5. Chestionarele propuse vi s-au pãrut dificile? |
· da: 33,49% · nu: 66,51% |
|
|
6. Chestionarele date au acoperit informaþia din articolele furnizate: |
· foarte slab: 0,46% · slab: 5,96% · bine: 74,77% · excelent: 18,81% |
|
|
7. Efortul depus de echipa EMCB pentru susþinerea programului a fost: |
· inexistent: 0 (n=0) · insuficient: 1,83% · satisfãcãtor: 30,28% · excelent: 67,89% |
S-a investigat percepþia utilizatorilor asupra modalitãþii de realizare tehnicã a programului: au fost identificate cele mai bune soluþii de prezentare a programului?; a fost utilizarea soluþiei propuse suficient de facilã?; în cazul în care au existat probleme /neînþelegeri, s-a facilitat suficient soluþionarea acestora? |
|
8. Organizarea acestei etape a fost: |
· foarte slabã: 0,92% · slabã: 1,38% · bunã: 56,88% · excelentã: 40,83% |
|
|
9. Rãspunsurile ºi soluþiile furnizate de echipa EMCB la problemele tehnice ridicate de cursanþi au fost: |
· inexistente: 2,29% · insuficiente: 5,96% · satisfãcãtoare: 48,17% · excelente: 43,58% |
|
|
10. Disponibilitatea echipei tehnice EMCB de a oferi cursanþilor ajutor a fost: |
· inexistentã: 2,29% · insuficientã: 5,05% · satisfãcãtoare: 42,20% · excelentã: 50,46 |
|
|
11. Comparativ cu alte cursuri EMC online pe care le-aþi urmat, punctajul obþinut în cadrul EMCB este: |
· foarte slab: 4,13% · slab: 13,76% · bun: 58,72% · excelent: 23,39% |
S-a dorit o evaluare a programului EMCB în raport cu competitorii online. |
|
12. Comparativ cu alte cursuri EMC online pe care le-aþi urmat, provocarea intelectuala oferita de curs a fost: |
· foarte slabã: 0,46% · slabã: 4,13% · satisfãcãtoare: 50% · excelentã: 45,41% |
|
|
13. Din programul EMCB aþi asimilat predominant: |
· cunoºtinþe practice (terminologie, clasificãri, tratamente, etc): 55,05% · principii fundamentale, generalizãri, teorii: 44,95% |
S-a dorit evaluarea globalã a informaþiilor furnizate ªI asimilate de utilizatori |
|
14. În medie, cate ore pe luna aþi alocat pentru acest program? |
· · 6-10 ore / lunã: 48,62% · >10 ore / lunã: 11,47% |
Având în vedere decizia CMR referitoare la programul naþional EMC care asimileazã creditul (punctui) EMC cu ora de studiu, s-a testat în ce mãsurã evaluarea utilizatorilor a corespuns cu cea a organizatorilor EMCB. |
|
15. Din totalul orelor menþionate, câte au fost utile pentru activitatea dvs? |
· · 6-10 ore / lunã: 38,53% · >10 ore / lunã: 6,88% |
|
|
16. Din totalul maxim posibil de 48 credite EMC, ce punctaj total v-aþi fi aºteptat sã obþineþi la aceastã etapã? |
· 0-9 credite EMC: 10,09% · 10-19 credite EMC: 15,60% · 20-29 credite EMC: 16,06% · 30-39 credite EMC: 18,35% · >40 credite EMC: 39,91% |
Corelate, întrebãrile au testat capacitatea de auto-evaluare a utilizatorului, pentru a putea extrapola asupra obiectivitãþii procesului de evaluare a programului. |
|
17. Ce punctaj total aþi obþinut la aceastã etapã? |
· 0 credite EMC (nu am participat): 22,48% · 1-9 credite EMC: 9,63% · 10-19 credite EMC: 9,63% · 20-29 credite EMC: 10,09% · 30-39 credite EMC: 14,22% · >40 credite EMC: 33,94% |
|
|
18. Caracterizaþi participarea dvs. la ultima etapã EMCB: |
· a fost o experienþã plãcutã - voi participa ºi la etapele urmãtoare EMCB: 94,95% · a fost interesant dar prefer alte programe online: 4,59% · a fost o experienþã dezagreabilã – nu voi mai participa la alte etape EMCB 0,46% · a fost o experienþã dezagreabila – nu voi mai participa la programe EMC online 0% (n=0) |
S-a dorit evaluarea gradului de conºtientizare de cãtre utilizator a permanenþei programului în peisajul EMC, precum ºi aprecierea globalã a programului de cãtre medici. |
|
19. Veþi recomanda acest program EMC ºi colegilor dvs. |
· da: 99,08% · nu: 0,92% |
|
|
20. Alegeþi o singurã specialitate pe care aþi dori-o inclusã în sistemul de creditare EMC în cadrul programului EMCB: |
Rãspuns liber ºi obligatoriu
|
S-a avut în vedere posibilitatea de extindere / îmbunãtãþire a programului în direcþia consideratã necesarã de majoritatea utilizatorilor prin diversificarea programului în direcþia ceruta de aceºtia. |
|
21. Ce sugestii aveþi referitoare la programul EMCB? |
Rãspuns liber, facultativ. Au ales sã rãspundã un total de 162 din cei 218 respondenþi la chestionar (74,3%); dintre aceºtia, 54 (33,33%) ºi-au manifestat suportul ºi aprecierea faþã de program în forma în care acesta se deruleazã în prezent; în ordinea descrescãtoare a procentelor de utilizatori, s-au exprimat intenþii de extindere a programului (~20%), de mãrire a cuantumului de credite acordate pentru participarea la program (~20%). Restul utilizatorilor au fãcut sugestii cu caracter personal, în afara posibilitãþilor de intervenþie ale CMMB (dificultãþi de acces internet, dificultãþi legate de utilizarea computerului, etc.) |
Astfel, articolele selectate în cadrul componentei creditate EMC s-au dovedit a fi „utile”, „bine” redactate ºi „bine” exemplificate / ilustrate pentru majoritatea utilizatorilor.
Chestionarele propuse au fost „bune”, cu un grad de dificultate acceptabil (doar o treime din utilizatori considerând cã au fost dificile), ºi au acoperit „bine” conþinutul informaþional furnizat în cadrul articolelor aferente acestora. Câþiva utilizatori au considerat necesar sã atragã atenþia, în cadrul rubricii de rãspuns la ultima întrebare, asupra unor întrebãri care au fost axate, conform pãrerii lor, pe detalii statistice ºi prea puþin pe aspecte considerate de domniile lor mai importante în cadrul articolului respectiv.
Echipa de suport tehnic a depus eforturi „excelente” pentru sprijinirea programului, reuºind o organizare „bunã” a programului, soluþiile furnizate utilizatorilor fiind în relativ egalã mãsurã „satisfãcãtoare” ºi „excelente”. Disponibilitatea staff-ului tehnic a fost apreciatã la superlativ de marea majoritate a utilizatorilor.
Principalele nemulþumiri sunt legate de logistica distribuirii diplomelor, unii utilizatori pãrând sã înregistreze dificultãþi legate de primirea diplomelor. Asigur însã ºi pe aceastã cale pe toþi utilizatorii cã toate diplomele pentru creditele afiºate în cadrul rubricii „Rezultate Chestionare” sunt la data redactãrii articolelor la sediile colegiilor judeþene, respectiv al Colegiului Medicilor din Municipiul Bucureºti.
În raport cu competitorii apãruþi în domeniul educaþie medicale continue la distanþã, programul EMCB oferã un punctaj „bun” ºi o provocare intelectualã etichetatã drept „satisfãcãtoare” spre „excelentã” (diferenþã între aceste douã calificative de circa 5 procente).
Conþinutul informaþional oferit de programul EMCB reuºeºte sã asigure un raport echilibrat între noþiuni ºi probleme practice (~55% din respondenþi) ºi teoretice (~45%).
Punctajul EMC acordat respectã timpul efectiv de lucru alocat de medici (între 6-10 ore lunar, pentru toate specialitãþile), mare parte din timpul de lucru fiind apreciat pozitiv („util”) de cãtre medicii participanþi la program.
Dacã ~40% din respondenþi au aspirat la punctajul maximal, ~34% au ºi reuºit obþinerea acestuia (conform statisticilor la terminarea programului, 13,54% din utilizatori au primit punctajul maximal, iar pe plaja de punctaje EMC mai mari de 40 credite s-au înscris 36,2% din utilizatorii care au primit certificate de participare la EMCB).
Pãrerea de ansamblu a medicilor participanþi: „a fost o experienþã plãcutã”, ºi nu numai cã vor participa ºi la etapele urmãtoare ale programului (94,95%), ci vor ºi recomanda acest program prietenilor ºi colegilor de breaslã (99,08%).
Principalele specialitãþi în topurile preferinþelor utilizatorilor se regãsesc în oferta de educaþie medicalã continuã pentru anul 2007: medicinã internã (incluzând aici ºi cardiologia), gastroenterologie, chirurgie, pediatrie.
Importanþa informaþiilor obþinute de la utilizatori este evidentã – dorindu-se pe viitor includerea specialitãþilor considerate importante în primul rând de utilizatorii finali ai programului de educaþie medicalã continuã.
Pe viitor, se doreºte propunerea cu regularitate a unor chestionare de satisfacþie la terminarea fiecãrei etape, deoarece cea mai convenabilã modalitate de feedback de la utilizatorii de sisteme EMC online este postarea de sondaje ºi chestionare online, care permit colectarea de date în timp scurt, de la un numãr mare de utilizatori, pe bazã de voluntariat, ºi într-un format electronic uºor de procesat ulterior din punct de vedere statistic.
Calitatea în sistemele de educaþie medicalã trebuie sã þinã cont atât de pãrerea comunitãþii ºtiinþifice (reprezentate de comitetele ºtiinþifice ºi consiliile editoriale implicate în proiect), cât ºi de nevoile utilizatorilor, oglindite în cazul nostru de statisticile descriptive pe baza rezultatelor generate prin aplicarea acestor chestionare.
EMCB
https://arhiva.emcb.ro/article.php?story=20070302122744535
