26.02.2013 Views

pełna wersja do pobrania

pełna wersja do pobrania

pełna wersja do pobrania

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

J Stoma 2011, 64, 7: 457-475<br />

© 2011 Polish Dental Society<br />

http://www.czas.stomat.net<br />

Introduction<br />

Assessment methods of the effects<br />

of dental students’ education<br />

Metody oceny efektów kształcenia studentów stomatologii<br />

Urszula Kaczmarek<br />

Chair and Department of Conservative and Pediatric Dentistry, Medical University in Wrocław<br />

Head: Prof. U. Kaczmarek<br />

Summary<br />

Introduction: When assessing outcomes of the<br />

educational process various methods are used<br />

to verify three <strong>do</strong>mains: cognitive, affective and<br />

psychomotor. The goal of undergraduate education<br />

in dentistry is to produce a competent graduate<br />

being able to undertake independent, unsupervised<br />

dental practice. Competency-based education and<br />

its evaluation are recommended.<br />

Aim of the study: To discuss assessment methods of<br />

the effects of dental students’ education.<br />

Conclusions: At present the following methods are<br />

considered best for the assessment of readiness to<br />

undertake professional responsibility: Objective<br />

Structured Clinical Examination (OSCE), Triple<br />

Jump Exercise (TJE), Critically Appraised Topic<br />

Summary (CATS) together with in-school internships<br />

in the context of triangular model of competency<br />

assessment. It is important to choose proper<br />

assessment methods that will answer the essential<br />

question whether the final goal of dental education<br />

– the competent general dental practitioner – has<br />

been obtained.<br />

KEYWORDS:<br />

dental students, education, methods of evaluation,<br />

outcomes<br />

Teaching and checking its outcomes are<br />

interconnected and mutually related factors<br />

in the process of education. The <strong>do</strong>cument<br />

“The program autonomy of the university.<br />

Streszczenie<br />

Wprowadzenie: w celu sprawdzania efektów edukacji<br />

stosuje się metody oceniajce trzy <strong>do</strong>meny - poznawczą,<br />

afektywną i psychomotoryczną. Zadaniem<br />

nauczania przeddyplomowego w stomatologii jest<br />

wykształcenie kompetentnego absolwenta z<strong>do</strong>lnego<br />

<strong>do</strong> samodzielnej, nienadzorowanej praktyki stomatologicznej.<br />

Zaleca się kształcenie oparte na kompetencji<br />

oraz jej ewaluacji.<br />

Cel pracy: omówienie metod oceny efektów kształcenia<br />

studentów stomatologii.<br />

Podsumowanie: obecnie za najlepsze metody oceniające<br />

gotowość <strong>do</strong> odpowiedzialności zawo<strong>do</strong>wej<br />

w kontekście triangularnego modelu oceny kompetencji<br />

uważane są: obiektywny strukturalny kliniczny<br />

egzamin (OSCE), ćwiczenie potrójnego skoku<br />

(TJE), krytyczna sumacyjna ocena zadania (CATS)<br />

i praca w śro<strong>do</strong>wisku realnej praktyki stomatologicznej<br />

(in-school internship). Istotny jest wybór<br />

właściwych metod ewaluacyjnych, które pozwolą<br />

odpowiedzieć na pytanie czy uzyskano ostateczny<br />

cel edukacji – kompetentnego stomatologa.<br />

HASŁA INDEKSOWE:<br />

studenci stomatologii, edukacja, metody oceny,<br />

efekty<br />

Wprowadzenie<br />

Nauczanie i sprawdzanie jego rezultatów są<br />

nierozerwalnie związanymi i wzajemnie powiązanymi<br />

czynnikami w procesie edukacji. W<br />

opracowaniu „Autonomia programowa uczel-<br />

457


U. Kaczmarek J Stoma<br />

The frame of the qualification for higher<br />

education” underlines the necessity to<br />

assess the effects of students’ education. 1<br />

The assessment should answer the question<br />

whether and to what extent the student has<br />

reached the intended goals of education,<br />

and, in case of dentistry, which is a surgical<br />

specialty, it should reveal preparation<br />

and readiness of the student to undertake<br />

independent dental practice.<br />

The forms of assessment of the educational<br />

outcomes are differentiated with respect to<br />

the educational effect being checked. The<br />

majority of them are tools verifying the<br />

knowledge of program contents. Two types<br />

of assessment are distinguished as tools for<br />

student evaluation – formative assessment<br />

and summative assessment. The formative<br />

assessment serving directly the educational<br />

process is also a tool letting teachers choose<br />

specific assessment tools for a given subject/<br />

field. It is based on good student-teacher<br />

communication. The teacher stimulates the<br />

student’s engagement and gives him/her the<br />

feeling of having influence on the educational<br />

process through the opportunity of expressing<br />

his/her needs not only in relation to the program<br />

contents, but also referring to the teaching<br />

methods. It should help student and teacher<br />

assess the student’s staged achievements and<br />

identify any knowledge gaps and lacking<br />

skills, as well as encourage further progress<br />

in education.<br />

The summative assessment is usually<br />

performed at the end of a given stage of<br />

education (subject/course/module) and<br />

estimates only what educational effects the<br />

student has reached and to what degree. It is<br />

a staged control of teaching outcomes before<br />

proceeding to higher level of education. 1-5<br />

The evaluations have to be in concord with<br />

previously defined goals of education. The<br />

458<br />

ni. Ramy kwalifikacji dla szkolnictwa wyższego”<br />

podkreśla się konieczność oceny efektów<br />

kształcenia studenta. 1 Ocena ta powinna<br />

odpowiedzieć na pytanie czy i w jakiej mierze<br />

student osiągnął zamierzone cele kształcenia,<br />

a w przypadku stomatologii będącej specjalnością<br />

zabiegową powinna również ujawnić<br />

przygotowanie i gotowość studenta <strong>do</strong> podjęcia<br />

samodzielnej praktyki dentystycznej.<br />

Formy oceny rezultatów edukacji zróżnicowane<br />

są w zależności od tego, jaki efekt kształcenia<br />

jest sprawdzany. Większość z nich stanowią<br />

narzędzia weryfikujące zaznajomienie<br />

się z treściami programowymi. Wyróżnia się<br />

dwa rodzaje oceny jako narzędzia ewaluacji<br />

studenta – ocenę formującą (formative assessment)<br />

i ocenę podsumowującą (summative<br />

assessment). Ocena formująca służąca bezpośrednio<br />

procesowi edukacji jest także narzędziem<br />

pozwalającym nauczycielowi wybierać<br />

specyficzne dla danego przedmiotu/dziedziny<br />

narzędzia oceny. Oparta jest na <strong>do</strong>brej komunikacji<br />

studenta z nauczycielem. Nauczyciel stymuluje<br />

zaangażowanie studenta i daje mu poczucie<br />

wpływu na proces kształcenia poprzez<br />

sposobność wyrażenia jego potrzeb nie tylko<br />

w zakresie treści programowych, ale i metod<br />

kształcenia. Powinna pomagać w oszacowaniu<br />

etapowych osiągnięć studenta i identyfikacji<br />

braków w zakresie wiedzy i umiejętności oraz<br />

zachęcać <strong>do</strong> dalszego postępu w kształceniu.<br />

Ocena podsumowująca zwykle odbywa się na<br />

zakończenie danego etapu kształcenia (przedmiotu/kursu/modułu)<br />

i szacuje jedynie, jakie<br />

efekty kształcenia student osiągnął i w jakim<br />

stopniu. Jest etapową kontrolą wyników nauczania<br />

przed dalszym, wyższym poziomem<br />

kształcenia.<br />

1- 5<br />

Oceny muszą być zgodne ze zdefiniowanym<br />

uprzednio celami nauczania. Cele nauczania<br />

powinny zawierać zasadnicze treści nauczania<br />

i kryteria, które powinien student spełnić.


2011, 64, 7 Assessment of education<br />

goals of education should contain the principal<br />

contents of teaching and criteria which a student<br />

must fulfill. A smaller number of essential,<br />

important learning outcomes are preferred to a<br />

large number of superficial ones. The learning<br />

outcomes are not a “wish list”; they have to be<br />

described in a simple and clear way and have<br />

to be assessable.<br />

6, 7<br />

Bloom’s taxonomy, which is the<br />

classification of learning objectives within<br />

the education process, is very useful in the<br />

planning of teaching. It concerns categories<br />

of different objectives that educators set for<br />

students (learning objectives). This taxonomy<br />

was first presented in 1956 and is considered<br />

as a fundamental work within the education<br />

field.<br />

Bloom’s taxonomy divides educational goals<br />

into three “<strong>do</strong>mains”: cognitive, affective, and<br />

psychomotor. Learning at higher levels within<br />

the <strong>do</strong>mains depends on prerequisite knowledge<br />

and skills attained at lower levels, therefore<br />

it is hierarchic. 8 The main goal in Bloom’s<br />

taxonomy is to motivate teachers to focus on<br />

all three <strong>do</strong>mains, creating a more holistic<br />

(global) form of education. In the cognitive<br />

<strong>do</strong>main, the skills focus around knowledge,<br />

comprehension and critical thinking Six levels<br />

are distinguished from the lowest to the highest<br />

order processes (Fig. 1):<br />

1) knowledge (specific facts, terminology,<br />

notions, trends and sequences, classifications<br />

and categories, criteria, metho<strong>do</strong>logy,<br />

principles and generalizations, theories and<br />

structures),<br />

2) comprehension (translation, interpretation,<br />

extrapolation),<br />

3) application (solving the problems in new<br />

situations by applying acquired knowledge),<br />

4) analysis (analysis of elements,<br />

relationships, and principles),<br />

5) synthesis (production of a unique<br />

Preferuje się mniejszą liczbę istotnych celów<br />

nauczania niż większą liczbę powierzchownych<br />

celów. Cele nauczania nie są „listą życzeń”.<br />

Muszą być opisane w sposób prosty i<br />

jasny i powinny być możliwe <strong>do</strong> oceny.<br />

6, 7<br />

W planowaniu nauczania przydatna jest taksonomia<br />

Blooma stanowiąca klasyfikację celów<br />

nauczania w edukacji. Wyróżnia ona różne<br />

kategorie celów, jakie nauczyciele stawiają<br />

uczniom (cele nauczania). Taksonomia ta po<br />

raz pierwszy zaprezentowana została w 1956<br />

roku i jest uważana za podstawowe dzieło z<br />

zakresu szkolnictwa.<br />

Taksonomia Blooma dzieli cele edukacyjne<br />

na trzy sfery - <strong>do</strong>meny: poznawczą, afektywną<br />

i psychomotoryczną. Nauczanie na wyższych<br />

poziomach w obrębie <strong>do</strong>men zależne<br />

jest od osiągnięcia wiedzy i umiejętności na<br />

niższych poziomach, a zatem jest hierarchiczne.<br />

8 Celem taksonomii Blooma jest motywowanie<br />

nauczycieli <strong>do</strong> koncentrowania się na<br />

wszystkich trzech <strong>do</strong>menach, tworząc holistyczną<br />

(całościową) formę kształcenia. W <strong>do</strong>menie<br />

poznawczej – kognitywnej umiejętności<br />

koncentrują się wokół wiedzy, zrozumienia i<br />

krytycznego myślenia. Wyodrębnia się sześć<br />

poziomów w kolejności od najniższych <strong>do</strong> najwyższych<br />

procesów (Fig. 1):<br />

1) wiedza (specyficzne fakty, terminologia,<br />

pojęcia, trendy i sekwencje, klasyfikacje i kategorie,<br />

kryteria, meto<strong>do</strong>logia, zasady i uogólnienia,<br />

teorie i struktury),<br />

2) zrozumienie (tłumaczenie, interpretacja,<br />

ekstrapolacja),<br />

3) zastosowanie (rozwiązywanie problemów<br />

w nowych sytuacjach poprzez zastosowanie<br />

nabytej wiedzy),<br />

4) analiza (analiza elementów, zależności i<br />

zasad),<br />

5) synteza (wytwarzanie unikalnej informacji,<br />

planowanie lub proponowanie nowych rozwiązań,<br />

wywodzenie abstrakcyjnych relacji),<br />

459


U. Kaczmarek J Stoma<br />

communication, planning, or proposing new<br />

operations, derivation of abstract relations),<br />

6) evaluation (judgment in terms of internal<br />

evidence and external criteria).<br />

In the affective <strong>do</strong>main, the objectives of<br />

which lead to the growth of awareness of<br />

attitudes, emotion and feelings, five levels are<br />

distinguished moving through the lowest to the<br />

highest order processes:<br />

1) perception (passive attention),<br />

2) responding – reaction (active participation<br />

in the process of learning),<br />

3) valuing (defining the value of<br />

information),<br />

4) organizing (putting together different<br />

information in own schema, comparing),<br />

5) characterizing (a certain pre<strong>do</strong>minant<br />

feature influences the student’s behaviour and<br />

is characteristic).<br />

Skills in the psychomotor <strong>do</strong>main describe<br />

the manual ability to manipulate a tool or<br />

instrument, and relate to changes in the<br />

development of behaviour and skills. Seven<br />

levels are distinguished in this <strong>do</strong>main:<br />

1) perception (the ability to use sensory cues<br />

to guide motor activity),<br />

2) attitude (readiness to act),<br />

3) guided response (learning of complex<br />

skill by imitation and trial and error),<br />

4) mechanism (skilled reactions become the<br />

habit),<br />

5) complex overt response (performing<br />

manual action without hesitation – automatic<br />

performance),<br />

6) adaptation (modification of movement<br />

patterns to fit special requirements),<br />

7) origination (creating new movement<br />

patterns to fit a particular situation or specific<br />

problem). 8<br />

Bloom’s taxonomy provides a ready list of<br />

suitable words to write the goals of teaching.<br />

The teaching outcomes are expressed as what<br />

460<br />

6) ewaluacja – ocena (wyrażanie sądów na<br />

dany temat odnośnie wewnętrznych <strong>do</strong>wodów<br />

i zewnętrznych kryteriów).<br />

W <strong>do</strong>menie emocjonalnej - afektywnej, której<br />

cele prowadzą <strong>do</strong> wzrostu świa<strong>do</strong>mości<br />

postaw, emocji i odczuć, wyróżnia się kolejno<br />

pięć poziomów od najniższych <strong>do</strong> najwyższych<br />

procesów:<br />

1) postrzeganie (bierna uwaga),<br />

2) odpowiadanie – reakcja (aktywne uczestnictwo<br />

w procesie uczenia),<br />

3) wartościowanie (określanie wartości informacji),<br />

4) organizowanie (zestawianie informacji<br />

we własnym schemacie, porównywanie),<br />

5) charakteryzowanie (pewna <strong>do</strong>minująca<br />

cecha wpływa na zachowanie ucznia i jest charakterystyczna).<br />

Umiejętności w sferze psychomotorycznej<br />

opisują z<strong>do</strong>lności manualne (manipulacyjne)<br />

<strong>do</strong> posługiwania się narzędziem lub instrumentem<br />

i <strong>do</strong>tyczą zmian w rozwoju zachowań<br />

i umiejętności. Wyróżnia się 7 poziomów w<br />

tej <strong>do</strong>menie:<br />

1) percepcja - postrzeganie (wykorzystanie<br />

bodźców sensorycznych <strong>do</strong> prowadzenia aktywności<br />

ruchowej,<br />

2) postawa (gotowość <strong>do</strong> działania),<br />

3) kierowane reagowanie (uczenie się złożonych<br />

umiejętności przez naśla<strong>do</strong>wnictwo,<br />

próby i błędy),<br />

4) mechanizm (wyuczone reakcje stają się<br />

przyzwyczajeniem),<br />

5) jawne reagowanie kompleksowe (wykonywanie<br />

czynności manualnych bez wahania,<br />

automatycznie),<br />

6) adaptacja – przystosowanie (modyfikacja<br />

wzorców ruchowych z <strong>do</strong>stosowaniem <strong>do</strong> specjalnych<br />

wymagań),<br />

7) pochodzenie (tworzenie nowych wzorców<br />

ruchowych <strong>do</strong>pasowanych <strong>do</strong> danej sytuacji<br />

problemowej). 8


2011, 64, 7 Assessment of education<br />

Fig. 1. Categories in Bloom’s cognitive <strong>do</strong>main according<br />

to Anderson and Krathwohl. 9<br />

Kategorie w poznawczej <strong>do</strong>menie Blooma wg Andersona<br />

i Krathwohla. 9<br />

the student should know, understand and/or<br />

demonstrate after completion of the teaching<br />

module, and they should include requirements<br />

in three <strong>do</strong>mains – cognitive, affective and<br />

psychomotor.<br />

6, 7<br />

Basing on Bloom’s taxonomy and its<br />

modifications one can distinguish <strong>do</strong>mains –<br />

broad and essential categories of the activities<br />

of a general dental practitioner conditioning<br />

his/her competences to undertake independent<br />

dental practice. The American Dental Education<br />

Association (ADEA) in 2008 distinguished six<br />

main <strong>do</strong>mains of competence:<br />

1) critical thinking,<br />

2) professionalism,<br />

3) communication and interpersonal skills,<br />

4) health promotion,<br />

5) practical management and informatics,<br />

6) patient care, including examination,<br />

diagnosis and treatment planning, and<br />

assessment and maintenance of oral health<br />

(Fig. 2). 10<br />

Fig. 2. Competecy <strong>do</strong>mains for the general dental practitioner<br />

begining professional practice according to<br />

ADEA 10 with own modification.<br />

Domeny kompetencji stomatologa ogólnego rozpoczynającego<br />

praktykę wg ADEA 10 w modyfikacji własnej.<br />

Taksonomia Blooma zapewnia gotową listę<br />

słów odpowiednich <strong>do</strong> napisania celów nauczania.<br />

Wyniki nauczania są wyrażone jako<br />

to, co student powinien wiedzieć, rozumieć i/<br />

lub zademonstrować po ukończeniu modułu<br />

nauczania i powinny zawierać wymagania w<br />

trzech <strong>do</strong>menach - poznawczej, afektywnej i<br />

psychomotorycznej. 6,7 Bazując na taksonomii<br />

Blooma i jej modyfikacjach można wyodrębnić<br />

<strong>do</strong>meny – szerokie i istotne kategorie aktywności<br />

stomatologa warunkujące jego kompetencje<br />

<strong>do</strong> podjęcia samodzielnej praktyki stomatologicznej.<br />

Amerykańskie Towarzystwo<br />

Edukacji Stomatologicznej (American Dental<br />

Education Association – ADEA) w 2008 roku<br />

wyróżniło sześć głównych <strong>do</strong>men kompetencji,<br />

którymi są:<br />

1) krytyczne myślenie,<br />

2) profesjonalizm,<br />

3) komunikacja i umiejętności interpersonalne,<br />

4) promocja zdrowia,<br />

5) praktyczne postępowanie i informatyka,<br />

461


U. Kaczmarek J Stoma<br />

Aim of the study<br />

The paper discusses the methods used in the<br />

evaluation of dental students basing on review<br />

of literature.<br />

Context-free Multiple Choice Question<br />

(MCQ) test evaluates the student’s ability<br />

to remember core principles and facts,<br />

relationships and dependences not linked to<br />

a patient care situation. One correct answer<br />

should be chosen on the given question. This<br />

test is recommended to assess the cognitive<br />

level, i.e. acquisition of biomedical knowledge<br />

and, with certain limitations, to interpret<br />

diagnostic tests. 4,11,12<br />

Case-based Multiple Choice Question<br />

(Case-based MCQ) test contains questions<br />

linked to scenarios describing patients’ oral<br />

health problems. It is applied to assess higher<br />

cognitive level, because the student has to<br />

identify key data from the patient’s scenario<br />

and interpret them to answer the question on<br />

the level of knowledge application according<br />

to Bloom’s taxonomy. The questions’<br />

construction can be designed to request<br />

identification of pathological mechanisms<br />

causing the patient’s symptoms, selection of<br />

proper diagnostic tests for the diagnosis, or<br />

choice of an optimal treatment option from a<br />

given list. This method of assessment is useful,<br />

with some limitations, in the evaluation of<br />

problem solving. 11,13,14<br />

Essay is an open-ended assessment in which<br />

the students respond in a written form using<br />

their own words with or without structural<br />

guidance. It is aimed at evaluating the student’s<br />

capacity to apply information to biomedical<br />

problems, and evaluate and resolve patients’<br />

health problems. It is recommended to evaluate<br />

the skills of problem solving and ordering or<br />

interpreting diagnostic tests, as well as, to some<br />

extent, to assess biomedical knowledge. It also<br />

462<br />

6. opieka nad pacjentem, w tym badanie,<br />

diagnoza i planowanie leczenia oraz ustalenie<br />

i utrzymanie zdrowia jamy ustnej (Fig. 2). 10<br />

Cel pracy<br />

Celem pracy było omówienie, na podstawie<br />

przeglądu piśmiennictwa, metod stosowanych<br />

w ocenie studentów stomatologii.<br />

Test z pytaniami wielokrotnego wyboru<br />

niezwiązanymi z klinicznym kontekstem<br />

(Multiple Choice Question – MCQ) ocenia<br />

z<strong>do</strong>lność studenta <strong>do</strong> zapamiętania zasadniczych<br />

zasad i faktów, związków i zależności<br />

niezwiązanych z sytuacją terapeutyczną pacjenta.<br />

Na dane pytanie należy wybrać jedną<br />

prawidłową odpowiedź. Test zalecany jest <strong>do</strong><br />

oceny poziomu kognitywnego, czyli nabycia<br />

wiedzy biomedycznej i z pewnymi ograniczeniami<br />

<strong>do</strong> interpretacji testów diagnostycznych.<br />

4,11,12<br />

Test z pytaniami wielokrotnego wyboru<br />

oparty na przypadkach klinicznych (Casebased<br />

Multiple Choice Question – MCQ) zawiera<br />

pytania związane z opisem problemów<br />

zdrowotnych pacjenta. Stosowany jest <strong>do</strong> oceny<br />

wyższego poziomu kognitywnego, gdyż<br />

student musi zidentyfikować kluczowe dane<br />

ze scenariusza pacjenta i zinterpretować je,<br />

aby odpowiedzieć na pytanie na poziomie zastosowania<br />

wiedzy wg taksonomii Blooma.<br />

Sformułowanie pytań może wymagać identyfikacji<br />

mechanizmów patologicznych powodujących<br />

objawy u pacjenta, wyboru odpowiednich<br />

testów diagnostycznych w celu postawienia<br />

rozpoznanie lub wyboru optymalnego sposobu<br />

leczenia z podanej listy opcji. Ta forma<br />

oceny z pewnymi ograniczeniami przydatna<br />

jest <strong>do</strong> ewaluacji w zakresie rozwiązywania<br />

problemów. 11,13,14<br />

Egzamin pisemny (essay) jest formą oceny<br />

otwartej, w której studenci odpowiadają


2011, 64, 7 Assessment of education<br />

enables explaining decisions or comparing and<br />

contrasting options. 4,11,15<br />

Oral examination is applied to obtain<br />

similar objectives as the essay, and it requires<br />

from the student verbal response to teacher’s<br />

questions. It assesses the same <strong>do</strong>main of skills<br />

as the essay, however, additionally it evaluates,<br />

to some degree, professional behavior. 11,15<br />

Daily evaluation in clinic is based on the<br />

evaluation of the student’s performance with<br />

each patient and during each procedure by<br />

the supervising teacher and gives “a daily<br />

grade”. 11,15<br />

Single direct observation is based on<br />

observation and evaluation of the students’<br />

interaction when admitting a single patient.<br />

This method is recommended for the evaluation<br />

of interviewing and communication skills,<br />

examination skill, performance of procedures<br />

and concern for patient’s well-being, and it is<br />

useful in the assessment of problem solving,<br />

professional behaviour, personal qualifications<br />

and ordering or interpreting diagnostic<br />

tests. 11<br />

Longitudinal assessment is a summative<br />

evaluation by the teacher of many aspects of<br />

performance and several competence <strong>do</strong>mains of<br />

the student over a longer period of time (several<br />

months). Sometimes this method is called<br />

“global” or “comprehensive” evaluation and is<br />

focused on the student’s overall performance.<br />

It reflects student’s various performances, the<br />

ability to integrate knowledge and practical<br />

skills from different disciplines, which<br />

constitutes professionalism and may be applied<br />

to the evaluation of majority of <strong>do</strong>mains. The<br />

longitudinal assessment based on student’s<br />

interaction and treatment of many patients<br />

is a better source of data in the evaluation<br />

of professional attitude, personal attributes<br />

and performance than a single appointment,<br />

which can take place on the student’s “better<br />

pisemnie własnymi słowami z lub bez wskazówek<br />

strukturalnych. Ma na celu ewaluację<br />

z<strong>do</strong>lności studenta <strong>do</strong> zastosowania informacji<br />

w problemach biomedycznych oraz oceny<br />

i rozwiązania problemów zdrowotnych pacjenta.<br />

Jest zalecany <strong>do</strong> oceny umiejętności<br />

rozwiązywania problemów oraz zlecania lub<br />

interpretacji testów diagnostycznych, a także<br />

ocenia, w pewnej mierze wiedzę biomedyczną.<br />

Pozwala również na wyjaśnienie decyzji lub<br />

porównanie i skontrastowanie opcji. 4,11,15<br />

Egzamin ustny (oral examination) stosowany<br />

jest <strong>do</strong> uzyskania po<strong>do</strong>bnych celów jak egzamin<br />

pisemny, wymaga od studenta odpowiedzi<br />

werbalnej na pytania nauczyciela. Ocenia<br />

te same <strong>do</strong>meny umiejętności, co egzamin pisemny<br />

z tym, że <strong>do</strong>datkowo w pewnym stopniu<br />

ewaluuje profesjonalne zachowanie. 11,15<br />

Codzienna ocena kliniczna (daily evaluation)<br />

sprowadza się <strong>do</strong> oceny postępowania<br />

studenta z każdym pacjentem i przy każdej<br />

procedurze przez nadzorującego nauczyciela,<br />

dając „ocenę dzienną”. 11,15<br />

Pojedyncza bezpośrednia obserwacja<br />

(single direct observation) polega na obserwacji<br />

i ocenie studenta podczas przyjmowania<br />

jednego pacjenta. Jest metodą zalecaną <strong>do</strong><br />

ewaluacji umiejętności zbierania wywiadu i<br />

komunikacji z pacjentem, badania, wykonywania<br />

zabiegów leczniczych i troski o <strong>do</strong>bro<br />

pacjenta, a przydatna w ocenie rozwiązywania<br />

problemów, profesjonalnego zachowania<br />

i osobistych kwalifikacji oraz zlecania i interpretacji<br />

testów diagnostycznych. 11<br />

Długoterminowa ocena (longitudinal assessment)<br />

jest sumaryczną ewaluacją przez<br />

nauczyciela wielu aspektów wykonania i kilku<br />

<strong>do</strong>men kompetencji studenta przez dłuższy<br />

okres (kilka miesięcy). Niekiedy jest nazywana<br />

oceną globalną lub wszechstronną i jest zogniskowana<br />

na ogólnym wykonaniu studenta.<br />

Odzwierciedla różnorodne wykonania studen-<br />

463


U. Kaczmarek J Stoma<br />

day” or “worse day”. Therefore, this method<br />

assesses reproducibility and consistency of the<br />

quality of performed procedures. However,<br />

the evaluation of a single clinical appointment<br />

is better in monitoring specific skills, e.g.<br />

taking patient’s history, clinical examination<br />

or carrying out of a clinical procedure. 11,15<br />

Direct observation of procedural skills<br />

(DOPS) is applied to evaluate laboratory work<br />

(preclinical activity) technical/procedural<br />

skills of the student and the outcomes of his/<br />

her work. 12<br />

Record review – also called chart-stimulated<br />

evaluation – is based on retrospective review<br />

of the student’s clinical work recorded in the<br />

dental records of patients treated by the student.<br />

It creates the opportunity for the student to<br />

explain undertaken diagnostic and treatment<br />

decisions, and stimulates the students’ selfassessment<br />

and reflection, thus it assesses<br />

understanding of the basis for treatment<br />

decisions, comprehension of key concepts<br />

and the ability to justify decisions undertaken<br />

concerning the patient’s treatment. This method<br />

is recommended to evaluate the ability to solve<br />

problems, and is useful in the validation of the<br />

concern for patient’s well-being, ordering or<br />

interpreting diagnostic tests, and functioning<br />

within the dental care system. 11<br />

Objective Structured Clinical<br />

Examination (OSCE) is based on the student’s<br />

rotation between stations (often 20-30 stations).<br />

At each station, the student performs different<br />

tasks in the limited time while being observed<br />

by the teacher, for example interpretation<br />

of radiograms, usage of diagnostic devices,<br />

interviewing and examination of the patients,<br />

performance of diagnostic tests, giving written<br />

responses. During the OSCE, the student,<br />

by answering teacher’s questions, solving a<br />

multiple-choice questions test, or writing a<br />

short essay, can demonstrate understanding of<br />

464<br />

ta, z<strong>do</strong>lności <strong>do</strong> integrowania wiedzy i umiejętności<br />

praktycznych z różnych dyscyplin, co<br />

stanowi profesjonalizm i może być stosowana<br />

<strong>do</strong> oceny większości <strong>do</strong>men. Długoczasowa<br />

ocena oparta na interakcji studenta i leczeniu<br />

wielu pacjentów jest lepszym źródłem danych<br />

w ewaluacji profesjonalnej postawy, atrybutów<br />

osobowych i wykonania niż jedna wizyta, która<br />

może mieć miejsce w „lepszym” lub „gorszym”<br />

dniu studenta. Zatem metoda ta ocenia<br />

powtarzalność i stałość jakości wykonywanych<br />

zabiegów. Jednakże ocena pojedynczej<br />

wizyty jest lepsza w monitorowaniu specyficznych<br />

umiejętności, np. zbieranie wywiadu, badaniu<br />

pacjenta, wykonaniu zabiegu. 11,15<br />

Bezpośrednia obserwacja proceduralnych<br />

umiejętności (direct observation of procedural<br />

skills – DOPS) stosowana jest <strong>do</strong> ewaluacji<br />

umiejętności studenta na ćwiczeniach przedklinicznych<br />

i wyników jego pracy. 12<br />

Przegląd zapisu (record review) zwany jest<br />

także oceną stymulowaną opartą na karcie pacjenta<br />

(chart-stimulated evaluation). Polega na<br />

retrospektywnym przeglądzie klinicznej pracy<br />

studenta ewidencjonowanej w karcie leczonych<br />

przez niego pacjentów. Stwarza sposobność<br />

<strong>do</strong> wyjaśnienia przez studenta podjętych<br />

decyzji diagnostycznych i leczniczych<br />

oraz stymuluje samoocenę i refleksję, a zatem<br />

mierzy zrozumienie podstaw decyzji leczniczych,<br />

zrozumienie kluczowych koncepcji i<br />

z<strong>do</strong>lność <strong>do</strong> uzasadniania podjętych decyzji<br />

<strong>do</strong>tyczących leczenia pacjenta. Jest metodą<br />

zalecaną <strong>do</strong> oceny z<strong>do</strong>lności rozwiązywania<br />

problemów i przydatną <strong>do</strong> walidacji troski o<br />

<strong>do</strong>bro pacjenta, zlecania i interpretacji testów<br />

diagnostycznych oraz znajomości funkcjonowania<br />

systemu opieki stomatologicznej. 11<br />

Obiektywny Strukturalny Kliniczny<br />

Egzamin (Objective Structured Clinical<br />

Examination – OSCE) polega na rotacji studenta<br />

między stacjami (20-30 stacji), na któ-


2011, 64, 7 Assessment of education<br />

basic sciences’ principles by associating the<br />

patient’s symptoms with pathophysiological<br />

mechanisms. The patients participating in the<br />

OSCE are “standardized patients” – trained<br />

patients – who provide a “standard” experience<br />

for all of the examined students. Overall<br />

examination scores are derived from the<br />

students’ understanding of pathophysiological<br />

processes, interpretation of clinical symptoms<br />

and signs, examination skills, treatment<br />

planning and interpersonal skills. This exam –<br />

in an integrated way – reflects a wide spectrum<br />

of competence. There are some variations<br />

of the OSCE in medical specialties such as<br />

Clinical Performance Exam – CPEX or CPx)<br />

or mini-CPX which is a shortened version<br />

of the Objective Structured Clinical Exam<br />

(OSCE) involving observation of the student’s<br />

interaction with a single patient. 4,5,11,15<br />

Triple Jump Exercise (TJE) has two main<br />

versions – clinical and preclinical. The clinical<br />

version consists of three phases – “jumps” –<br />

that are completed in one or two days by the<br />

student. The first “jump” involves interview<br />

and examination of the patients, activities that<br />

are observed by the teacher or videotaped for<br />

retrospective review with the student’s selfassessment.<br />

The second “jump” consists of<br />

a written description of findings from the<br />

first phase according to a four-score form –<br />

subjective data, objective data, assessment,<br />

plans (SOAP format) supported by evidence<br />

from the literature confirming the student’s<br />

assessment and therapeutic decisions, that is<br />

submitted to the teacher who has observed<br />

the first “jump”. The third “jump”, however,<br />

comprises an oral exam conducted by the same<br />

teacher, during which the student is questioned<br />

about pathological mechanisms causing<br />

disorders in the examined patient, diagnosis,<br />

treatment options and prognosis. Every jump<br />

is evaluated separately, and a cumulative<br />

rych obserwowany przez nauczyciela wykonuje<br />

różne zadania w limitowanym czasie takie,<br />

jak np.: interpretacja radiogramu, posługiwanie<br />

się aparaturą, wywiad z pacjentem, badanie<br />

pacjenta, wykonywanie testów diagnostycznych,<br />

udzielanie pisemnych odpowiedzi.<br />

Podczas tego egzaminu student może demonstrować,<br />

poprzez odpowiadanie na pytania nauczyciela<br />

lub rozwiązanie testu wielokrotnego<br />

wyboru, zrozumienie zasad nauk podstawowych<br />

przez łączenie symptomów pacjenta z<br />

mechanizmami patofizjologicznymi. Pacjenci<br />

uczestniczący w egzaminie są „standaryzowani”<br />

– przeszkoleni i <strong>do</strong>starczają „standar<strong>do</strong>wego”<br />

<strong>do</strong>świadczenia wszystkim egzaminowanym<br />

studentom. Ogólna punktacja z egzaminu<br />

pochodzi ze zrozumienia przez studenta procesów<br />

fizjopatologicznych, interpretacji oznak<br />

i objawów klinicznych, umiejętności badania<br />

pacjenta, planowania leczenia oraz umiejętności<br />

interpersonalnych. Egzamin ten w sposób<br />

zintegrowany odzwierciedla spektrum kompetencji.<br />

W specjalnościach medycznych występują<br />

odmiany OSCE takie jak kliniczny egzamin<br />

zabiegowy (Clinical Performance Exam<br />

– CPEX lub CPx) lub mini CPX, który jest<br />

skróconą wersją obiektywnego strukturalnego<br />

egzaminu klinicznego (OSCE) obejmującą<br />

obserwację interakcji studenta z pojedynczym<br />

pacjentem. 4,5,11,15<br />

Ćwiczenie potrójnego skoku (Triple Jump<br />

Exercise -TJE) występuje w dwóch odmianach<br />

– klinicznej i przedklinicznej. W wersji<br />

klinicznej składa się z 3 faz – „skoków” realizowanych<br />

w ciągu 1-2 dni przez studenta.<br />

Pierwszy obejmuje zbieranie wywiadu i badanie<br />

pacjenta, obserwowane przez nauczyciela<br />

lub filmowane w celu retrospektywnego<br />

przeglądu z samooceną studenta. Drugi polega<br />

na opisaniu działań wykonanych w fazie<br />

pierwszej wg czterech punktów – subiektywne<br />

dane, obiektywne dane, ocena, planowanie<br />

465


U. Kaczmarek J Stoma<br />

score in all three jumps is calculated. This<br />

method defines the ability to analyze and apply<br />

biomedical knowledge in dental problems.<br />

The TJE applied to preclinical dentistry<br />

concentrates on student’s skills in searching<br />

for literature on a given problem. In the first<br />

phase, the students read scenario describing<br />

a patient with an oral health problem, and<br />

then identify the key information related to<br />

the given case and describe it according to the<br />

pattern: Patient with a problem, Intervention,<br />

Comparison, Outcome (PICO format). In<br />

the second phase, the students find proper<br />

evidence in the literature, and in the third one,<br />

the students answer questions and critically<br />

evaluate the quality of evidence. 11,15<br />

Portfolio assessment is based on students’<br />

gathering proofs of their work by means of<br />

various methods, including treatment of the<br />

patients for longer periods, presentation of<br />

clinical cases, copies of evaluation, projects,<br />

posters and abstracts, and their own comments,<br />

and reflection on the education process. The<br />

reflection component enables the teacher to<br />

estimate the level of students’ self-assessment<br />

and their capability of reflection. The portfolio<br />

should be periodically reviewed to evaluate<br />

students’ progress toward specific competences,<br />

and the review of its content creates the<br />

opportunity of a dialogue between a teacher<br />

and a student directed at the outcomes of the<br />

student’s work. The portfolio without student’s<br />

self-assessment and reflection becomes “a<br />

scrapbook album”. 4,11,16<br />

Student’s self-assessment is based<br />

on critical assessment of student’s own<br />

performance of procedure and reflection on the<br />

means to improve the quality of a subsequent<br />

procedure. 11<br />

Computer-based simulation consists of the<br />

evaluation by the students’ of a simulation<br />

describing patient care scenarios, usually<br />

466<br />

(format SOAP – Subjective data, Objective<br />

data, Assessment, Plans) opartych na odnośnikach<br />

piśmiennictwa potwierdzających <strong>do</strong>konaną<br />

przez studenta ocenę i terapeutyczne<br />

decyzje, i przekazaniu nauczycielowi, który<br />

obserwował działania w fazie pierwszej. Z<br />

kolei trzeci „skok” jest egzaminem ustnym<br />

prowadzonym przez tego samego nauczyciela,<br />

podczas którego student jest pytany o mechanizmy<br />

patologiczne powodujące zaburzenia<br />

u zbadanego pacjenta, diagnozę, opcje leczenia<br />

i prognozę. Ocenia się każdą fazę oddzielnie<br />

i oblicza skumulowaną ocenę trzech<br />

„skoków”. Ta metoda oceny określa z<strong>do</strong>lność<br />

<strong>do</strong> analizy i zastosowania wiedzy biomedycznej<br />

w problemach stomatologicznych. TJE<br />

zastosowany w ocenie zajęć przedklinicznych<br />

koncentruje się na umiejętnościach studentów<br />

w wyszukaniu piśmiennictwa <strong>do</strong>tyczącego<br />

danego problemu. W pierwszej fazie<br />

studenci zapoznają się z opisem problemów<br />

zdrowotnych pacjenta, potem identyfikują<br />

kluczowe informacje <strong>do</strong>tyczące podanego<br />

przypadku i opisują je wg schematu: pacjent<br />

z problemem, interwencja, porównanie, wyniki<br />

(format PICO – Patient with problem,<br />

Intervention, Comparison, Outcome). W drugie<br />

fazie studenci znajdują stosowne <strong>do</strong>wody<br />

w piśmiennictwie, a w trzeciej – opisują<br />

stwierdzenia, odpowiadają na pytania i oceniają<br />

jakość <strong>do</strong>wodów. 11,15<br />

Ocena oparta na portfolio (portfolio) polega<br />

na zbieraniu przez studentów <strong>do</strong>wodów<br />

ich pracy za pośrednictwem różnych metod,<br />

w tym leczenia pacjentów przez dłuższy okres,<br />

prezentacji przypadków, kopii ewaluacji, projektów,<br />

posterów i abstraktów oraz własnych<br />

komentarzy i refleksji o procesie nauczania.<br />

Komponenta refleksji pozwala nauczycielowi<br />

ocenić poziom samoświa<strong>do</strong>mości studentów<br />

i ich z<strong>do</strong>lności <strong>do</strong> refleksji. Portfolio powinno<br />

być okresowo stosowane celem ewaluacji


2011, 64, 7 Assessment of education<br />

involving tasks such as clinical examination,<br />

diagnosis and treatment planning. 11<br />

Paper and presentation assessment<br />

comprises evaluation of a research report or<br />

presentation on a given topic prepared by<br />

the student in the aspect of its quality and<br />

thoroughness. 11,15<br />

Unit requirements is the assessment based<br />

on a designated number of specific dental<br />

procedures that are performed by the students<br />

in a definite period and used as an indicator of<br />

clinical competence in the traditional model<br />

of education. Of late, this method of student’s<br />

evaluation has been criticized since the student<br />

can look for patients fulfilling the conditions of<br />

the norm performance, and treats the patient as<br />

an educational tool. Over-reliance on the norms<br />

implies the situation in which the students are<br />

encouraged to place their own requirement<br />

for a specific number of procedures over the<br />

patient’s health needs. It was demonstrated that<br />

students working without any definite limits<br />

of procedures perform the same number of<br />

procedures as students operating without limits,<br />

and work under lower stress. 11,17-21 Dental<br />

schools in the U.S. started to move away from<br />

the unit requirement system in the 1990s. 11,18<br />

However, norms of dental procedures are in<br />

force at Polish universities, minimum quotas for<br />

types and numbers of specific dental procedures<br />

have been established in the majority of dental<br />

disciplines for the whole country.<br />

360-degree assessment (also called<br />

multisource assessment) is based on the evaluation<br />

of the student by many persons – members of<br />

the clinical team, and patients. The evaluators<br />

measure the same parameters according to the<br />

same scale with an additional extension of special<br />

aspects focusing on particular areas for the<br />

given discipline. This method helps to identify<br />

differences between student’s self-assessment<br />

and evaluation by various evaluators. It serves<br />

progresji studentów w kierunku uzyskania specyficznych<br />

kompetencji. Ten przegląd stanowi<br />

sposobność <strong>do</strong> dialogu nauczyciela ze studentem<br />

ukierunkowanego na wyniki jego pracy.<br />

Bez samooceny i refleksji portfolio staje się<br />

albumem z wycinkami. 4,11,16<br />

Samoocena studenta (student`s self-assessment)<br />

polega na własnej ocenie wykonanej<br />

przez studenta procedury i refleksji <strong>do</strong>tyczącej<br />

poprawy jakości kolejnego zabiegu. 11<br />

Symulacja wspomagana komputerowo<br />

(computer-based simulation) sprowadza się<br />

<strong>do</strong> oceny przez studenta symulacji przedstawiającej<br />

scenariusz leczenia pacjenta. Zwykle<br />

<strong>do</strong>tyczy takich zadań jak badanie, diagnoza i<br />

planowanie leczenia. 11<br />

Ocena <strong>do</strong>niesienia naukowego i prezentacji<br />

(paper and presentation assessment) sprowadza<br />

się <strong>do</strong> ewaluacji <strong>do</strong>niesienia lub prezentacji<br />

omawiających przydzielony studentowi<br />

temat w aspekcie jakości i gruntowności<br />

opracowania. 11,15<br />

Ocena oparta na liczbie wymaganych zabiegów<br />

wykonywanych przez studenta w określonym<br />

przedziale czasu (unit requirements)<br />

stosowana jest jako wskaźnik kompetencji klinicznej<br />

w tradycyjnym modelu edukacji. Ten<br />

sposób ewaluacji studenta jest krytykowany w<br />

ostatnich latach ze względu na to, że student<br />

może szukać pacjentów spełniających warunki<br />

wykonania normy zabiegów i traktuje się pacjenta<br />

jako narzędzie edukacyjne. Nadmierne<br />

poleganie na normach implikuje sytuację w<br />

której studenci są zachęcani <strong>do</strong> przedłożenia<br />

potrzeby liczby wykonanych zabiegów nad<br />

potrzeby lecznicze pacjenta. Wykazano, że<br />

studenci pracujący bez określonych limitów<br />

procedur wykonują tyle samo zabiegów, co<br />

studenci obarczeni limitem i pracują w mniejszym<br />

stresie. 11,17-21 W uczelniach stomatologicznych<br />

Stanów Zjednoczonych zaczęto odstępować<br />

od systemu oceny na podstawie licz-<br />

467


U. Kaczmarek J Stoma<br />

to assess professionalism and interpersonal<br />

communication skill, improvement of practical<br />

skills and it also constitutes constructive feedback<br />

for the improvement of the level of patient<br />

care. 4,5,22<br />

Continuous assessment comprises<br />

permanent evaluation of the students during<br />

their education process and the outcomes<br />

are taken into account at graduation. This<br />

evaluation can be included in the final exam, or<br />

constitute its alternative. It involves theoretical<br />

and practical activities, presentations, projects<br />

and other forms of education. 15<br />

Critically Appraised Topic Summary<br />

(CATS) is a method of assessment of<br />

the student’s ability to apply biomedical<br />

knowledge to optimal decisions making. It is<br />

similar to TJE, because it begins with clinical<br />

case description followed by identification of<br />

unknown factors which should be examined,<br />

and then the investigative problem is described<br />

in the PICO format, suitable data from the<br />

literature are searched for, analyzed and<br />

finally written as recapitulation which contains<br />

answers to questions and recommendations<br />

based on evaluation of scientific research.<br />

Therefore, this method requires the generation<br />

of scientific facts, and review of available<br />

literature with critical evaluation of evidence<br />

presented in a written recapitulation. Similarly<br />

to THE and OSCE (to certain extent), this<br />

method evaluates application of biomedical<br />

knowledge, the ability to analyze, and selflearning<br />

ability. 11,15,23-25<br />

Clinical Competency Examination is<br />

based on performance of designated tasks and<br />

procedures on a patient in clinical conditions<br />

without teacher’s help. The treatment process<br />

and its outcome (e.g. insertion of a resin<br />

composite restoration) are observed by a teacher<br />

and evaluated according to a rating scale. 11<br />

Basing on a questionnaire survey which<br />

468<br />

by wykonanych zabiegów w latach 90. XX<br />

wieku. 11,18 Natomiast w uczelniach polskich<br />

obowiązują normy zabiegów, gdzie w skali<br />

kraju ustalono w większości dyscyplin stomatologicznych<br />

minimalne liczby procedur, jakie<br />

powinien wykonać student.<br />

Ocena 360 stopni (360-degree assessment)<br />

zwana również wieloźródłową oceną (multisource<br />

assessment) polega na ocenie studenta<br />

przez wiele osób – członków zespołu klinicznego<br />

i pacjentów. Oceniający mierzą te<br />

same parametry wg tej samej skali z <strong>do</strong>datkowym<br />

rozszerzeniem specjalnych aspektów<br />

wychwytujących obszary szczególne dla danej<br />

dyscypliny. Metoda ta pomaga zidentyfikować<br />

różnice między samooceną studenta<br />

a ocenami innych osób. Służy <strong>do</strong> określenia<br />

profesjonalizmu i umiejętności komunikacji<br />

interpersonalnej, poprawy umiejętności praktycznych<br />

i także stanowi konstruktywne sprzężenie<br />

zwrotne <strong>do</strong> poprawy poziomu opieki nad<br />

pacjentem. 4,5,22<br />

W ocenie ciągłej (continuous assessment)<br />

studenci są oceniani stale podczas ich kształcenia,<br />

zaś rezultaty ocen są uwzględnianie przy<br />

zakończeniu studiów. Ocena ta może być łączona<br />

z końcowym egzaminem lub stanowić<br />

dla niego alternatywę. Obejmuje zajęcia teoretyczne<br />

i praktyczne, prezentacje, projekty i<br />

inne formy kształcenia. 15<br />

Krytyczna sumacyjna ocena zadania<br />

(Critically Appraised Topic Summary - CATS)<br />

jest metodą oceny z<strong>do</strong>lności studenta <strong>do</strong> zastosowaniu<br />

wiedzy biomedycznej w podejmowaniu<br />

optymalnych decyzji. Jest zbliżona <strong>do</strong><br />

TJE, gdyż rozpoczyna się od zapoznania się z<br />

opisem przypadku klinicznego lub faktycznej<br />

prezentacji pacjenta, po której następuje identyfikacja<br />

nieznanych czynników, które trzeba<br />

zbadać, a następnie opisuje się kwestie badawcze<br />

w formacie PICO, szuka odpowiednich<br />

danych w piśmiennictwie, analizuje je i


2011, 64, 7 Assessment of education<br />

involved 93% dental school from U.S. (43/<br />

45) and 45% (approx. 1000) course directors<br />

responsible for realization of dental courses,<br />

Albino et al. 11 estimated the frequency of use<br />

of various methods of assessment of education<br />

outcomes. They showed that Case-based<br />

Multiple-Choice Questions test was applied<br />

most often (16%), followed by Multiple Choice<br />

Question test without clinical context (12%),<br />

daily evaluation in clinic (12%) and clinical<br />

competency examination (11%). The following<br />

methods were used less often: evaluation of<br />

technical skills in practical labs (8%), student<br />

self-assessment (7%), essay, oral exam and<br />

longitudinal evaluation in clinic (4% each),<br />

and research project and report, procedural<br />

unit requirements, computer-based simulation<br />

and OSCE (3% each). Critical Appraised<br />

Topic Summary – CATS and Chart-stimulated<br />

evaluation (2% each), and Portfolio and Triple<br />

Jump Exercise – TJE were used more sel<strong>do</strong>m<br />

(1% each).<br />

Assessment of various skills requires different<br />

types of evaluation; multiple choice question<br />

tests can be used to assess knowledge, and<br />

is not suitable for the evaluation of clinical<br />

competence. 6,7 One should consider which<br />

abilities are to be assessed – knowledge,<br />

performance or competence, and choose proper<br />

evaluation tools. Miller 26 presented the frames of<br />

goals of competence assessment in the form of a<br />

pyramid. Its base is knowledge – the component<br />

of competence “to know” (knowledge of basic<br />

facts), which is followed by the next level<br />

“to know how” (application of knowledge).<br />

This level is more clinical competency than<br />

knowledge alone. The next level – “to show<br />

how” – is rather a behavioural than a cognitive<br />

function, and requires abilities to demonstrate<br />

clinical competence, i.e. it demonstrates the<br />

manual skill. 4 The final goal of clinical ability<br />

assessment is the “to <strong>do</strong>” level, i.e. performance<br />

pisze podsumowanie zawierające odpowiedzi<br />

na pytania i zalecenia oparte na badaniach naukowych.<br />

Zatem, metoda ta wymaga generacji<br />

kwestii naukowych i przeglądu <strong>do</strong>stępnego<br />

piśmiennictwa z krytyczną oceną <strong>do</strong>wodów<br />

prezentowaną w pisemnym podsumowaniu.<br />

Po<strong>do</strong>bnie jak TJE i OSCE (w pewnej mierze),<br />

metoda ta określa zastosowanie wiedzy biomedycznej,<br />

z<strong>do</strong>lność <strong>do</strong> analizy i z<strong>do</strong>lność <strong>do</strong><br />

samodzielnego uczenia się. 11,15,23-25<br />

Kliniczny Kompetencyjny Egzamin<br />

(Clinical Competency Examination) polega<br />

na wykonaniu przez studenta określonych zadań<br />

i procedur u pacjenta w warunkach klinicznych<br />

bez pomocy nauczyciela. Proces leczenia<br />

i jego wynik (np. wykonanie wypełnienia<br />

z materiału złożonego) są obserwowane przez<br />

nauczyciela i oceniane wg skali. 11<br />

Albino i wsp. 11 w oparciu o badanie kwestionariuszowe,<br />

w którym uczestniczyło 93%<br />

uczelni stomatologicznych w USA (43/45) i<br />

45% (około 1000) osób odpowiedzialnych za<br />

realizacje przedmiotów stomatologicznych,<br />

określili częstość stosowania różnych metod<br />

oceniających rezultaty kształcenia studenta.<br />

Wykazali, że najczęściej stosowano test wielokrotnego<br />

wyboru oparty na przypadkach klinicznych<br />

(16%), a następnie test wielokrotnego<br />

wyboru bez kontekstu klinicznego (12%),<br />

codzienną ocenę kliniczną (12%) i kliniczny<br />

egzamin kompetencyjny (11%). Rzadziej<br />

stosowano ocenę technicznych umiejętności<br />

na praktycznych zajęciach przedklinicznych<br />

(8%), samoocenę studenta (7%) oraz egzamin<br />

pisemny, egzamin ustny i długoterminową<br />

ocenę kliniczną (każde po 4%), a także ocenę<br />

projektu i raportu, limity zabiegów, symulację<br />

wspomaganą komputerowo i OSCE (po 3%).<br />

Najrzadziej stosowano krytyczną sumacyjną<br />

ocenę zadania – CATS (2%) i przegląd zapisu<br />

(2%) oraz portfolio (1%) i ćwiczenie potrójnego<br />

skoku –TJE (1%).<br />

469


U. Kaczmarek J Stoma<br />

of treatment procedure. It is necessary to use<br />

proper methods of evaluation in the assessment<br />

of particular components of competencies. The<br />

methods are depicted in Fig. 3.<br />

The aim of undergraduate teaching is to educate<br />

a competent graduate capable of undertaking<br />

independent, unsupervised dental practice, and<br />

therefore education based on competence is<br />

Fig. 3. Miller’s pyramid of professional competence with<br />

examples of assessment methods. 26<br />

Piramida Millera profesjonalnej kompetencji z przykładami<br />

metod oceny. 26<br />

recommended. It requires proper design of<br />

curriculum. 27-30 Competency-based education<br />

(CBL) was introduced to the universities in<br />

the U.S. during the 1950s, but only in 1995<br />

it was implemented to the standards of dental<br />

students’ education. Education standards were<br />

revised in 2008, and the effect was included<br />

in the <strong>do</strong>cument Competencies for the New<br />

General Dentist. 15,31 It is characterized by<br />

basing the outcomes of teaching on professional<br />

responsibility and tasks of a dental practitioner,<br />

the teaching curriculum is focused on what<br />

the student should learn to fulfill professional<br />

tasks, modules are sequenced hierarchically<br />

in the curriculum allowing the students to<br />

470<br />

Ocena różnych umiejętności wymaga różnych<br />

rodzajów ewaluacji. Dla oceny wiedzy<br />

można zastosować test wielokrotnego wyboru,<br />

który nie jest odpowiedni <strong>do</strong> oceny kompetencji<br />

klinicznych. 6,7 Należy się zastanowić nad<br />

tym, jakie z<strong>do</strong>lności studenta chce się oceniać<br />

– wiedzę, wykonanie czy kompetencję i wybrać<br />

właściwe narzędzie. Miller 26 opisał ramy<br />

celów oceny kompetencji w formie piramidy.<br />

Jej podstawę stanowi komponenta kompetencji<br />

wiedza – „wiedzieć” (znajomość podstawowych<br />

faktów) po której następuje kolejny<br />

poziom - „wiedzieć jak” (zastosowanie wiedzy).<br />

Poziom ten jest bardziej kliniczną kompetencją<br />

niż sama wiedza. Następny poziom<br />

„pokazać jak” jest raczej funkcją behawioralną<br />

niż kognitywną i wymaga z<strong>do</strong>lności <strong>do</strong> demonstracji<br />

klinicznej kompetencji, tj. prezentuje<br />

umiejętność manualną. 4 Końcowym celem<br />

oceny klinicznej z<strong>do</strong>lności jest wykonanie<br />

– poziom „wykonać”, czyli wykonanie procedury<br />

leczniczej. W ocenie poszczególnych<br />

kompetencji należy zastosować odpowiednie<br />

metody oceny, które zilustrowano na Fig. 3.<br />

Celem nauczania przedyplomowego jest wykształcenie<br />

kompetentnego absolwenta z<strong>do</strong>lnego<br />

<strong>do</strong> prowadzenia samodzielnej, nienadzorowanej<br />

praktyki stomatologicznej i dlatego<br />

zaleca się kształcenie oparte na kompetencji.<br />

Wymaga to odpowiedniego zaprojektowania<br />

programu nauczania. 27-30 Edukacja oparta na<br />

kompetencji (competency-based education –<br />

CBL) została wprowadzona <strong>do</strong> szkolnictwa<br />

wyższego w USA w latach 50. XX wieku, ale<br />

<strong>do</strong>piero w 1995 r. implementowano ją <strong>do</strong> standardów<br />

nauczania studentów stomatologii. W<br />

2008 r. <strong>do</strong>konano rewizji standardów co znalazło<br />

wyraz w <strong>do</strong>kumencie „Kompetencje nowego<br />

stomatologa ogólnego” (Competencies for<br />

the New General Dentist). 15,31 Charakteryzuje<br />

się wynikami nauczania opartymi na odpowiedzialności<br />

zawo<strong>do</strong>wej i zadaniach stomatolo-


2011, 64, 7 Assessment of education<br />

proceed through the curriculum at their own<br />

pace, and methods of assessment are directed<br />

at measuring unassisted students’ performance<br />

in the conditions approximated to the real<br />

vocational environment.<br />

At present, in the preamble to the American<br />

Dental Education Association (ADEA)<br />

competency is defined as “a complex of<br />

behaviour or ability essential for the general<br />

dentist to begin independent, unsupervised<br />

dental practice. Competency includes<br />

knowledge, experience, critical thinking<br />

and problem-solving skills, professionalism,<br />

ethical values, and technical and procedural<br />

skills. These components become an integrated<br />

whole during the delivery of patient care by the<br />

competent general dentist”. 11,15,31 However,<br />

recommendations of the Association for Dental<br />

Education in Europe, 2010 (ADEE) advocate<br />

education based on evidence involving critical<br />

thinking and taking into account educational<br />

needs of the student and oral health needs of<br />

the patient and community as well. 6,7<br />

The priority of competency-based education<br />

is an appraisal of students’ readiness to dental<br />

practice based on assessment of student’s overall<br />

competence or the ability to “put together”<br />

skills called component competencies which<br />

are often taught and evaluated separately in<br />

particular disciplines, and also on the evaluation<br />

of multiple data sources (based on the principle<br />

of triangulation) being more accurate than<br />

single-source measures. 11,15,32 The concept<br />

of general competence was first presented by<br />

Chambers in 2001. 33<br />

In the evaluation of general competency, the<br />

students are recommended to work in a real dental<br />

practice environment (in-school internship)<br />

for at least 2 months. During this period, the<br />

students work under daily supervision by small<br />

groups of faculty teachers, who observe and<br />

estimate them in the range of measurements of<br />

ga praktyka, programem nauczania skoncentrowanym<br />

na tym, czego student powinien się<br />

nauczyć, aby wykonywać zadania zawo<strong>do</strong>we,<br />

hierarchicznie uplasowanymi w programie<br />

modułami pozwalającymi studentom we własnym<br />

tempie realizować program oraz metodami<br />

oceny mierzącymi wykonywanie procedur<br />

leczniczych przez studentów bez udziału nauczyciela<br />

w warunkach zbliżonych <strong>do</strong> rzeczywistego<br />

śro<strong>do</strong>wiska pracy zawo<strong>do</strong>wej. Obecnie<br />

w preambule Amerykańskiego Towarzystwa<br />

Edukacji Stomatologicznej (American Dental<br />

Education Association - ADEA) kompetencja<br />

definiowana jest jako „kompleks zachowania<br />

lub z<strong>do</strong>lności istotnych dla stomatologa ogólnego<br />

warunkujących samodzielną, nienadzorowaną<br />

praktykę stomatologiczną. Kompetencja<br />

obejmuje wiedzę, <strong>do</strong>świadczenie, krytyczne<br />

myślenie i umiejętności rozwiązywania problemów,<br />

profesjonalizm, wartości etyczne<br />

oraz techniczne i proceduralne umiejętności.<br />

Komponenty te stają się zintegrowane podczas<br />

zapewniania opieki stomatologicznej pacjentowi<br />

przez kompetentnego stomatologa. 11,15,31<br />

Natomiast w rekomendacjach Towarzystwa<br />

Edukacji Stomatologicznej w Europie z 2010<br />

r. (Association for Dental Education in Europe<br />

- ADEE) zaleca się nauczanie oparte na <strong>do</strong>wodach<br />

naukowych obejmujące krytyczne myślenie<br />

i uwzględnianie potrzeb edukacyjnych<br />

studenta jak również potrzeb zdrowotnych pacjenta<br />

i społeczeństwa. 6,7<br />

W edukacji opartej na kompetencji priorytetem<br />

jest oszacowanie gotowości studenta<br />

<strong>do</strong> praktyki stomatologicznej oparte na ocenie<br />

ogólnej kompetencji studenta lub z<strong>do</strong>lności<br />

<strong>do</strong> „złożenia w całość” umiejętności zwanych<br />

komponentami kompetencji, które są często<br />

nauczane i oceniane oddzielnie w poszczególnych<br />

dyscyplinach oraz na ocenie z wielorakich<br />

źródeł danych (opartych na triangulacji),<br />

które są bardziej <strong>do</strong>kładne niż pojedyncze po-<br />

471


U. Kaczmarek J Stoma<br />

Fig. 4. Component/silo competencies and general competence according to Albino et al. 11<br />

Komponenty kompetencji („silo” kompetencje) i ogólna kompetencja wg Albino i wsp. 11<br />

reproducibility of components competencies,<br />

visible passage between individual skills in<br />

the range of particular dental specialty (called<br />

competence component or silo competencies)<br />

to general competency during patient treatment,<br />

the depth of student’s knowledge, punctuality,<br />

good manners, appearance, coping with stress<br />

and capability of self-assessment and selfcorrection.<br />

11 Components of competency (silo<br />

competencies) and general competency are<br />

presented in Fig. 4.<br />

Figure 5 depicts pattern of general competency<br />

assessment based on triangulation. 34 In this<br />

model, “performance” includes three Ps: process<br />

(human factors such as communications,<br />

diligence, organization, compassion, and<br />

ethical behaviour), product (the result of patient<br />

treatment) and procedure (manual skills –<br />

technical skills necessary to provide dental care).<br />

Self-Appraisal & Reflection (A&R), making up<br />

the second angle (leg) of a triangle, present<br />

472<br />

miary. 11,15,32 Koncepcję ogólnej kompetencji<br />

jako pierwszy podał Chambers w 2001 roku. 33<br />

W ocenie ogólnej kompetencji zaleca się, aby<br />

studenci przez przynajmniej 2 miesiące funkcjonowali<br />

w śro<strong>do</strong>wisku rzeczywistej praktyki<br />

stomatologicznej. Pracują oni wtedy pod nadzorem<br />

małych grup nauczycieli wydziału, którzy<br />

obserwują i oceniają ich w zakresie pomiarów<br />

powtarzalności komponent kompetencji,<br />

<strong>do</strong>strzegalnego przejścia między poszczególnymi<br />

umiejętnościami w zakresie pojedynczej<br />

specjalności stomatologicznej (zwanej komponentą<br />

kompetencji lub silo kompetencją) <strong>do</strong><br />

ogólnej kompetencji podczas leczenia pacjenta,<br />

głębokości wiedzy, <strong>do</strong>kładności, <strong>do</strong>brych<br />

manier, wyglądu, radzenia sobie ze stresem<br />

i z<strong>do</strong>lności <strong>do</strong> samooceny i samokorekty. 11<br />

Komponenty kompetencji (silo kompetencje)<br />

i ogólną kompetencję zilustrowano na Fig. 4.<br />

Z kolei na Fig. 5. zilustrowano schemat oceny<br />

ogólnej kompetencji oparty na triangula-


2011, 64, 7 Assessment of education<br />

Fig. 5. Triangular model to provide multiple sources of<br />

data for three legs of competency assessment<br />

(according to Jahangiri et al. 34<br />

Triangularny model <strong>do</strong>starczający danych z wielu źródeł<br />

w ocenie trzech elementów kompetencji wg Jahangiri i<br />

wsp. 34<br />

the ability of the students to formulate own<br />

opinion and perceive the need for correction<br />

(self-correction), while knowledge makes up<br />

the third angle (leg) of a triangle.<br />

In the assessment of performance long-term<br />

observation is recommended, in knowledge<br />

evaluation – Multiple Choice Question test<br />

based on clinical cases (Case-based MCQ),<br />

Triple Jump Exercise (TJE), and Critically<br />

Appraised Topic Summary (CATS), and<br />

Portfolio is advocated in the evaluation of<br />

self-assessment and reflection.<br />

Conclusions<br />

Among numerous methods used in the<br />

evaluation of the outcomes of the education<br />

process of dentists one can find methods<br />

assessing comprehensively several <strong>do</strong>mains of<br />

competency. It is important to choose proper<br />

assessment methods that will provider an answer<br />

to the essential question of whether the final goal<br />

of dental education – a competent general dental<br />

practitioner – has been obtained. At present,<br />

cji. 34 W modelu tym „wykonanie” obejmuje<br />

trzy „p”: proces (czynniki ludzkie takie jak komunikacja,<br />

pracowitość, organizacja, współczucie,<br />

zachowanie etyczne), produkt (wynik<br />

leczenia pacjenta) i procedurę (umiejętności<br />

manualne – techniczne niezbędne <strong>do</strong> sprawowania<br />

opieki stomatologicznej). Samoocena i<br />

refleksja stanowiąca drugi kąt trójkąta („nogę”)<br />

prezentuje z<strong>do</strong>lność <strong>do</strong> oceny własnej i <strong>do</strong>strzeżenie<br />

potrzeby korekty (samokorekta), a<br />

trzeci kąt trójkąta („nogę”) stanowi wiedza.<br />

W ocenie „wykonania” zaleca się stosowanie<br />

długoterminowej obserwacji, w ewaluacji<br />

„wiedzy” – test z pytaniami wielokrotnego wyboru<br />

oparty na przypadkach klinicznych (case-based<br />

MCQ), ćwiczenie potrójnego skoku<br />

(TJE) i krytyczną sumacyjną ocenę zadania<br />

(CATS), a w ocenie samooceny i refleksji zaleca<br />

się portfolio.<br />

Podsumowanie<br />

Wśród wielu metod stosowanych w ewaluacji<br />

procesu kształcenia stomatologa można<br />

znaleźć metody oceniające wszechstronnie<br />

kilka <strong>do</strong>men kompetencji. Istotny jest wybór<br />

właściwych metod ewaluacyjnych, które pozwolą<br />

odpowiedzieć na pytanie czy uzyskano<br />

ostateczny cel – kompetentnego stomatologa.<br />

Obecnie za najlepsze metody oceniające gotowość<br />

<strong>do</strong> wzięcia odpowiedzialności zawo<strong>do</strong>wej<br />

uważane są: obiektywny strukturalny<br />

kliniczny egzamin (OSCE), ćwiczenie potrójnego<br />

skoku (TJE), krytyczną sumacyjną ocenę<br />

zadania (CATS) i pracę w śro<strong>do</strong>wisku rzeczywistej<br />

praktyki stomatologicznej (in-school internship)<br />

w kontekście triangularnego modelu<br />

oceny kompetencji.<br />

473


U. Kaczmarek J Stoma<br />

the methods considered best in the assessment<br />

of readiness for professional responsibility are:<br />

Objective Structured Clinical Examination<br />

(OSCE), Triple Jump Exercise (TJE), Critically<br />

Appraised Topic Summary (CATS), and inschool<br />

internships in the context of triangular<br />

model of competency assessment.<br />

References<br />

1. Autonomia uczelni. Ramy kwalifikacji dla<br />

szkolnictwa wyższego. Ministerstwo Nauki i<br />

Szkolnictwa Wyższego, 2011.<br />

2. Epstein RM, Hundert EM: Defining and assessing<br />

professional competence. JAMA<br />

2002; 287: 226–235.<br />

3. Knight GW: Toward faculty calibration. J<br />

Dent Educ 1997; 61: 941–946.<br />

4. Wass V, Bowden E, Jackson N: The principles<br />

of assessment design. In: N Jackson, A<br />

Jamieson, A Khan: Assessment in Medical<br />

Education and Training: A Practical Guide<br />

Radcliffe Publishing Ltd. 2007: 11-26.<br />

5. Wass V, Van der Vleuten C, Shatzer J, Jones<br />

R: Assessment of clinical competence. Lancet<br />

2001; 357, 9260: 945-949.<br />

6. Association for Dental Education in Europe.<br />

Task Force II. 2010 Update. Curriculum<br />

structure, content, learning and assessment<br />

in European undergraduate dental education<br />

– Update 2010. www.adee.org/cms/uploads/adee/Task_Force_II_Curriculum_Struct_<br />

Content_Learning_Assessment.pdf<br />

7. Association for Dental Education in Europe<br />

Task Force II, Appendix 2 – Assessment.<br />

2010 Update Curriculum Structure, Content,<br />

Learning and Assessment in European<br />

Undergraduate Dental Education. www.<br />

adee.org/cms/uploads/adee/Task_Force_II_<br />

APPENDIX_2_Assessment.pdf<br />

474<br />

8. Bloom BS: Taxonomy of educational objectives.<br />

New York: Dacid MxKay, 1972.<br />

9. Anderson L, Krathwohl DR: Taxonomy for<br />

Learning, Teaching and Assessing: A Revision<br />

of Bloom’s Taxonomy of Educational<br />

Objectives. New York: Longman 2001.<br />

10. ADEA Competencies for the New General<br />

Dentist: As approved by the 2008 ADEA<br />

House of Delegates. J Dent Educ 2011; 75:<br />

932-935.<br />

11. Albino JEN, Young SK, Neumann LM,<br />

Kramer GA, Andrieu SC, Henson L, Horn B,<br />

Hendricson WD: Assessing Dental Students’<br />

Competence: Best Practice Recommendations<br />

in the Performance Assessment Literature<br />

and Investigation of Current Practices in<br />

Pre<strong>do</strong>ctoral Dental Education. J Dent Educ<br />

2008; 72: 1405-1435.<br />

12. Bazrafkan L, Shokrpour N, Torabi K:<br />

Comparison of the Assessment of Dental<br />

Students’ Laboratory Performance through<br />

MCQ and DOPS Methods. J Med Educ 2009;<br />

13: 3-8.<br />

13. Azer SA: Assessment in a problem-based learning<br />

course. Biochem Mol Biol Educ 2003;<br />

31: 248–434.<br />

14. Haladyna TM: Developing and validating<br />

multiple-choice test items. 3rd ed. Mahwah,<br />

NJ: Lawrence Erlbaum Associates, 2004.<br />

15. 2011 ADEA Official Guide to Dental Schools.<br />

Teaching methods. www.adea.org/publications/Pages/OfficialGuide.aspx


2011, 64, 7 Assessment of education<br />

16. Buckley S, Coleman J, Davison I, Khan KS,<br />

Zamora J, Malick S, Morley D, Pollard D,<br />

Ashcroft T, Popovic C, Sayers L: The educational<br />

effects of portfolios on undergraduate<br />

student learning: a Best Evidence Medical<br />

Education (BEME) systematic review. BEME<br />

Guide No. 11. Med Teach 2009; 31: 282-<br />

-298.<br />

17. Henzi D, Davis E, Jasinevicius R, Hendricson<br />

W: North American dental students’ perspectives<br />

about their clinical education. J Dent<br />

Educ 2006; 7: 361–377.<br />

18. Henzi D, Davis E, Jasinevicius R, Hendricson<br />

W: In the students’ own words: what are the<br />

strengths and weaknesses of the dental school<br />

curriculum? J Dent Educ 2007; 71: 632–<br />

–645.<br />

19. Hendricson WD, Cohen PA: Oral health care<br />

in the 21st century: implications for dental<br />

and medical education. Acad Med 2001;<br />

76:1181–1206.<br />

20. Hicks JL, Dale RA, Hendricson WD, Lauer<br />

WR: Effects of reducing senior clinical requirements.<br />

J Dent Educ 1985; 49: 169–175.<br />

21. Dodge WW, Dale RA, Hendricson WD: A preliminary<br />

study of the effect of eliminating requirements<br />

on clinical performance. J Dent<br />

Educ 1993; 57: 667–672.<br />

22. Rogers KG, Manifold C: 360-degree feedback:<br />

possibilities for assessment of the<br />

ACGME core competencies for emergency<br />

medicine residents. Acad Emerg Med 2002;<br />

9: 1300-1304.<br />

23. Wyer PC: The critically appraised topic: closing<br />

the evidence transfer gap. Ann Emerg<br />

Med 1997; 30: 639–641.<br />

24. Suave R: The critically appraised topic: practical<br />

approach to learning critical appraisal.<br />

Ann CRMCC 1995; 28: 396-398.<br />

25. Iacopino AM: The influence of “new science”<br />

on dental education: current concepts, trends,<br />

and models for the future. J Dent Educ 2007;<br />

71: 450–462.<br />

26. Miller GE: The assessment of clinical skills/<br />

competence/performance. Acad Med 1990;<br />

65: S63–67.<br />

27. Holmboe ES, Sherbino J, Long DM, Swing<br />

SR, Frank JR: The role of assessment in competency-based<br />

medical education. Med Teach<br />

2010; 32: 676-682.<br />

28. Harris P, Snell L, Talbot M, Harden RM:<br />

Competency-based medical education: implications<br />

for undergraduate programs. Med<br />

Teach 2010; 32: 646-650.<br />

29. Dath D, Iobst W: The importance of faculty<br />

development in the transition to competency-<br />

-based medical education. Med Teach 2010;<br />

32: 683-686.<br />

30. Frank JR, Snell LS, Cate OT, Holmboe ES,<br />

Carraccio C, Swing SR, Harris P, Glasgow<br />

NJ, Campbell C, Dath D, Harden RM, Iobst<br />

W, Long DM, Mungroo R, Richardson DL,<br />

Sherbino J, Silver I, Taber S, Talbot M, Harris<br />

KA: Competency-based medical education:<br />

theory to practice. Med Teach 2010; 32: 638-<br />

-645.<br />

31. ADEA Competences for the new general dentist.<br />

www.adea.org/about_adea/governance/<br />

Pages/Competencies-for-the-New-General-<br />

Dentist.aspx<br />

32. Lockyer J: Multisource feedback in assessment<br />

of physician competencies. J Contin<br />

Educ Health Prof 2003; 23: 2–10.<br />

33. Chambers DW: Preliminary evidence for a<br />

general competency hypothesis. J Dent Educ<br />

2001; 65: 1243–1252.<br />

34. Jahangiri L, Mucciolo TW, Choi M, Spielman<br />

AI: Assessment of Teaching Effectiveness<br />

in U.S. Dental Schools and the Value of<br />

Triangulation. J Dent Educ 2008; 72: 707-<br />

-718.<br />

Address: 50-425 Wrocław, ul. Krakowska 26<br />

Tel.: 71 7840361<br />

e-mail: ukaczm@tlen.pl<br />

Paper received 20 September 2011<br />

Accepted 11 October 2011<br />

475

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!