pełna wersja do pobrania
pełna wersja do pobrania
pełna wersja do pobrania
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
J Stoma 2011, 64, 7: 457-475<br />
© 2011 Polish Dental Society<br />
http://www.czas.stomat.net<br />
Introduction<br />
Assessment methods of the effects<br />
of dental students’ education<br />
Metody oceny efektów kształcenia studentów stomatologii<br />
Urszula Kaczmarek<br />
Chair and Department of Conservative and Pediatric Dentistry, Medical University in Wrocław<br />
Head: Prof. U. Kaczmarek<br />
Summary<br />
Introduction: When assessing outcomes of the<br />
educational process various methods are used<br />
to verify three <strong>do</strong>mains: cognitive, affective and<br />
psychomotor. The goal of undergraduate education<br />
in dentistry is to produce a competent graduate<br />
being able to undertake independent, unsupervised<br />
dental practice. Competency-based education and<br />
its evaluation are recommended.<br />
Aim of the study: To discuss assessment methods of<br />
the effects of dental students’ education.<br />
Conclusions: At present the following methods are<br />
considered best for the assessment of readiness to<br />
undertake professional responsibility: Objective<br />
Structured Clinical Examination (OSCE), Triple<br />
Jump Exercise (TJE), Critically Appraised Topic<br />
Summary (CATS) together with in-school internships<br />
in the context of triangular model of competency<br />
assessment. It is important to choose proper<br />
assessment methods that will answer the essential<br />
question whether the final goal of dental education<br />
– the competent general dental practitioner – has<br />
been obtained.<br />
KEYWORDS:<br />
dental students, education, methods of evaluation,<br />
outcomes<br />
Teaching and checking its outcomes are<br />
interconnected and mutually related factors<br />
in the process of education. The <strong>do</strong>cument<br />
“The program autonomy of the university.<br />
Streszczenie<br />
Wprowadzenie: w celu sprawdzania efektów edukacji<br />
stosuje się metody oceniajce trzy <strong>do</strong>meny - poznawczą,<br />
afektywną i psychomotoryczną. Zadaniem<br />
nauczania przeddyplomowego w stomatologii jest<br />
wykształcenie kompetentnego absolwenta z<strong>do</strong>lnego<br />
<strong>do</strong> samodzielnej, nienadzorowanej praktyki stomatologicznej.<br />
Zaleca się kształcenie oparte na kompetencji<br />
oraz jej ewaluacji.<br />
Cel pracy: omówienie metod oceny efektów kształcenia<br />
studentów stomatologii.<br />
Podsumowanie: obecnie za najlepsze metody oceniające<br />
gotowość <strong>do</strong> odpowiedzialności zawo<strong>do</strong>wej<br />
w kontekście triangularnego modelu oceny kompetencji<br />
uważane są: obiektywny strukturalny kliniczny<br />
egzamin (OSCE), ćwiczenie potrójnego skoku<br />
(TJE), krytyczna sumacyjna ocena zadania (CATS)<br />
i praca w śro<strong>do</strong>wisku realnej praktyki stomatologicznej<br />
(in-school internship). Istotny jest wybór<br />
właściwych metod ewaluacyjnych, które pozwolą<br />
odpowiedzieć na pytanie czy uzyskano ostateczny<br />
cel edukacji – kompetentnego stomatologa.<br />
HASŁA INDEKSOWE:<br />
studenci stomatologii, edukacja, metody oceny,<br />
efekty<br />
Wprowadzenie<br />
Nauczanie i sprawdzanie jego rezultatów są<br />
nierozerwalnie związanymi i wzajemnie powiązanymi<br />
czynnikami w procesie edukacji. W<br />
opracowaniu „Autonomia programowa uczel-<br />
457
U. Kaczmarek J Stoma<br />
The frame of the qualification for higher<br />
education” underlines the necessity to<br />
assess the effects of students’ education. 1<br />
The assessment should answer the question<br />
whether and to what extent the student has<br />
reached the intended goals of education,<br />
and, in case of dentistry, which is a surgical<br />
specialty, it should reveal preparation<br />
and readiness of the student to undertake<br />
independent dental practice.<br />
The forms of assessment of the educational<br />
outcomes are differentiated with respect to<br />
the educational effect being checked. The<br />
majority of them are tools verifying the<br />
knowledge of program contents. Two types<br />
of assessment are distinguished as tools for<br />
student evaluation – formative assessment<br />
and summative assessment. The formative<br />
assessment serving directly the educational<br />
process is also a tool letting teachers choose<br />
specific assessment tools for a given subject/<br />
field. It is based on good student-teacher<br />
communication. The teacher stimulates the<br />
student’s engagement and gives him/her the<br />
feeling of having influence on the educational<br />
process through the opportunity of expressing<br />
his/her needs not only in relation to the program<br />
contents, but also referring to the teaching<br />
methods. It should help student and teacher<br />
assess the student’s staged achievements and<br />
identify any knowledge gaps and lacking<br />
skills, as well as encourage further progress<br />
in education.<br />
The summative assessment is usually<br />
performed at the end of a given stage of<br />
education (subject/course/module) and<br />
estimates only what educational effects the<br />
student has reached and to what degree. It is<br />
a staged control of teaching outcomes before<br />
proceeding to higher level of education. 1-5<br />
The evaluations have to be in concord with<br />
previously defined goals of education. The<br />
458<br />
ni. Ramy kwalifikacji dla szkolnictwa wyższego”<br />
podkreśla się konieczność oceny efektów<br />
kształcenia studenta. 1 Ocena ta powinna<br />
odpowiedzieć na pytanie czy i w jakiej mierze<br />
student osiągnął zamierzone cele kształcenia,<br />
a w przypadku stomatologii będącej specjalnością<br />
zabiegową powinna również ujawnić<br />
przygotowanie i gotowość studenta <strong>do</strong> podjęcia<br />
samodzielnej praktyki dentystycznej.<br />
Formy oceny rezultatów edukacji zróżnicowane<br />
są w zależności od tego, jaki efekt kształcenia<br />
jest sprawdzany. Większość z nich stanowią<br />
narzędzia weryfikujące zaznajomienie<br />
się z treściami programowymi. Wyróżnia się<br />
dwa rodzaje oceny jako narzędzia ewaluacji<br />
studenta – ocenę formującą (formative assessment)<br />
i ocenę podsumowującą (summative<br />
assessment). Ocena formująca służąca bezpośrednio<br />
procesowi edukacji jest także narzędziem<br />
pozwalającym nauczycielowi wybierać<br />
specyficzne dla danego przedmiotu/dziedziny<br />
narzędzia oceny. Oparta jest na <strong>do</strong>brej komunikacji<br />
studenta z nauczycielem. Nauczyciel stymuluje<br />
zaangażowanie studenta i daje mu poczucie<br />
wpływu na proces kształcenia poprzez<br />
sposobność wyrażenia jego potrzeb nie tylko<br />
w zakresie treści programowych, ale i metod<br />
kształcenia. Powinna pomagać w oszacowaniu<br />
etapowych osiągnięć studenta i identyfikacji<br />
braków w zakresie wiedzy i umiejętności oraz<br />
zachęcać <strong>do</strong> dalszego postępu w kształceniu.<br />
Ocena podsumowująca zwykle odbywa się na<br />
zakończenie danego etapu kształcenia (przedmiotu/kursu/modułu)<br />
i szacuje jedynie, jakie<br />
efekty kształcenia student osiągnął i w jakim<br />
stopniu. Jest etapową kontrolą wyników nauczania<br />
przed dalszym, wyższym poziomem<br />
kształcenia.<br />
1- 5<br />
Oceny muszą być zgodne ze zdefiniowanym<br />
uprzednio celami nauczania. Cele nauczania<br />
powinny zawierać zasadnicze treści nauczania<br />
i kryteria, które powinien student spełnić.
2011, 64, 7 Assessment of education<br />
goals of education should contain the principal<br />
contents of teaching and criteria which a student<br />
must fulfill. A smaller number of essential,<br />
important learning outcomes are preferred to a<br />
large number of superficial ones. The learning<br />
outcomes are not a “wish list”; they have to be<br />
described in a simple and clear way and have<br />
to be assessable.<br />
6, 7<br />
Bloom’s taxonomy, which is the<br />
classification of learning objectives within<br />
the education process, is very useful in the<br />
planning of teaching. It concerns categories<br />
of different objectives that educators set for<br />
students (learning objectives). This taxonomy<br />
was first presented in 1956 and is considered<br />
as a fundamental work within the education<br />
field.<br />
Bloom’s taxonomy divides educational goals<br />
into three “<strong>do</strong>mains”: cognitive, affective, and<br />
psychomotor. Learning at higher levels within<br />
the <strong>do</strong>mains depends on prerequisite knowledge<br />
and skills attained at lower levels, therefore<br />
it is hierarchic. 8 The main goal in Bloom’s<br />
taxonomy is to motivate teachers to focus on<br />
all three <strong>do</strong>mains, creating a more holistic<br />
(global) form of education. In the cognitive<br />
<strong>do</strong>main, the skills focus around knowledge,<br />
comprehension and critical thinking Six levels<br />
are distinguished from the lowest to the highest<br />
order processes (Fig. 1):<br />
1) knowledge (specific facts, terminology,<br />
notions, trends and sequences, classifications<br />
and categories, criteria, metho<strong>do</strong>logy,<br />
principles and generalizations, theories and<br />
structures),<br />
2) comprehension (translation, interpretation,<br />
extrapolation),<br />
3) application (solving the problems in new<br />
situations by applying acquired knowledge),<br />
4) analysis (analysis of elements,<br />
relationships, and principles),<br />
5) synthesis (production of a unique<br />
Preferuje się mniejszą liczbę istotnych celów<br />
nauczania niż większą liczbę powierzchownych<br />
celów. Cele nauczania nie są „listą życzeń”.<br />
Muszą być opisane w sposób prosty i<br />
jasny i powinny być możliwe <strong>do</strong> oceny.<br />
6, 7<br />
W planowaniu nauczania przydatna jest taksonomia<br />
Blooma stanowiąca klasyfikację celów<br />
nauczania w edukacji. Wyróżnia ona różne<br />
kategorie celów, jakie nauczyciele stawiają<br />
uczniom (cele nauczania). Taksonomia ta po<br />
raz pierwszy zaprezentowana została w 1956<br />
roku i jest uważana za podstawowe dzieło z<br />
zakresu szkolnictwa.<br />
Taksonomia Blooma dzieli cele edukacyjne<br />
na trzy sfery - <strong>do</strong>meny: poznawczą, afektywną<br />
i psychomotoryczną. Nauczanie na wyższych<br />
poziomach w obrębie <strong>do</strong>men zależne<br />
jest od osiągnięcia wiedzy i umiejętności na<br />
niższych poziomach, a zatem jest hierarchiczne.<br />
8 Celem taksonomii Blooma jest motywowanie<br />
nauczycieli <strong>do</strong> koncentrowania się na<br />
wszystkich trzech <strong>do</strong>menach, tworząc holistyczną<br />
(całościową) formę kształcenia. W <strong>do</strong>menie<br />
poznawczej – kognitywnej umiejętności<br />
koncentrują się wokół wiedzy, zrozumienia i<br />
krytycznego myślenia. Wyodrębnia się sześć<br />
poziomów w kolejności od najniższych <strong>do</strong> najwyższych<br />
procesów (Fig. 1):<br />
1) wiedza (specyficzne fakty, terminologia,<br />
pojęcia, trendy i sekwencje, klasyfikacje i kategorie,<br />
kryteria, meto<strong>do</strong>logia, zasady i uogólnienia,<br />
teorie i struktury),<br />
2) zrozumienie (tłumaczenie, interpretacja,<br />
ekstrapolacja),<br />
3) zastosowanie (rozwiązywanie problemów<br />
w nowych sytuacjach poprzez zastosowanie<br />
nabytej wiedzy),<br />
4) analiza (analiza elementów, zależności i<br />
zasad),<br />
5) synteza (wytwarzanie unikalnej informacji,<br />
planowanie lub proponowanie nowych rozwiązań,<br />
wywodzenie abstrakcyjnych relacji),<br />
459
U. Kaczmarek J Stoma<br />
communication, planning, or proposing new<br />
operations, derivation of abstract relations),<br />
6) evaluation (judgment in terms of internal<br />
evidence and external criteria).<br />
In the affective <strong>do</strong>main, the objectives of<br />
which lead to the growth of awareness of<br />
attitudes, emotion and feelings, five levels are<br />
distinguished moving through the lowest to the<br />
highest order processes:<br />
1) perception (passive attention),<br />
2) responding – reaction (active participation<br />
in the process of learning),<br />
3) valuing (defining the value of<br />
information),<br />
4) organizing (putting together different<br />
information in own schema, comparing),<br />
5) characterizing (a certain pre<strong>do</strong>minant<br />
feature influences the student’s behaviour and<br />
is characteristic).<br />
Skills in the psychomotor <strong>do</strong>main describe<br />
the manual ability to manipulate a tool or<br />
instrument, and relate to changes in the<br />
development of behaviour and skills. Seven<br />
levels are distinguished in this <strong>do</strong>main:<br />
1) perception (the ability to use sensory cues<br />
to guide motor activity),<br />
2) attitude (readiness to act),<br />
3) guided response (learning of complex<br />
skill by imitation and trial and error),<br />
4) mechanism (skilled reactions become the<br />
habit),<br />
5) complex overt response (performing<br />
manual action without hesitation – automatic<br />
performance),<br />
6) adaptation (modification of movement<br />
patterns to fit special requirements),<br />
7) origination (creating new movement<br />
patterns to fit a particular situation or specific<br />
problem). 8<br />
Bloom’s taxonomy provides a ready list of<br />
suitable words to write the goals of teaching.<br />
The teaching outcomes are expressed as what<br />
460<br />
6) ewaluacja – ocena (wyrażanie sądów na<br />
dany temat odnośnie wewnętrznych <strong>do</strong>wodów<br />
i zewnętrznych kryteriów).<br />
W <strong>do</strong>menie emocjonalnej - afektywnej, której<br />
cele prowadzą <strong>do</strong> wzrostu świa<strong>do</strong>mości<br />
postaw, emocji i odczuć, wyróżnia się kolejno<br />
pięć poziomów od najniższych <strong>do</strong> najwyższych<br />
procesów:<br />
1) postrzeganie (bierna uwaga),<br />
2) odpowiadanie – reakcja (aktywne uczestnictwo<br />
w procesie uczenia),<br />
3) wartościowanie (określanie wartości informacji),<br />
4) organizowanie (zestawianie informacji<br />
we własnym schemacie, porównywanie),<br />
5) charakteryzowanie (pewna <strong>do</strong>minująca<br />
cecha wpływa na zachowanie ucznia i jest charakterystyczna).<br />
Umiejętności w sferze psychomotorycznej<br />
opisują z<strong>do</strong>lności manualne (manipulacyjne)<br />
<strong>do</strong> posługiwania się narzędziem lub instrumentem<br />
i <strong>do</strong>tyczą zmian w rozwoju zachowań<br />
i umiejętności. Wyróżnia się 7 poziomów w<br />
tej <strong>do</strong>menie:<br />
1) percepcja - postrzeganie (wykorzystanie<br />
bodźców sensorycznych <strong>do</strong> prowadzenia aktywności<br />
ruchowej,<br />
2) postawa (gotowość <strong>do</strong> działania),<br />
3) kierowane reagowanie (uczenie się złożonych<br />
umiejętności przez naśla<strong>do</strong>wnictwo,<br />
próby i błędy),<br />
4) mechanizm (wyuczone reakcje stają się<br />
przyzwyczajeniem),<br />
5) jawne reagowanie kompleksowe (wykonywanie<br />
czynności manualnych bez wahania,<br />
automatycznie),<br />
6) adaptacja – przystosowanie (modyfikacja<br />
wzorców ruchowych z <strong>do</strong>stosowaniem <strong>do</strong> specjalnych<br />
wymagań),<br />
7) pochodzenie (tworzenie nowych wzorców<br />
ruchowych <strong>do</strong>pasowanych <strong>do</strong> danej sytuacji<br />
problemowej). 8
2011, 64, 7 Assessment of education<br />
Fig. 1. Categories in Bloom’s cognitive <strong>do</strong>main according<br />
to Anderson and Krathwohl. 9<br />
Kategorie w poznawczej <strong>do</strong>menie Blooma wg Andersona<br />
i Krathwohla. 9<br />
the student should know, understand and/or<br />
demonstrate after completion of the teaching<br />
module, and they should include requirements<br />
in three <strong>do</strong>mains – cognitive, affective and<br />
psychomotor.<br />
6, 7<br />
Basing on Bloom’s taxonomy and its<br />
modifications one can distinguish <strong>do</strong>mains –<br />
broad and essential categories of the activities<br />
of a general dental practitioner conditioning<br />
his/her competences to undertake independent<br />
dental practice. The American Dental Education<br />
Association (ADEA) in 2008 distinguished six<br />
main <strong>do</strong>mains of competence:<br />
1) critical thinking,<br />
2) professionalism,<br />
3) communication and interpersonal skills,<br />
4) health promotion,<br />
5) practical management and informatics,<br />
6) patient care, including examination,<br />
diagnosis and treatment planning, and<br />
assessment and maintenance of oral health<br />
(Fig. 2). 10<br />
Fig. 2. Competecy <strong>do</strong>mains for the general dental practitioner<br />
begining professional practice according to<br />
ADEA 10 with own modification.<br />
Domeny kompetencji stomatologa ogólnego rozpoczynającego<br />
praktykę wg ADEA 10 w modyfikacji własnej.<br />
Taksonomia Blooma zapewnia gotową listę<br />
słów odpowiednich <strong>do</strong> napisania celów nauczania.<br />
Wyniki nauczania są wyrażone jako<br />
to, co student powinien wiedzieć, rozumieć i/<br />
lub zademonstrować po ukończeniu modułu<br />
nauczania i powinny zawierać wymagania w<br />
trzech <strong>do</strong>menach - poznawczej, afektywnej i<br />
psychomotorycznej. 6,7 Bazując na taksonomii<br />
Blooma i jej modyfikacjach można wyodrębnić<br />
<strong>do</strong>meny – szerokie i istotne kategorie aktywności<br />
stomatologa warunkujące jego kompetencje<br />
<strong>do</strong> podjęcia samodzielnej praktyki stomatologicznej.<br />
Amerykańskie Towarzystwo<br />
Edukacji Stomatologicznej (American Dental<br />
Education Association – ADEA) w 2008 roku<br />
wyróżniło sześć głównych <strong>do</strong>men kompetencji,<br />
którymi są:<br />
1) krytyczne myślenie,<br />
2) profesjonalizm,<br />
3) komunikacja i umiejętności interpersonalne,<br />
4) promocja zdrowia,<br />
5) praktyczne postępowanie i informatyka,<br />
461
U. Kaczmarek J Stoma<br />
Aim of the study<br />
The paper discusses the methods used in the<br />
evaluation of dental students basing on review<br />
of literature.<br />
Context-free Multiple Choice Question<br />
(MCQ) test evaluates the student’s ability<br />
to remember core principles and facts,<br />
relationships and dependences not linked to<br />
a patient care situation. One correct answer<br />
should be chosen on the given question. This<br />
test is recommended to assess the cognitive<br />
level, i.e. acquisition of biomedical knowledge<br />
and, with certain limitations, to interpret<br />
diagnostic tests. 4,11,12<br />
Case-based Multiple Choice Question<br />
(Case-based MCQ) test contains questions<br />
linked to scenarios describing patients’ oral<br />
health problems. It is applied to assess higher<br />
cognitive level, because the student has to<br />
identify key data from the patient’s scenario<br />
and interpret them to answer the question on<br />
the level of knowledge application according<br />
to Bloom’s taxonomy. The questions’<br />
construction can be designed to request<br />
identification of pathological mechanisms<br />
causing the patient’s symptoms, selection of<br />
proper diagnostic tests for the diagnosis, or<br />
choice of an optimal treatment option from a<br />
given list. This method of assessment is useful,<br />
with some limitations, in the evaluation of<br />
problem solving. 11,13,14<br />
Essay is an open-ended assessment in which<br />
the students respond in a written form using<br />
their own words with or without structural<br />
guidance. It is aimed at evaluating the student’s<br />
capacity to apply information to biomedical<br />
problems, and evaluate and resolve patients’<br />
health problems. It is recommended to evaluate<br />
the skills of problem solving and ordering or<br />
interpreting diagnostic tests, as well as, to some<br />
extent, to assess biomedical knowledge. It also<br />
462<br />
6. opieka nad pacjentem, w tym badanie,<br />
diagnoza i planowanie leczenia oraz ustalenie<br />
i utrzymanie zdrowia jamy ustnej (Fig. 2). 10<br />
Cel pracy<br />
Celem pracy było omówienie, na podstawie<br />
przeglądu piśmiennictwa, metod stosowanych<br />
w ocenie studentów stomatologii.<br />
Test z pytaniami wielokrotnego wyboru<br />
niezwiązanymi z klinicznym kontekstem<br />
(Multiple Choice Question – MCQ) ocenia<br />
z<strong>do</strong>lność studenta <strong>do</strong> zapamiętania zasadniczych<br />
zasad i faktów, związków i zależności<br />
niezwiązanych z sytuacją terapeutyczną pacjenta.<br />
Na dane pytanie należy wybrać jedną<br />
prawidłową odpowiedź. Test zalecany jest <strong>do</strong><br />
oceny poziomu kognitywnego, czyli nabycia<br />
wiedzy biomedycznej i z pewnymi ograniczeniami<br />
<strong>do</strong> interpretacji testów diagnostycznych.<br />
4,11,12<br />
Test z pytaniami wielokrotnego wyboru<br />
oparty na przypadkach klinicznych (Casebased<br />
Multiple Choice Question – MCQ) zawiera<br />
pytania związane z opisem problemów<br />
zdrowotnych pacjenta. Stosowany jest <strong>do</strong> oceny<br />
wyższego poziomu kognitywnego, gdyż<br />
student musi zidentyfikować kluczowe dane<br />
ze scenariusza pacjenta i zinterpretować je,<br />
aby odpowiedzieć na pytanie na poziomie zastosowania<br />
wiedzy wg taksonomii Blooma.<br />
Sformułowanie pytań może wymagać identyfikacji<br />
mechanizmów patologicznych powodujących<br />
objawy u pacjenta, wyboru odpowiednich<br />
testów diagnostycznych w celu postawienia<br />
rozpoznanie lub wyboru optymalnego sposobu<br />
leczenia z podanej listy opcji. Ta forma<br />
oceny z pewnymi ograniczeniami przydatna<br />
jest <strong>do</strong> ewaluacji w zakresie rozwiązywania<br />
problemów. 11,13,14<br />
Egzamin pisemny (essay) jest formą oceny<br />
otwartej, w której studenci odpowiadają
2011, 64, 7 Assessment of education<br />
enables explaining decisions or comparing and<br />
contrasting options. 4,11,15<br />
Oral examination is applied to obtain<br />
similar objectives as the essay, and it requires<br />
from the student verbal response to teacher’s<br />
questions. It assesses the same <strong>do</strong>main of skills<br />
as the essay, however, additionally it evaluates,<br />
to some degree, professional behavior. 11,15<br />
Daily evaluation in clinic is based on the<br />
evaluation of the student’s performance with<br />
each patient and during each procedure by<br />
the supervising teacher and gives “a daily<br />
grade”. 11,15<br />
Single direct observation is based on<br />
observation and evaluation of the students’<br />
interaction when admitting a single patient.<br />
This method is recommended for the evaluation<br />
of interviewing and communication skills,<br />
examination skill, performance of procedures<br />
and concern for patient’s well-being, and it is<br />
useful in the assessment of problem solving,<br />
professional behaviour, personal qualifications<br />
and ordering or interpreting diagnostic<br />
tests. 11<br />
Longitudinal assessment is a summative<br />
evaluation by the teacher of many aspects of<br />
performance and several competence <strong>do</strong>mains of<br />
the student over a longer period of time (several<br />
months). Sometimes this method is called<br />
“global” or “comprehensive” evaluation and is<br />
focused on the student’s overall performance.<br />
It reflects student’s various performances, the<br />
ability to integrate knowledge and practical<br />
skills from different disciplines, which<br />
constitutes professionalism and may be applied<br />
to the evaluation of majority of <strong>do</strong>mains. The<br />
longitudinal assessment based on student’s<br />
interaction and treatment of many patients<br />
is a better source of data in the evaluation<br />
of professional attitude, personal attributes<br />
and performance than a single appointment,<br />
which can take place on the student’s “better<br />
pisemnie własnymi słowami z lub bez wskazówek<br />
strukturalnych. Ma na celu ewaluację<br />
z<strong>do</strong>lności studenta <strong>do</strong> zastosowania informacji<br />
w problemach biomedycznych oraz oceny<br />
i rozwiązania problemów zdrowotnych pacjenta.<br />
Jest zalecany <strong>do</strong> oceny umiejętności<br />
rozwiązywania problemów oraz zlecania lub<br />
interpretacji testów diagnostycznych, a także<br />
ocenia, w pewnej mierze wiedzę biomedyczną.<br />
Pozwala również na wyjaśnienie decyzji lub<br />
porównanie i skontrastowanie opcji. 4,11,15<br />
Egzamin ustny (oral examination) stosowany<br />
jest <strong>do</strong> uzyskania po<strong>do</strong>bnych celów jak egzamin<br />
pisemny, wymaga od studenta odpowiedzi<br />
werbalnej na pytania nauczyciela. Ocenia<br />
te same <strong>do</strong>meny umiejętności, co egzamin pisemny<br />
z tym, że <strong>do</strong>datkowo w pewnym stopniu<br />
ewaluuje profesjonalne zachowanie. 11,15<br />
Codzienna ocena kliniczna (daily evaluation)<br />
sprowadza się <strong>do</strong> oceny postępowania<br />
studenta z każdym pacjentem i przy każdej<br />
procedurze przez nadzorującego nauczyciela,<br />
dając „ocenę dzienną”. 11,15<br />
Pojedyncza bezpośrednia obserwacja<br />
(single direct observation) polega na obserwacji<br />
i ocenie studenta podczas przyjmowania<br />
jednego pacjenta. Jest metodą zalecaną <strong>do</strong><br />
ewaluacji umiejętności zbierania wywiadu i<br />
komunikacji z pacjentem, badania, wykonywania<br />
zabiegów leczniczych i troski o <strong>do</strong>bro<br />
pacjenta, a przydatna w ocenie rozwiązywania<br />
problemów, profesjonalnego zachowania<br />
i osobistych kwalifikacji oraz zlecania i interpretacji<br />
testów diagnostycznych. 11<br />
Długoterminowa ocena (longitudinal assessment)<br />
jest sumaryczną ewaluacją przez<br />
nauczyciela wielu aspektów wykonania i kilku<br />
<strong>do</strong>men kompetencji studenta przez dłuższy<br />
okres (kilka miesięcy). Niekiedy jest nazywana<br />
oceną globalną lub wszechstronną i jest zogniskowana<br />
na ogólnym wykonaniu studenta.<br />
Odzwierciedla różnorodne wykonania studen-<br />
463
U. Kaczmarek J Stoma<br />
day” or “worse day”. Therefore, this method<br />
assesses reproducibility and consistency of the<br />
quality of performed procedures. However,<br />
the evaluation of a single clinical appointment<br />
is better in monitoring specific skills, e.g.<br />
taking patient’s history, clinical examination<br />
or carrying out of a clinical procedure. 11,15<br />
Direct observation of procedural skills<br />
(DOPS) is applied to evaluate laboratory work<br />
(preclinical activity) technical/procedural<br />
skills of the student and the outcomes of his/<br />
her work. 12<br />
Record review – also called chart-stimulated<br />
evaluation – is based on retrospective review<br />
of the student’s clinical work recorded in the<br />
dental records of patients treated by the student.<br />
It creates the opportunity for the student to<br />
explain undertaken diagnostic and treatment<br />
decisions, and stimulates the students’ selfassessment<br />
and reflection, thus it assesses<br />
understanding of the basis for treatment<br />
decisions, comprehension of key concepts<br />
and the ability to justify decisions undertaken<br />
concerning the patient’s treatment. This method<br />
is recommended to evaluate the ability to solve<br />
problems, and is useful in the validation of the<br />
concern for patient’s well-being, ordering or<br />
interpreting diagnostic tests, and functioning<br />
within the dental care system. 11<br />
Objective Structured Clinical<br />
Examination (OSCE) is based on the student’s<br />
rotation between stations (often 20-30 stations).<br />
At each station, the student performs different<br />
tasks in the limited time while being observed<br />
by the teacher, for example interpretation<br />
of radiograms, usage of diagnostic devices,<br />
interviewing and examination of the patients,<br />
performance of diagnostic tests, giving written<br />
responses. During the OSCE, the student,<br />
by answering teacher’s questions, solving a<br />
multiple-choice questions test, or writing a<br />
short essay, can demonstrate understanding of<br />
464<br />
ta, z<strong>do</strong>lności <strong>do</strong> integrowania wiedzy i umiejętności<br />
praktycznych z różnych dyscyplin, co<br />
stanowi profesjonalizm i może być stosowana<br />
<strong>do</strong> oceny większości <strong>do</strong>men. Długoczasowa<br />
ocena oparta na interakcji studenta i leczeniu<br />
wielu pacjentów jest lepszym źródłem danych<br />
w ewaluacji profesjonalnej postawy, atrybutów<br />
osobowych i wykonania niż jedna wizyta, która<br />
może mieć miejsce w „lepszym” lub „gorszym”<br />
dniu studenta. Zatem metoda ta ocenia<br />
powtarzalność i stałość jakości wykonywanych<br />
zabiegów. Jednakże ocena pojedynczej<br />
wizyty jest lepsza w monitorowaniu specyficznych<br />
umiejętności, np. zbieranie wywiadu, badaniu<br />
pacjenta, wykonaniu zabiegu. 11,15<br />
Bezpośrednia obserwacja proceduralnych<br />
umiejętności (direct observation of procedural<br />
skills – DOPS) stosowana jest <strong>do</strong> ewaluacji<br />
umiejętności studenta na ćwiczeniach przedklinicznych<br />
i wyników jego pracy. 12<br />
Przegląd zapisu (record review) zwany jest<br />
także oceną stymulowaną opartą na karcie pacjenta<br />
(chart-stimulated evaluation). Polega na<br />
retrospektywnym przeglądzie klinicznej pracy<br />
studenta ewidencjonowanej w karcie leczonych<br />
przez niego pacjentów. Stwarza sposobność<br />
<strong>do</strong> wyjaśnienia przez studenta podjętych<br />
decyzji diagnostycznych i leczniczych<br />
oraz stymuluje samoocenę i refleksję, a zatem<br />
mierzy zrozumienie podstaw decyzji leczniczych,<br />
zrozumienie kluczowych koncepcji i<br />
z<strong>do</strong>lność <strong>do</strong> uzasadniania podjętych decyzji<br />
<strong>do</strong>tyczących leczenia pacjenta. Jest metodą<br />
zalecaną <strong>do</strong> oceny z<strong>do</strong>lności rozwiązywania<br />
problemów i przydatną <strong>do</strong> walidacji troski o<br />
<strong>do</strong>bro pacjenta, zlecania i interpretacji testów<br />
diagnostycznych oraz znajomości funkcjonowania<br />
systemu opieki stomatologicznej. 11<br />
Obiektywny Strukturalny Kliniczny<br />
Egzamin (Objective Structured Clinical<br />
Examination – OSCE) polega na rotacji studenta<br />
między stacjami (20-30 stacji), na któ-
2011, 64, 7 Assessment of education<br />
basic sciences’ principles by associating the<br />
patient’s symptoms with pathophysiological<br />
mechanisms. The patients participating in the<br />
OSCE are “standardized patients” – trained<br />
patients – who provide a “standard” experience<br />
for all of the examined students. Overall<br />
examination scores are derived from the<br />
students’ understanding of pathophysiological<br />
processes, interpretation of clinical symptoms<br />
and signs, examination skills, treatment<br />
planning and interpersonal skills. This exam –<br />
in an integrated way – reflects a wide spectrum<br />
of competence. There are some variations<br />
of the OSCE in medical specialties such as<br />
Clinical Performance Exam – CPEX or CPx)<br />
or mini-CPX which is a shortened version<br />
of the Objective Structured Clinical Exam<br />
(OSCE) involving observation of the student’s<br />
interaction with a single patient. 4,5,11,15<br />
Triple Jump Exercise (TJE) has two main<br />
versions – clinical and preclinical. The clinical<br />
version consists of three phases – “jumps” –<br />
that are completed in one or two days by the<br />
student. The first “jump” involves interview<br />
and examination of the patients, activities that<br />
are observed by the teacher or videotaped for<br />
retrospective review with the student’s selfassessment.<br />
The second “jump” consists of<br />
a written description of findings from the<br />
first phase according to a four-score form –<br />
subjective data, objective data, assessment,<br />
plans (SOAP format) supported by evidence<br />
from the literature confirming the student’s<br />
assessment and therapeutic decisions, that is<br />
submitted to the teacher who has observed<br />
the first “jump”. The third “jump”, however,<br />
comprises an oral exam conducted by the same<br />
teacher, during which the student is questioned<br />
about pathological mechanisms causing<br />
disorders in the examined patient, diagnosis,<br />
treatment options and prognosis. Every jump<br />
is evaluated separately, and a cumulative<br />
rych obserwowany przez nauczyciela wykonuje<br />
różne zadania w limitowanym czasie takie,<br />
jak np.: interpretacja radiogramu, posługiwanie<br />
się aparaturą, wywiad z pacjentem, badanie<br />
pacjenta, wykonywanie testów diagnostycznych,<br />
udzielanie pisemnych odpowiedzi.<br />
Podczas tego egzaminu student może demonstrować,<br />
poprzez odpowiadanie na pytania nauczyciela<br />
lub rozwiązanie testu wielokrotnego<br />
wyboru, zrozumienie zasad nauk podstawowych<br />
przez łączenie symptomów pacjenta z<br />
mechanizmami patofizjologicznymi. Pacjenci<br />
uczestniczący w egzaminie są „standaryzowani”<br />
– przeszkoleni i <strong>do</strong>starczają „standar<strong>do</strong>wego”<br />
<strong>do</strong>świadczenia wszystkim egzaminowanym<br />
studentom. Ogólna punktacja z egzaminu<br />
pochodzi ze zrozumienia przez studenta procesów<br />
fizjopatologicznych, interpretacji oznak<br />
i objawów klinicznych, umiejętności badania<br />
pacjenta, planowania leczenia oraz umiejętności<br />
interpersonalnych. Egzamin ten w sposób<br />
zintegrowany odzwierciedla spektrum kompetencji.<br />
W specjalnościach medycznych występują<br />
odmiany OSCE takie jak kliniczny egzamin<br />
zabiegowy (Clinical Performance Exam<br />
– CPEX lub CPx) lub mini CPX, który jest<br />
skróconą wersją obiektywnego strukturalnego<br />
egzaminu klinicznego (OSCE) obejmującą<br />
obserwację interakcji studenta z pojedynczym<br />
pacjentem. 4,5,11,15<br />
Ćwiczenie potrójnego skoku (Triple Jump<br />
Exercise -TJE) występuje w dwóch odmianach<br />
– klinicznej i przedklinicznej. W wersji<br />
klinicznej składa się z 3 faz – „skoków” realizowanych<br />
w ciągu 1-2 dni przez studenta.<br />
Pierwszy obejmuje zbieranie wywiadu i badanie<br />
pacjenta, obserwowane przez nauczyciela<br />
lub filmowane w celu retrospektywnego<br />
przeglądu z samooceną studenta. Drugi polega<br />
na opisaniu działań wykonanych w fazie<br />
pierwszej wg czterech punktów – subiektywne<br />
dane, obiektywne dane, ocena, planowanie<br />
465
U. Kaczmarek J Stoma<br />
score in all three jumps is calculated. This<br />
method defines the ability to analyze and apply<br />
biomedical knowledge in dental problems.<br />
The TJE applied to preclinical dentistry<br />
concentrates on student’s skills in searching<br />
for literature on a given problem. In the first<br />
phase, the students read scenario describing<br />
a patient with an oral health problem, and<br />
then identify the key information related to<br />
the given case and describe it according to the<br />
pattern: Patient with a problem, Intervention,<br />
Comparison, Outcome (PICO format). In<br />
the second phase, the students find proper<br />
evidence in the literature, and in the third one,<br />
the students answer questions and critically<br />
evaluate the quality of evidence. 11,15<br />
Portfolio assessment is based on students’<br />
gathering proofs of their work by means of<br />
various methods, including treatment of the<br />
patients for longer periods, presentation of<br />
clinical cases, copies of evaluation, projects,<br />
posters and abstracts, and their own comments,<br />
and reflection on the education process. The<br />
reflection component enables the teacher to<br />
estimate the level of students’ self-assessment<br />
and their capability of reflection. The portfolio<br />
should be periodically reviewed to evaluate<br />
students’ progress toward specific competences,<br />
and the review of its content creates the<br />
opportunity of a dialogue between a teacher<br />
and a student directed at the outcomes of the<br />
student’s work. The portfolio without student’s<br />
self-assessment and reflection becomes “a<br />
scrapbook album”. 4,11,16<br />
Student’s self-assessment is based<br />
on critical assessment of student’s own<br />
performance of procedure and reflection on the<br />
means to improve the quality of a subsequent<br />
procedure. 11<br />
Computer-based simulation consists of the<br />
evaluation by the students’ of a simulation<br />
describing patient care scenarios, usually<br />
466<br />
(format SOAP – Subjective data, Objective<br />
data, Assessment, Plans) opartych na odnośnikach<br />
piśmiennictwa potwierdzających <strong>do</strong>konaną<br />
przez studenta ocenę i terapeutyczne<br />
decyzje, i przekazaniu nauczycielowi, który<br />
obserwował działania w fazie pierwszej. Z<br />
kolei trzeci „skok” jest egzaminem ustnym<br />
prowadzonym przez tego samego nauczyciela,<br />
podczas którego student jest pytany o mechanizmy<br />
patologiczne powodujące zaburzenia<br />
u zbadanego pacjenta, diagnozę, opcje leczenia<br />
i prognozę. Ocenia się każdą fazę oddzielnie<br />
i oblicza skumulowaną ocenę trzech<br />
„skoków”. Ta metoda oceny określa z<strong>do</strong>lność<br />
<strong>do</strong> analizy i zastosowania wiedzy biomedycznej<br />
w problemach stomatologicznych. TJE<br />
zastosowany w ocenie zajęć przedklinicznych<br />
koncentruje się na umiejętnościach studentów<br />
w wyszukaniu piśmiennictwa <strong>do</strong>tyczącego<br />
danego problemu. W pierwszej fazie<br />
studenci zapoznają się z opisem problemów<br />
zdrowotnych pacjenta, potem identyfikują<br />
kluczowe informacje <strong>do</strong>tyczące podanego<br />
przypadku i opisują je wg schematu: pacjent<br />
z problemem, interwencja, porównanie, wyniki<br />
(format PICO – Patient with problem,<br />
Intervention, Comparison, Outcome). W drugie<br />
fazie studenci znajdują stosowne <strong>do</strong>wody<br />
w piśmiennictwie, a w trzeciej – opisują<br />
stwierdzenia, odpowiadają na pytania i oceniają<br />
jakość <strong>do</strong>wodów. 11,15<br />
Ocena oparta na portfolio (portfolio) polega<br />
na zbieraniu przez studentów <strong>do</strong>wodów<br />
ich pracy za pośrednictwem różnych metod,<br />
w tym leczenia pacjentów przez dłuższy okres,<br />
prezentacji przypadków, kopii ewaluacji, projektów,<br />
posterów i abstraktów oraz własnych<br />
komentarzy i refleksji o procesie nauczania.<br />
Komponenta refleksji pozwala nauczycielowi<br />
ocenić poziom samoświa<strong>do</strong>mości studentów<br />
i ich z<strong>do</strong>lności <strong>do</strong> refleksji. Portfolio powinno<br />
być okresowo stosowane celem ewaluacji
2011, 64, 7 Assessment of education<br />
involving tasks such as clinical examination,<br />
diagnosis and treatment planning. 11<br />
Paper and presentation assessment<br />
comprises evaluation of a research report or<br />
presentation on a given topic prepared by<br />
the student in the aspect of its quality and<br />
thoroughness. 11,15<br />
Unit requirements is the assessment based<br />
on a designated number of specific dental<br />
procedures that are performed by the students<br />
in a definite period and used as an indicator of<br />
clinical competence in the traditional model<br />
of education. Of late, this method of student’s<br />
evaluation has been criticized since the student<br />
can look for patients fulfilling the conditions of<br />
the norm performance, and treats the patient as<br />
an educational tool. Over-reliance on the norms<br />
implies the situation in which the students are<br />
encouraged to place their own requirement<br />
for a specific number of procedures over the<br />
patient’s health needs. It was demonstrated that<br />
students working without any definite limits<br />
of procedures perform the same number of<br />
procedures as students operating without limits,<br />
and work under lower stress. 11,17-21 Dental<br />
schools in the U.S. started to move away from<br />
the unit requirement system in the 1990s. 11,18<br />
However, norms of dental procedures are in<br />
force at Polish universities, minimum quotas for<br />
types and numbers of specific dental procedures<br />
have been established in the majority of dental<br />
disciplines for the whole country.<br />
360-degree assessment (also called<br />
multisource assessment) is based on the evaluation<br />
of the student by many persons – members of<br />
the clinical team, and patients. The evaluators<br />
measure the same parameters according to the<br />
same scale with an additional extension of special<br />
aspects focusing on particular areas for the<br />
given discipline. This method helps to identify<br />
differences between student’s self-assessment<br />
and evaluation by various evaluators. It serves<br />
progresji studentów w kierunku uzyskania specyficznych<br />
kompetencji. Ten przegląd stanowi<br />
sposobność <strong>do</strong> dialogu nauczyciela ze studentem<br />
ukierunkowanego na wyniki jego pracy.<br />
Bez samooceny i refleksji portfolio staje się<br />
albumem z wycinkami. 4,11,16<br />
Samoocena studenta (student`s self-assessment)<br />
polega na własnej ocenie wykonanej<br />
przez studenta procedury i refleksji <strong>do</strong>tyczącej<br />
poprawy jakości kolejnego zabiegu. 11<br />
Symulacja wspomagana komputerowo<br />
(computer-based simulation) sprowadza się<br />
<strong>do</strong> oceny przez studenta symulacji przedstawiającej<br />
scenariusz leczenia pacjenta. Zwykle<br />
<strong>do</strong>tyczy takich zadań jak badanie, diagnoza i<br />
planowanie leczenia. 11<br />
Ocena <strong>do</strong>niesienia naukowego i prezentacji<br />
(paper and presentation assessment) sprowadza<br />
się <strong>do</strong> ewaluacji <strong>do</strong>niesienia lub prezentacji<br />
omawiających przydzielony studentowi<br />
temat w aspekcie jakości i gruntowności<br />
opracowania. 11,15<br />
Ocena oparta na liczbie wymaganych zabiegów<br />
wykonywanych przez studenta w określonym<br />
przedziale czasu (unit requirements)<br />
stosowana jest jako wskaźnik kompetencji klinicznej<br />
w tradycyjnym modelu edukacji. Ten<br />
sposób ewaluacji studenta jest krytykowany w<br />
ostatnich latach ze względu na to, że student<br />
może szukać pacjentów spełniających warunki<br />
wykonania normy zabiegów i traktuje się pacjenta<br />
jako narzędzie edukacyjne. Nadmierne<br />
poleganie na normach implikuje sytuację w<br />
której studenci są zachęcani <strong>do</strong> przedłożenia<br />
potrzeby liczby wykonanych zabiegów nad<br />
potrzeby lecznicze pacjenta. Wykazano, że<br />
studenci pracujący bez określonych limitów<br />
procedur wykonują tyle samo zabiegów, co<br />
studenci obarczeni limitem i pracują w mniejszym<br />
stresie. 11,17-21 W uczelniach stomatologicznych<br />
Stanów Zjednoczonych zaczęto odstępować<br />
od systemu oceny na podstawie licz-<br />
467
U. Kaczmarek J Stoma<br />
to assess professionalism and interpersonal<br />
communication skill, improvement of practical<br />
skills and it also constitutes constructive feedback<br />
for the improvement of the level of patient<br />
care. 4,5,22<br />
Continuous assessment comprises<br />
permanent evaluation of the students during<br />
their education process and the outcomes<br />
are taken into account at graduation. This<br />
evaluation can be included in the final exam, or<br />
constitute its alternative. It involves theoretical<br />
and practical activities, presentations, projects<br />
and other forms of education. 15<br />
Critically Appraised Topic Summary<br />
(CATS) is a method of assessment of<br />
the student’s ability to apply biomedical<br />
knowledge to optimal decisions making. It is<br />
similar to TJE, because it begins with clinical<br />
case description followed by identification of<br />
unknown factors which should be examined,<br />
and then the investigative problem is described<br />
in the PICO format, suitable data from the<br />
literature are searched for, analyzed and<br />
finally written as recapitulation which contains<br />
answers to questions and recommendations<br />
based on evaluation of scientific research.<br />
Therefore, this method requires the generation<br />
of scientific facts, and review of available<br />
literature with critical evaluation of evidence<br />
presented in a written recapitulation. Similarly<br />
to THE and OSCE (to certain extent), this<br />
method evaluates application of biomedical<br />
knowledge, the ability to analyze, and selflearning<br />
ability. 11,15,23-25<br />
Clinical Competency Examination is<br />
based on performance of designated tasks and<br />
procedures on a patient in clinical conditions<br />
without teacher’s help. The treatment process<br />
and its outcome (e.g. insertion of a resin<br />
composite restoration) are observed by a teacher<br />
and evaluated according to a rating scale. 11<br />
Basing on a questionnaire survey which<br />
468<br />
by wykonanych zabiegów w latach 90. XX<br />
wieku. 11,18 Natomiast w uczelniach polskich<br />
obowiązują normy zabiegów, gdzie w skali<br />
kraju ustalono w większości dyscyplin stomatologicznych<br />
minimalne liczby procedur, jakie<br />
powinien wykonać student.<br />
Ocena 360 stopni (360-degree assessment)<br />
zwana również wieloźródłową oceną (multisource<br />
assessment) polega na ocenie studenta<br />
przez wiele osób – członków zespołu klinicznego<br />
i pacjentów. Oceniający mierzą te<br />
same parametry wg tej samej skali z <strong>do</strong>datkowym<br />
rozszerzeniem specjalnych aspektów<br />
wychwytujących obszary szczególne dla danej<br />
dyscypliny. Metoda ta pomaga zidentyfikować<br />
różnice między samooceną studenta<br />
a ocenami innych osób. Służy <strong>do</strong> określenia<br />
profesjonalizmu i umiejętności komunikacji<br />
interpersonalnej, poprawy umiejętności praktycznych<br />
i także stanowi konstruktywne sprzężenie<br />
zwrotne <strong>do</strong> poprawy poziomu opieki nad<br />
pacjentem. 4,5,22<br />
W ocenie ciągłej (continuous assessment)<br />
studenci są oceniani stale podczas ich kształcenia,<br />
zaś rezultaty ocen są uwzględnianie przy<br />
zakończeniu studiów. Ocena ta może być łączona<br />
z końcowym egzaminem lub stanowić<br />
dla niego alternatywę. Obejmuje zajęcia teoretyczne<br />
i praktyczne, prezentacje, projekty i<br />
inne formy kształcenia. 15<br />
Krytyczna sumacyjna ocena zadania<br />
(Critically Appraised Topic Summary - CATS)<br />
jest metodą oceny z<strong>do</strong>lności studenta <strong>do</strong> zastosowaniu<br />
wiedzy biomedycznej w podejmowaniu<br />
optymalnych decyzji. Jest zbliżona <strong>do</strong><br />
TJE, gdyż rozpoczyna się od zapoznania się z<br />
opisem przypadku klinicznego lub faktycznej<br />
prezentacji pacjenta, po której następuje identyfikacja<br />
nieznanych czynników, które trzeba<br />
zbadać, a następnie opisuje się kwestie badawcze<br />
w formacie PICO, szuka odpowiednich<br />
danych w piśmiennictwie, analizuje je i
2011, 64, 7 Assessment of education<br />
involved 93% dental school from U.S. (43/<br />
45) and 45% (approx. 1000) course directors<br />
responsible for realization of dental courses,<br />
Albino et al. 11 estimated the frequency of use<br />
of various methods of assessment of education<br />
outcomes. They showed that Case-based<br />
Multiple-Choice Questions test was applied<br />
most often (16%), followed by Multiple Choice<br />
Question test without clinical context (12%),<br />
daily evaluation in clinic (12%) and clinical<br />
competency examination (11%). The following<br />
methods were used less often: evaluation of<br />
technical skills in practical labs (8%), student<br />
self-assessment (7%), essay, oral exam and<br />
longitudinal evaluation in clinic (4% each),<br />
and research project and report, procedural<br />
unit requirements, computer-based simulation<br />
and OSCE (3% each). Critical Appraised<br />
Topic Summary – CATS and Chart-stimulated<br />
evaluation (2% each), and Portfolio and Triple<br />
Jump Exercise – TJE were used more sel<strong>do</strong>m<br />
(1% each).<br />
Assessment of various skills requires different<br />
types of evaluation; multiple choice question<br />
tests can be used to assess knowledge, and<br />
is not suitable for the evaluation of clinical<br />
competence. 6,7 One should consider which<br />
abilities are to be assessed – knowledge,<br />
performance or competence, and choose proper<br />
evaluation tools. Miller 26 presented the frames of<br />
goals of competence assessment in the form of a<br />
pyramid. Its base is knowledge – the component<br />
of competence “to know” (knowledge of basic<br />
facts), which is followed by the next level<br />
“to know how” (application of knowledge).<br />
This level is more clinical competency than<br />
knowledge alone. The next level – “to show<br />
how” – is rather a behavioural than a cognitive<br />
function, and requires abilities to demonstrate<br />
clinical competence, i.e. it demonstrates the<br />
manual skill. 4 The final goal of clinical ability<br />
assessment is the “to <strong>do</strong>” level, i.e. performance<br />
pisze podsumowanie zawierające odpowiedzi<br />
na pytania i zalecenia oparte na badaniach naukowych.<br />
Zatem, metoda ta wymaga generacji<br />
kwestii naukowych i przeglądu <strong>do</strong>stępnego<br />
piśmiennictwa z krytyczną oceną <strong>do</strong>wodów<br />
prezentowaną w pisemnym podsumowaniu.<br />
Po<strong>do</strong>bnie jak TJE i OSCE (w pewnej mierze),<br />
metoda ta określa zastosowanie wiedzy biomedycznej,<br />
z<strong>do</strong>lność <strong>do</strong> analizy i z<strong>do</strong>lność <strong>do</strong><br />
samodzielnego uczenia się. 11,15,23-25<br />
Kliniczny Kompetencyjny Egzamin<br />
(Clinical Competency Examination) polega<br />
na wykonaniu przez studenta określonych zadań<br />
i procedur u pacjenta w warunkach klinicznych<br />
bez pomocy nauczyciela. Proces leczenia<br />
i jego wynik (np. wykonanie wypełnienia<br />
z materiału złożonego) są obserwowane przez<br />
nauczyciela i oceniane wg skali. 11<br />
Albino i wsp. 11 w oparciu o badanie kwestionariuszowe,<br />
w którym uczestniczyło 93%<br />
uczelni stomatologicznych w USA (43/45) i<br />
45% (około 1000) osób odpowiedzialnych za<br />
realizacje przedmiotów stomatologicznych,<br />
określili częstość stosowania różnych metod<br />
oceniających rezultaty kształcenia studenta.<br />
Wykazali, że najczęściej stosowano test wielokrotnego<br />
wyboru oparty na przypadkach klinicznych<br />
(16%), a następnie test wielokrotnego<br />
wyboru bez kontekstu klinicznego (12%),<br />
codzienną ocenę kliniczną (12%) i kliniczny<br />
egzamin kompetencyjny (11%). Rzadziej<br />
stosowano ocenę technicznych umiejętności<br />
na praktycznych zajęciach przedklinicznych<br />
(8%), samoocenę studenta (7%) oraz egzamin<br />
pisemny, egzamin ustny i długoterminową<br />
ocenę kliniczną (każde po 4%), a także ocenę<br />
projektu i raportu, limity zabiegów, symulację<br />
wspomaganą komputerowo i OSCE (po 3%).<br />
Najrzadziej stosowano krytyczną sumacyjną<br />
ocenę zadania – CATS (2%) i przegląd zapisu<br />
(2%) oraz portfolio (1%) i ćwiczenie potrójnego<br />
skoku –TJE (1%).<br />
469
U. Kaczmarek J Stoma<br />
of treatment procedure. It is necessary to use<br />
proper methods of evaluation in the assessment<br />
of particular components of competencies. The<br />
methods are depicted in Fig. 3.<br />
The aim of undergraduate teaching is to educate<br />
a competent graduate capable of undertaking<br />
independent, unsupervised dental practice, and<br />
therefore education based on competence is<br />
Fig. 3. Miller’s pyramid of professional competence with<br />
examples of assessment methods. 26<br />
Piramida Millera profesjonalnej kompetencji z przykładami<br />
metod oceny. 26<br />
recommended. It requires proper design of<br />
curriculum. 27-30 Competency-based education<br />
(CBL) was introduced to the universities in<br />
the U.S. during the 1950s, but only in 1995<br />
it was implemented to the standards of dental<br />
students’ education. Education standards were<br />
revised in 2008, and the effect was included<br />
in the <strong>do</strong>cument Competencies for the New<br />
General Dentist. 15,31 It is characterized by<br />
basing the outcomes of teaching on professional<br />
responsibility and tasks of a dental practitioner,<br />
the teaching curriculum is focused on what<br />
the student should learn to fulfill professional<br />
tasks, modules are sequenced hierarchically<br />
in the curriculum allowing the students to<br />
470<br />
Ocena różnych umiejętności wymaga różnych<br />
rodzajów ewaluacji. Dla oceny wiedzy<br />
można zastosować test wielokrotnego wyboru,<br />
który nie jest odpowiedni <strong>do</strong> oceny kompetencji<br />
klinicznych. 6,7 Należy się zastanowić nad<br />
tym, jakie z<strong>do</strong>lności studenta chce się oceniać<br />
– wiedzę, wykonanie czy kompetencję i wybrać<br />
właściwe narzędzie. Miller 26 opisał ramy<br />
celów oceny kompetencji w formie piramidy.<br />
Jej podstawę stanowi komponenta kompetencji<br />
wiedza – „wiedzieć” (znajomość podstawowych<br />
faktów) po której następuje kolejny<br />
poziom - „wiedzieć jak” (zastosowanie wiedzy).<br />
Poziom ten jest bardziej kliniczną kompetencją<br />
niż sama wiedza. Następny poziom<br />
„pokazać jak” jest raczej funkcją behawioralną<br />
niż kognitywną i wymaga z<strong>do</strong>lności <strong>do</strong> demonstracji<br />
klinicznej kompetencji, tj. prezentuje<br />
umiejętność manualną. 4 Końcowym celem<br />
oceny klinicznej z<strong>do</strong>lności jest wykonanie<br />
– poziom „wykonać”, czyli wykonanie procedury<br />
leczniczej. W ocenie poszczególnych<br />
kompetencji należy zastosować odpowiednie<br />
metody oceny, które zilustrowano na Fig. 3.<br />
Celem nauczania przedyplomowego jest wykształcenie<br />
kompetentnego absolwenta z<strong>do</strong>lnego<br />
<strong>do</strong> prowadzenia samodzielnej, nienadzorowanej<br />
praktyki stomatologicznej i dlatego<br />
zaleca się kształcenie oparte na kompetencji.<br />
Wymaga to odpowiedniego zaprojektowania<br />
programu nauczania. 27-30 Edukacja oparta na<br />
kompetencji (competency-based education –<br />
CBL) została wprowadzona <strong>do</strong> szkolnictwa<br />
wyższego w USA w latach 50. XX wieku, ale<br />
<strong>do</strong>piero w 1995 r. implementowano ją <strong>do</strong> standardów<br />
nauczania studentów stomatologii. W<br />
2008 r. <strong>do</strong>konano rewizji standardów co znalazło<br />
wyraz w <strong>do</strong>kumencie „Kompetencje nowego<br />
stomatologa ogólnego” (Competencies for<br />
the New General Dentist). 15,31 Charakteryzuje<br />
się wynikami nauczania opartymi na odpowiedzialności<br />
zawo<strong>do</strong>wej i zadaniach stomatolo-
2011, 64, 7 Assessment of education<br />
proceed through the curriculum at their own<br />
pace, and methods of assessment are directed<br />
at measuring unassisted students’ performance<br />
in the conditions approximated to the real<br />
vocational environment.<br />
At present, in the preamble to the American<br />
Dental Education Association (ADEA)<br />
competency is defined as “a complex of<br />
behaviour or ability essential for the general<br />
dentist to begin independent, unsupervised<br />
dental practice. Competency includes<br />
knowledge, experience, critical thinking<br />
and problem-solving skills, professionalism,<br />
ethical values, and technical and procedural<br />
skills. These components become an integrated<br />
whole during the delivery of patient care by the<br />
competent general dentist”. 11,15,31 However,<br />
recommendations of the Association for Dental<br />
Education in Europe, 2010 (ADEE) advocate<br />
education based on evidence involving critical<br />
thinking and taking into account educational<br />
needs of the student and oral health needs of<br />
the patient and community as well. 6,7<br />
The priority of competency-based education<br />
is an appraisal of students’ readiness to dental<br />
practice based on assessment of student’s overall<br />
competence or the ability to “put together”<br />
skills called component competencies which<br />
are often taught and evaluated separately in<br />
particular disciplines, and also on the evaluation<br />
of multiple data sources (based on the principle<br />
of triangulation) being more accurate than<br />
single-source measures. 11,15,32 The concept<br />
of general competence was first presented by<br />
Chambers in 2001. 33<br />
In the evaluation of general competency, the<br />
students are recommended to work in a real dental<br />
practice environment (in-school internship)<br />
for at least 2 months. During this period, the<br />
students work under daily supervision by small<br />
groups of faculty teachers, who observe and<br />
estimate them in the range of measurements of<br />
ga praktyka, programem nauczania skoncentrowanym<br />
na tym, czego student powinien się<br />
nauczyć, aby wykonywać zadania zawo<strong>do</strong>we,<br />
hierarchicznie uplasowanymi w programie<br />
modułami pozwalającymi studentom we własnym<br />
tempie realizować program oraz metodami<br />
oceny mierzącymi wykonywanie procedur<br />
leczniczych przez studentów bez udziału nauczyciela<br />
w warunkach zbliżonych <strong>do</strong> rzeczywistego<br />
śro<strong>do</strong>wiska pracy zawo<strong>do</strong>wej. Obecnie<br />
w preambule Amerykańskiego Towarzystwa<br />
Edukacji Stomatologicznej (American Dental<br />
Education Association - ADEA) kompetencja<br />
definiowana jest jako „kompleks zachowania<br />
lub z<strong>do</strong>lności istotnych dla stomatologa ogólnego<br />
warunkujących samodzielną, nienadzorowaną<br />
praktykę stomatologiczną. Kompetencja<br />
obejmuje wiedzę, <strong>do</strong>świadczenie, krytyczne<br />
myślenie i umiejętności rozwiązywania problemów,<br />
profesjonalizm, wartości etyczne<br />
oraz techniczne i proceduralne umiejętności.<br />
Komponenty te stają się zintegrowane podczas<br />
zapewniania opieki stomatologicznej pacjentowi<br />
przez kompetentnego stomatologa. 11,15,31<br />
Natomiast w rekomendacjach Towarzystwa<br />
Edukacji Stomatologicznej w Europie z 2010<br />
r. (Association for Dental Education in Europe<br />
- ADEE) zaleca się nauczanie oparte na <strong>do</strong>wodach<br />
naukowych obejmujące krytyczne myślenie<br />
i uwzględnianie potrzeb edukacyjnych<br />
studenta jak również potrzeb zdrowotnych pacjenta<br />
i społeczeństwa. 6,7<br />
W edukacji opartej na kompetencji priorytetem<br />
jest oszacowanie gotowości studenta<br />
<strong>do</strong> praktyki stomatologicznej oparte na ocenie<br />
ogólnej kompetencji studenta lub z<strong>do</strong>lności<br />
<strong>do</strong> „złożenia w całość” umiejętności zwanych<br />
komponentami kompetencji, które są często<br />
nauczane i oceniane oddzielnie w poszczególnych<br />
dyscyplinach oraz na ocenie z wielorakich<br />
źródeł danych (opartych na triangulacji),<br />
które są bardziej <strong>do</strong>kładne niż pojedyncze po-<br />
471
U. Kaczmarek J Stoma<br />
Fig. 4. Component/silo competencies and general competence according to Albino et al. 11<br />
Komponenty kompetencji („silo” kompetencje) i ogólna kompetencja wg Albino i wsp. 11<br />
reproducibility of components competencies,<br />
visible passage between individual skills in<br />
the range of particular dental specialty (called<br />
competence component or silo competencies)<br />
to general competency during patient treatment,<br />
the depth of student’s knowledge, punctuality,<br />
good manners, appearance, coping with stress<br />
and capability of self-assessment and selfcorrection.<br />
11 Components of competency (silo<br />
competencies) and general competency are<br />
presented in Fig. 4.<br />
Figure 5 depicts pattern of general competency<br />
assessment based on triangulation. 34 In this<br />
model, “performance” includes three Ps: process<br />
(human factors such as communications,<br />
diligence, organization, compassion, and<br />
ethical behaviour), product (the result of patient<br />
treatment) and procedure (manual skills –<br />
technical skills necessary to provide dental care).<br />
Self-Appraisal & Reflection (A&R), making up<br />
the second angle (leg) of a triangle, present<br />
472<br />
miary. 11,15,32 Koncepcję ogólnej kompetencji<br />
jako pierwszy podał Chambers w 2001 roku. 33<br />
W ocenie ogólnej kompetencji zaleca się, aby<br />
studenci przez przynajmniej 2 miesiące funkcjonowali<br />
w śro<strong>do</strong>wisku rzeczywistej praktyki<br />
stomatologicznej. Pracują oni wtedy pod nadzorem<br />
małych grup nauczycieli wydziału, którzy<br />
obserwują i oceniają ich w zakresie pomiarów<br />
powtarzalności komponent kompetencji,<br />
<strong>do</strong>strzegalnego przejścia między poszczególnymi<br />
umiejętnościami w zakresie pojedynczej<br />
specjalności stomatologicznej (zwanej komponentą<br />
kompetencji lub silo kompetencją) <strong>do</strong><br />
ogólnej kompetencji podczas leczenia pacjenta,<br />
głębokości wiedzy, <strong>do</strong>kładności, <strong>do</strong>brych<br />
manier, wyglądu, radzenia sobie ze stresem<br />
i z<strong>do</strong>lności <strong>do</strong> samooceny i samokorekty. 11<br />
Komponenty kompetencji (silo kompetencje)<br />
i ogólną kompetencję zilustrowano na Fig. 4.<br />
Z kolei na Fig. 5. zilustrowano schemat oceny<br />
ogólnej kompetencji oparty na triangula-
2011, 64, 7 Assessment of education<br />
Fig. 5. Triangular model to provide multiple sources of<br />
data for three legs of competency assessment<br />
(according to Jahangiri et al. 34<br />
Triangularny model <strong>do</strong>starczający danych z wielu źródeł<br />
w ocenie trzech elementów kompetencji wg Jahangiri i<br />
wsp. 34<br />
the ability of the students to formulate own<br />
opinion and perceive the need for correction<br />
(self-correction), while knowledge makes up<br />
the third angle (leg) of a triangle.<br />
In the assessment of performance long-term<br />
observation is recommended, in knowledge<br />
evaluation – Multiple Choice Question test<br />
based on clinical cases (Case-based MCQ),<br />
Triple Jump Exercise (TJE), and Critically<br />
Appraised Topic Summary (CATS), and<br />
Portfolio is advocated in the evaluation of<br />
self-assessment and reflection.<br />
Conclusions<br />
Among numerous methods used in the<br />
evaluation of the outcomes of the education<br />
process of dentists one can find methods<br />
assessing comprehensively several <strong>do</strong>mains of<br />
competency. It is important to choose proper<br />
assessment methods that will provider an answer<br />
to the essential question of whether the final goal<br />
of dental education – a competent general dental<br />
practitioner – has been obtained. At present,<br />
cji. 34 W modelu tym „wykonanie” obejmuje<br />
trzy „p”: proces (czynniki ludzkie takie jak komunikacja,<br />
pracowitość, organizacja, współczucie,<br />
zachowanie etyczne), produkt (wynik<br />
leczenia pacjenta) i procedurę (umiejętności<br />
manualne – techniczne niezbędne <strong>do</strong> sprawowania<br />
opieki stomatologicznej). Samoocena i<br />
refleksja stanowiąca drugi kąt trójkąta („nogę”)<br />
prezentuje z<strong>do</strong>lność <strong>do</strong> oceny własnej i <strong>do</strong>strzeżenie<br />
potrzeby korekty (samokorekta), a<br />
trzeci kąt trójkąta („nogę”) stanowi wiedza.<br />
W ocenie „wykonania” zaleca się stosowanie<br />
długoterminowej obserwacji, w ewaluacji<br />
„wiedzy” – test z pytaniami wielokrotnego wyboru<br />
oparty na przypadkach klinicznych (case-based<br />
MCQ), ćwiczenie potrójnego skoku<br />
(TJE) i krytyczną sumacyjną ocenę zadania<br />
(CATS), a w ocenie samooceny i refleksji zaleca<br />
się portfolio.<br />
Podsumowanie<br />
Wśród wielu metod stosowanych w ewaluacji<br />
procesu kształcenia stomatologa można<br />
znaleźć metody oceniające wszechstronnie<br />
kilka <strong>do</strong>men kompetencji. Istotny jest wybór<br />
właściwych metod ewaluacyjnych, które pozwolą<br />
odpowiedzieć na pytanie czy uzyskano<br />
ostateczny cel – kompetentnego stomatologa.<br />
Obecnie za najlepsze metody oceniające gotowość<br />
<strong>do</strong> wzięcia odpowiedzialności zawo<strong>do</strong>wej<br />
uważane są: obiektywny strukturalny<br />
kliniczny egzamin (OSCE), ćwiczenie potrójnego<br />
skoku (TJE), krytyczną sumacyjną ocenę<br />
zadania (CATS) i pracę w śro<strong>do</strong>wisku rzeczywistej<br />
praktyki stomatologicznej (in-school internship)<br />
w kontekście triangularnego modelu<br />
oceny kompetencji.<br />
473
U. Kaczmarek J Stoma<br />
the methods considered best in the assessment<br />
of readiness for professional responsibility are:<br />
Objective Structured Clinical Examination<br />
(OSCE), Triple Jump Exercise (TJE), Critically<br />
Appraised Topic Summary (CATS), and inschool<br />
internships in the context of triangular<br />
model of competency assessment.<br />
References<br />
1. Autonomia uczelni. Ramy kwalifikacji dla<br />
szkolnictwa wyższego. Ministerstwo Nauki i<br />
Szkolnictwa Wyższego, 2011.<br />
2. Epstein RM, Hundert EM: Defining and assessing<br />
professional competence. JAMA<br />
2002; 287: 226–235.<br />
3. Knight GW: Toward faculty calibration. J<br />
Dent Educ 1997; 61: 941–946.<br />
4. Wass V, Bowden E, Jackson N: The principles<br />
of assessment design. In: N Jackson, A<br />
Jamieson, A Khan: Assessment in Medical<br />
Education and Training: A Practical Guide<br />
Radcliffe Publishing Ltd. 2007: 11-26.<br />
5. Wass V, Van der Vleuten C, Shatzer J, Jones<br />
R: Assessment of clinical competence. Lancet<br />
2001; 357, 9260: 945-949.<br />
6. Association for Dental Education in Europe.<br />
Task Force II. 2010 Update. Curriculum<br />
structure, content, learning and assessment<br />
in European undergraduate dental education<br />
– Update 2010. www.adee.org/cms/uploads/adee/Task_Force_II_Curriculum_Struct_<br />
Content_Learning_Assessment.pdf<br />
7. Association for Dental Education in Europe<br />
Task Force II, Appendix 2 – Assessment.<br />
2010 Update Curriculum Structure, Content,<br />
Learning and Assessment in European<br />
Undergraduate Dental Education. www.<br />
adee.org/cms/uploads/adee/Task_Force_II_<br />
APPENDIX_2_Assessment.pdf<br />
474<br />
8. Bloom BS: Taxonomy of educational objectives.<br />
New York: Dacid MxKay, 1972.<br />
9. Anderson L, Krathwohl DR: Taxonomy for<br />
Learning, Teaching and Assessing: A Revision<br />
of Bloom’s Taxonomy of Educational<br />
Objectives. New York: Longman 2001.<br />
10. ADEA Competencies for the New General<br />
Dentist: As approved by the 2008 ADEA<br />
House of Delegates. J Dent Educ 2011; 75:<br />
932-935.<br />
11. Albino JEN, Young SK, Neumann LM,<br />
Kramer GA, Andrieu SC, Henson L, Horn B,<br />
Hendricson WD: Assessing Dental Students’<br />
Competence: Best Practice Recommendations<br />
in the Performance Assessment Literature<br />
and Investigation of Current Practices in<br />
Pre<strong>do</strong>ctoral Dental Education. J Dent Educ<br />
2008; 72: 1405-1435.<br />
12. Bazrafkan L, Shokrpour N, Torabi K:<br />
Comparison of the Assessment of Dental<br />
Students’ Laboratory Performance through<br />
MCQ and DOPS Methods. J Med Educ 2009;<br />
13: 3-8.<br />
13. Azer SA: Assessment in a problem-based learning<br />
course. Biochem Mol Biol Educ 2003;<br />
31: 248–434.<br />
14. Haladyna TM: Developing and validating<br />
multiple-choice test items. 3rd ed. Mahwah,<br />
NJ: Lawrence Erlbaum Associates, 2004.<br />
15. 2011 ADEA Official Guide to Dental Schools.<br />
Teaching methods. www.adea.org/publications/Pages/OfficialGuide.aspx
2011, 64, 7 Assessment of education<br />
16. Buckley S, Coleman J, Davison I, Khan KS,<br />
Zamora J, Malick S, Morley D, Pollard D,<br />
Ashcroft T, Popovic C, Sayers L: The educational<br />
effects of portfolios on undergraduate<br />
student learning: a Best Evidence Medical<br />
Education (BEME) systematic review. BEME<br />
Guide No. 11. Med Teach 2009; 31: 282-<br />
-298.<br />
17. Henzi D, Davis E, Jasinevicius R, Hendricson<br />
W: North American dental students’ perspectives<br />
about their clinical education. J Dent<br />
Educ 2006; 7: 361–377.<br />
18. Henzi D, Davis E, Jasinevicius R, Hendricson<br />
W: In the students’ own words: what are the<br />
strengths and weaknesses of the dental school<br />
curriculum? J Dent Educ 2007; 71: 632–<br />
–645.<br />
19. Hendricson WD, Cohen PA: Oral health care<br />
in the 21st century: implications for dental<br />
and medical education. Acad Med 2001;<br />
76:1181–1206.<br />
20. Hicks JL, Dale RA, Hendricson WD, Lauer<br />
WR: Effects of reducing senior clinical requirements.<br />
J Dent Educ 1985; 49: 169–175.<br />
21. Dodge WW, Dale RA, Hendricson WD: A preliminary<br />
study of the effect of eliminating requirements<br />
on clinical performance. J Dent<br />
Educ 1993; 57: 667–672.<br />
22. Rogers KG, Manifold C: 360-degree feedback:<br />
possibilities for assessment of the<br />
ACGME core competencies for emergency<br />
medicine residents. Acad Emerg Med 2002;<br />
9: 1300-1304.<br />
23. Wyer PC: The critically appraised topic: closing<br />
the evidence transfer gap. Ann Emerg<br />
Med 1997; 30: 639–641.<br />
24. Suave R: The critically appraised topic: practical<br />
approach to learning critical appraisal.<br />
Ann CRMCC 1995; 28: 396-398.<br />
25. Iacopino AM: The influence of “new science”<br />
on dental education: current concepts, trends,<br />
and models for the future. J Dent Educ 2007;<br />
71: 450–462.<br />
26. Miller GE: The assessment of clinical skills/<br />
competence/performance. Acad Med 1990;<br />
65: S63–67.<br />
27. Holmboe ES, Sherbino J, Long DM, Swing<br />
SR, Frank JR: The role of assessment in competency-based<br />
medical education. Med Teach<br />
2010; 32: 676-682.<br />
28. Harris P, Snell L, Talbot M, Harden RM:<br />
Competency-based medical education: implications<br />
for undergraduate programs. Med<br />
Teach 2010; 32: 646-650.<br />
29. Dath D, Iobst W: The importance of faculty<br />
development in the transition to competency-<br />
-based medical education. Med Teach 2010;<br />
32: 683-686.<br />
30. Frank JR, Snell LS, Cate OT, Holmboe ES,<br />
Carraccio C, Swing SR, Harris P, Glasgow<br />
NJ, Campbell C, Dath D, Harden RM, Iobst<br />
W, Long DM, Mungroo R, Richardson DL,<br />
Sherbino J, Silver I, Taber S, Talbot M, Harris<br />
KA: Competency-based medical education:<br />
theory to practice. Med Teach 2010; 32: 638-<br />
-645.<br />
31. ADEA Competences for the new general dentist.<br />
www.adea.org/about_adea/governance/<br />
Pages/Competencies-for-the-New-General-<br />
Dentist.aspx<br />
32. Lockyer J: Multisource feedback in assessment<br />
of physician competencies. J Contin<br />
Educ Health Prof 2003; 23: 2–10.<br />
33. Chambers DW: Preliminary evidence for a<br />
general competency hypothesis. J Dent Educ<br />
2001; 65: 1243–1252.<br />
34. Jahangiri L, Mucciolo TW, Choi M, Spielman<br />
AI: Assessment of Teaching Effectiveness<br />
in U.S. Dental Schools and the Value of<br />
Triangulation. J Dent Educ 2008; 72: 707-<br />
-718.<br />
Address: 50-425 Wrocław, ul. Krakowska 26<br />
Tel.: 71 7840361<br />
e-mail: ukaczm@tlen.pl<br />
Paper received 20 September 2011<br />
Accepted 11 October 2011<br />
475