Методичні основи створення та використання тестів
Завдання підвищення якості освіти є важливим для будь-якої країни , але для України це актуальна і пріоритетна проблема. Система якості повинна розповсюджуватися не тільки на кінцевий, результативний, етап освітньої діяльності, але і на процес оволодіння знаннями, уміннями і навиками, охоплювати всі елементи освітнього процесу, сприяючі досягненню цього результату.
Особливе місце в системі якості освіти відводиться оцінці і контролю якості навчання. Як оволодівають учні учбовим матеріалом, наскільки вірні, міцні і гнучкі придбані учнями знання і уміння, які елементи, що коректують, слід внести до змісту і форми пізнавальної діяльності учнівів – ось той неповний перелік питань, які задає творчо працюючий викладач. Відповісти на них якоюсь мірою дозволяє педагогічне тестування. Добре складені тести по різних областях знання стають необхідною частиною будь-якого учбового процесу.
ПЕДАГОГІЧНЕ ТЕСТУВАННЯ В СИСТЕМІ ЯКОСТІ
ОСВІТНЬОГО ПРОЦЕСУ
В Україні, як і в інших країнах світу, останнім часом приділяється багато уваги питанням підвищення якості освіти. Інтелектуальний потенціал суспільства, що безпосередньо визначається якістю освіти, є найважливішим чинником не тільки економічного і соціального розвитку, але і чинником економічної і політичної самостійності країни, чинником її виживання.
Що вкладається в таке неоднозначне поняття як «якість освіти»? Одні під якістю освіти розуміють якість навчання, зводячи його до процентної кількості учнів, закінчили звітний період без трійок, тобто на «добре» і «відмінно». Інші зводять якість освіти до ступеня розвитку особи. Треті, під якістю утворення розуміють відсоток працевлаштованих випускників вузів.
Контроль якості необхідний повсюдно, при реалізації будь-якого завдання менеджменту якості, починаючи від планування і закінчуючи поліпшенням. Значення контролю полягає в тому, що він дозволяє вчасно виявити помилки, щоб потім оперативно виправити їх з мінімальними втратами. Контроль якості повинен охоплювати всі етапи робіт по наданню освітньої послуги: від планування освітнього процес до випуску учнів. Також дуже важливо, щоб основний об'єм контролю здійснювався у вигляді самоконтролю, коли виконавці робіт зацікавлені контролювати самі себе і самі ж можуть усунути виниклі проблеми. При цьому повинен зберігатися також незалежний контроль для проведення інспекторських перевірок. Оптимальний варіант – поєднання цих двох видів контролю, яке залежатиме головним чином від характеру освітньої послуги, що надається, і контингенту фахівців, що її надають.
Для того, щоб мати можливість оцінити якість освіти при проведенні контролюючих заходів, необхідно ввести поняття норми або еталону.
Норма якості освіти – виявлена і зафіксована документально система вимог до якості освіти, відповідних потребам особи, суспільства, держави.
Оцінка якості освіти є міра якості (числова або семантична), співвіднесена вимірювань властивостей (функцій), що виражає собою, з базою, яка фіксує еталонний рівень, норму якості. Оцінка якості може бути зовнішньою або внутрішньою (Жуків, 2002).
Зовнішня оцінка дається якості освіти державою, соціумом, професійним середовищем. За достатньо ефективну, універсальну зовнішню оцінку соціуму вважається конкурентоспроможність молодого фахівця на ринку праці, або результат його адаптації.
Під внутрішньою розуміється оцінка, дана самою особою або установою, що здійснює освітній процес. Така оцінка необхідна для здійснення зворотного зв'язку і корекції освітнього процесу. Особливе значення в освітньому процесі належить контролю і оцінюванню знань і умінь студента. Особливої цінності контролюючі заходи набувають тоді, коли вони використовуються не від випадку до випадку, а є системою тривалого безперервного контролю.
Сукупність безперервних контролюючих дій, що дозволяють спостерігати і коректувати в міру необхідності просування що вчиться від незнання до знання, називається моніторингом якості навчання.
Одін з найважливіших питань технології моніторингу – використання засобів і методів контролю засвоєння учбового матеріалу. Тут можуть бути привернуті контрольні питання, завдання, завдання і ін., проте найбільш ефективним є використання педагогічних тестів. Переваги педагогічного тестування перед традиційними методами контролю знань:
1. Вища об'єктивність контролю. У оцінці, що виставляється на основі традиційних методів контролю, істотним виявляється суб'єктивний компонент. Якщо тест достатньо якісний, то вплив суб'єктивних чинників виключається, і отримувана оцінка може розглядатися як об'єктивна.
2. Більш диференційована оцінка. У традиційних методах контролю користуються чотирибальною шкалою («відмінно», «добре», «задовільно», «незадовільно»). Результати тестування, завдяки особливій організації тестів, можуть бути представлені, якщо необхідно, в шкалах, багато градацій оцінки, що містять, що забезпечує вищу точність вимірювань учбових досягнень.
3. Вища ефективність. Тести можна одночасно проводити на великих групах студентів. Обробка результатів для отримання остаточних оцінок проводиться легше і швидше, ніж, скажімо, перевірка контрольних робіт. Особливо велика економія часу, коли у формі тестування проводяться іспити.
Звичайно, у тестування як методу контролю є і свої обмеження. Найлегше за допомогою тестів перевіряти оволодіння просто організованим учбовим матеріалом. Перевірка глибинного розуміння предмету, оволодіння стилем мислення, властивим дисципліні, що вивчається, за допомогою тестів утруднена, хоча в принципі можлива. Відсутність безпосереднього контакту із учнем, з одного боку, робить контроль об'єктивнішим, але, з іншого боку, підвищує вірогідність впливу на результат інших випадкових чинників.
Подолати ці недоліки допомагає правильно організована дидактична система оцінки якості навчання, в якій тести займають належне місце. Якнайкращий ефект дає поєднання застосування тестових і традиційних методів контролю.
Особливо ефективно автоматизоване тестування. Використання комп'ютерних технологій для автоматичного контролю знань полегшує перевірку робіт і централізоване зберігання результатів, а також отримання різних статистичних даних.
Види педагогічного тестування знань і умінь :
- вхідне: при початку навчання;
- поточне: протягом періоду навчання;
- рубіж: після закінчення вивчення розділу, теми;
- підсумкове: по закінченню вивчення дисципліни;
- відстрочене: через якийсь час після вивчення теми (від 3 місяців до року і більш).
Таким чином, педагогічне тестування займає певне самостійне місце в загальній системі якості освітнього процесу у вузі. При його правильній організації і навчанні викладацького складу, педагогічне тестування допомагає учневі критично оцінити свої успіхи, дозволяє отримувати інформацію про те, як відбувається оволодіння студентами учбовим матеріалом, які елементи учбового процесу недостатньо ефективні, які заходи, що коректують, слід внести до змісту і форми пізнавальної діяльності студентів.
СТРУКТУРА І ВЛАСТИВОСТІ ТЕСТУ
Залежно від предмету вимірювання виділяються тести педагогічні, психологічні, соціологічні, соціально-психологічні, культурологічні і ін. Педагогічні тести вимірюють ступінь засвоєння учбового матеріалу, оволодіння необхідними знаннями, уміннями і навиками, рівень учбових досягнень .
Формою тест є системою завдань. Тестові завдання зазвичай бувають короткими, щоб на виконання кожного не витрачалося багато часу. Кількість завдань зазвичай дорівнює декільком десяткам. Далеко не всяке завдання включається в тест. Воно має бути строго визначеним формою, змістом і спеціальним параметрам, що оцінюються в ході статистичного аналізу. Властивості завдань обумовлюють властивості всього тесту, тому говорять не просто про набір, а про систему завдань .
Розробка тесту починається з формулювання його мети, тобто визначення того, що тест повинен зміряти. У педагогічному тестуванні зазвичай вимірюються учбові досягнення по певній дисципліні.
Зміст будь-якого тесту по деякій дисципліні повинен відповідати робочій учбовій програмі цієї дисципліни. Програма дисципліни як складна дидактична система складається з модулів, що є логічно завершеною одиницею учбового матеріалу. У модуль можуть бути включені розділи, що містять теми, що складаються з питань. Кількість і зміст модулів визначається автором програми дисципліни, виходячи з цілей навчання, принципів структуризації учбового матеріалу.
Подальша робота із створення тесту проходить поетапно.
1 етап. Відбір учбового матеріалу, підмета тестового контролю, і його специфікація. Слід виділити круг тем кожного модуля, що включається в тест, і відносну кількість завдань, яким має бути представлений кожен модуль курсу. Мають бути чітко і однозначно описані всі знання, уміння і навики, володіння якими перевіряється за допомогою тесту. Іншими словами, необхідний чіткий опис т.з. області змісту тесту, тому що тільки на основі такого опису, при узгодженні з цілями тестування, можна розробити достатньо якісні тестові завдання.
Структура тесту формується відповідно до цілей і завдань, які визначені в державному стандарті спеціальності і в програмі дисципліни, затвердженої кафедри, що забезпечує її вивчення.
2 етап. Створення завдань в тестовій формі по всьому курсу або по його частині, що перевіряється, об'єднання їх в тематичні групи, комплектування первинного, пробного, тесту. Завдання, що входять в тест, підбираються так, щоб вони давали основу для перевірки деяких з таких категорій придбаних знань, як назви, імена; сенс слів, назв і імен; факти; визначення; порівняння, зіставлення об'єктів; протилежності, суперечності, антоніми і т.п.; асоціації; класифікації; причинно-наслідкові стосунки; алгоритми, процедури; технології і технологічні поняття; імовірнісні поняття; абстрактні поняття; методологія предмету . Кількість завдань може коливатися в широких межах, але зазвичай дорівнює декільком десяткам.
Добре складений тест забезпечує широту обхвату змісту предмету і перевіряє глибину знань, отриманих студентами.
3 етап. Перевірка первинного тесту на групі випробовуваних. Тестування починається з того, що випробовуваному дається інструкція про те, як працювати з тестом. Тестові завдання можуть бути заздалегідь віддруковані і роздані кожному випробовуваному на листах паперу або, при комп'ютерному тестуванні, видаватися на екран дисплея. Тестовані дають відповіді відповідно до інструкції – безпосередньо на листах паперу в місцях, спеціально передбачених для відповідей, або на дисплеї комп'ютера, користуючись для цього клавіатурою або мишкою.
4 етап. Обробка відповідей і статистичний аналіз результатів первинного тестування, вибраковування і коректування тестових завдань. Найпоширеніший спосіб оцінки полягає в тому, що за правильно виконане завдання випробовуваному дається один бал, а за неправильно виконане — нуль. Проте нерідко використовується і ширша, іноді безперервна шкала оцінок. Підсумовування всіх оцінок за завдання визначає тестову оцінку випробовуваного, що показує ступінь оволодіння учбовим матеріалом.
5 етап. Формування з минулих перевірку завдань власне тесту. Тест повинен складатися із завдань в тестовій формі, розташованих в порядку зростаючої трудності, з урахуванням належного рівня засвоєння знань і що максимально охоплюють всю програму дисципліни.
6 етап. Емпірична перевірка тесту. Уточнюються педагогічні характеристики як окремих тестових завдань, так і всього тесту в цілому, його валидность, надійність і ін.
4, 5 і 6 етапів повторюються неодноразово, Властивості завдань і тесту в цілому повинні забезпечувати якість і ефективність педагогічного вимірювання. Тест - не простий набір, а система завдань, що володіє складом, цілісністю і структурою. До складу тесту входять як самі завдання, так і правила їх застосування і оцінювання, а крім того – рекомендації по інтерпретації результатів тестування. У цілісному тесті завдання взаємозв'язані. В той же час кожне завдання в тесті виконує відведену йому роль, так що вилучення будь-якого з них знижує якість вимірювання рівня знань. Структура тесту, сформованого відповідно до структури учбової дисципліни, для якої він створений, виявляється за допомогою багатовимірного статистичного аналізу.
Завдання в тесті розташовуються в порядку зростання трудності.
Кожному тесту відповідає оптимальний час тестування, тобто час, для якого характерне максимальне значення дисперсії тестових результатів, що показує рівень диференціації знань студентів. Зменшення або збільшення цього періоду часу знижує якісні показники тесту.
Якість тесту можна оцінити числовими заходами надійності і валидности результатів тестування. Термін «валидность результатів» означає придатність їх для тієї мети, ради якої проводилося тестування, тобто ця характеристика відображає здатність тесту вимірювати саме те, ради чого він призначений. Точність і стійкість результатів вимірювання за допомогою тесту при його багатократному застосуванні характеризується показником надійності. Емпіричні оцінки показників якості тесту можна розрахувати по підсумкових балах групи випробовувані.
При підведенні підсумків тестування встає проблема інтерпретації його результатів. Оцінки, отримані шляхом складання балів, запрацьованих випробовуваним за кожне виконане завдання, мають бути інтерпретовані, щоб їх значення було зрозуміле і педагогові і студентові.
КОМПОЗИЦІЯ ЗАВДАНЬ В ТЕСТОВІЙ ФОРМІ
Всю безліч вживаних в практиці тестування форм завдань можна звести до чотирьох:
- завдання з вибором одної правильної відповіді;
- завдання з вибором декількох правильних відповідей;
- завдання на встановлення відповідностей;
- завдання на встановлення правильної послідовності.
Короткі інструкції зазвичай поміщаються перед завданням або групою завдань і по шрифтовому оформленню відрізняються від змістовної основи завдання і відповідей до нього. Вони адекватні формі і змісту завдання. Якщо завдання представлені однією формою, інструкція пишеться один раз для всього тесту. Якщо ж тест включає завдання різних форм, то перед кожною зміною форми завдання пишеться нова інструкція.
Завдання формулюється в ствердній, а не в питальна формі. Змістовну частину завдання не перенавантажують другорядними деталями, вона включає мінімум ключових слів, необхідних для правильного розуміння завдання, тому що формулювання завдань повинні мати однозначне тлумачення.
Шрифтове оформлення завдання має бути таким, щоб суть завдання розумілася з одного погляду. Для полегшення візуального розрізнення частин завдання формат шрифту основної частини завдання вибирають відмінний від шрифту відповідей. Зазвичай текст основної частини пишеться прописними буквами, відповіді – рядковими, проте можна використовувати і різний розмір шрифту, наприклад, основну частину завдання надрукувати буквами розміром 14 пт, а відповіді – розміром 12 пт. У тілі завдання не рекомендується використовувати жирний шрифт.
Правила оцінки виконання кожного завдання розробляються разом з тестом, вони завжди однакові для всіх випробовуваних. Найчастіше, за вірну відповідь прийнято давати один бал, за невірний – нуль. У такому разі сума всіх балів, отриманих студентом, дорівнює числу його правильних відповідей. Проте можна використовувати і інші шкали оцінок. Сума балів асоціюється з рівнем знань студента. Сукупність сум балів випробовуваних використовується для встановлення їх рейтингів, тобто порядкових номерів, що показують порівняльну оцінку досягнень в рамках даної групи.
ЗАВДАННЯ З ВИБОРОМ ОДНІЄЇ ПРАВИЛЬНОЇ ВІДПОВІДІ
Це простий вид завдань, в яких правильна відповідь вже міститься, і завдання випробовуваного полягає в його пізнаванні.
Розглянемо основні елементи завдань з вибором правильної відповіді. До них відносяться інструкції для випробовуваних, зміст завдань, форма, зміст і число відповідей, а також оцінки за правильність виконання.
Інструкція поміщається перед завданням, вона друкується шрифтом, що відрізняється від шрифту самого завдання, наприклад, жирнішим:
ОБВЕДІТЬ КРУЖКОМ НОМЕР ПРАВИЛЬНОЇ ВІДПОВІДІ:
Завданням є частина ствердної пропозиції, а не питання. Пропоновані варіанти відповідей доповнюють його до повної ствердної пропозиції. Завдання випробовуваного – вибрати правильний варіант твердження, використовуючи знання, отримані в ході вивчення дисципліни. Змістовна основа завдання має бути такій, щоб для вибору правильної відповіді досить було пригадати і застосувати лише те, що було почуте на лекціях і прочитане в рекомендованій для вивчення допомозі. В кінці змістовної частини завдання немає розділових знаків.
Відповіді мають бути змістовними і, по можливості, короткими. В кінці відповідей немає розділових знаків. Місця для правильних відповідей в різних завданнях вибираються випадковим чином. Розташовувати відповіді можна в одну, дві і три колонки.
У завданнях з вибором однієї правильної відповіді вірогідність вгадування при двох варіантах відповідей складає 1/2, при трьох – 1/3 і так далі
Відповіді до завдань можуть бути висловлені, числами, графіками. Слід виключати відповіді у формі «та чи ні», «вірно» або «невірно».
Існує багато можливостей побудувати правильне завдання в тестовій формі для перевірки знань. У них, проте, виключається застосування таких варіантів відповіді, як "правильної відповіді немає”, "всі відповіді правильні” або "всі відповіді неправильні”.
Щоб сенс завдання краще розумівся, сильні слова «самий», «найбільший», «найменший», «якнайкращий» рекомендується ставити на самому початку.
При конструюванні завдань з вибором однієї правильної відповіді застосовуються дві групи принципів композиції.
1. Перша група принципів використовується при розробці відповідей до завдань. До неї відносяться принцип суперечності, принцип протилежності, принцип однорідності, принцип кумуляції, принцип градуювання, принцип подвоєного зіставлення.
2. Друга група, що складається з принципу фасетности і принципу імплікації, використовується при розробці змісту завдань.
Розглянемо застосування цих принципів на прикладах з різних наук.
Якщо завдання містить дві відповіді, то, згідно принципу суперечності, друга відповідь утворюється з першого простим збільшенням негативної частинки «не», заперечливих приводів і слів так, що цією відповіддю заперечується сенс не самого завдання, а змісту першої відповіді.
Якщо потрібно вказати не одну вірну відповідь, а декілька з великого числа варіантів відповідей, то без знання учбового матеріалу вгадати відповідь маловірогідно, так що інформаційна цінність завдань цього вигляду, взагалі кажучи, вище, ніж у завдань з вибором однієї правильної відповіді.
Завдання з вибором декількох правильних відповідей вважається за виконане правильно, якщо точно вибрані всі без виключення правильні відповіді. Як правило, один бал дається за правильно виконане завдання, нуль – за неправильно виконане. Можна використовувати і ширшу шкалу оцінок. Наприклад, за повністю виконане завдання давати три бали, при одній помилці (одна зайва відповідь або один пропущений) – два бали, і так далі, до нуля. Аби правила оцінки були визначені заздалегідь і відомі випробовуваним перед початком тестування.
ТИПОВІ ПОМИЛКИ ПРИ РОЗРОБЦІ ТЕСТОВИХ ЗАВДАНЬ З ВИБОРОМ ПРАВИЛЬНИХ ВІДПОВІДЕЙ
Початкуючі укладачі тестових завдань нерідко представляють відповіді до завдань у формі «та чи ні», «вірно» або «невірно».
Приклади неправильно складених завдань :
1. ТИХООКЕАНСЬКА ТЕЧІЯ ТЕПЛА?
1) так
2) немає
2. ТИХООКЕАНСЬКА ТЕЧІЯ ХОЛОДНА
1) вірно
2) не вірно
Правильно складене завдання на цю тему може виглядати, наприклад, таким чином:
3. ТИХООКЕАНСЬКА ТЕЧІЯ
1) тепле
2) холодне
Нерідко в одному завданні можна зустріти відразу декілька пар протилежних відповідей.
4. ТЕРМОДИНАМІЧНІ ВЛАСТИВОСТІ ЖИВОЇ СИСТЕМИ -
1) відвертість
2) закритість
3) равновесность
4) нерівнованість
5) низька ентропія
6) висока ентропія
Такі завдання рекомендується розбивати на декілька завдань з двома протилежними відповідями.
Часто укладачі завдань, маючи цілком зрозуміле бажання використовувати будь-яку можливість донести до студента корисні відомості, залишають в тексті завдання надмірну інформацію, що об'єктивно заважає студентові сприйняти суть завдання в умовах психологічної напруги, пов'язаної з процесом тестування.
Багатослівність відповідей заважає сприйняттю завдання. Частини відповідей, що тому повторюються, з відповідей рекомендується виносити в основу завдання. Чим коротше відповіді, тим швидше студент, що знає учбовий матеріал, зробить правильний вибір.
При великому числі можливих відповідей рекомендується використовувати завдання з вибором декількох правильних відповідей.
У практиці конструювання завдань помилки мають тенденцію з'являтися групами. Приведемо приклад завдання, в якому зібралося декілька типових помилок.
По-перше, в цьому завданні застосована небажана питальна форма основної частини завдання. По-друге, інструкція внесена до тіла завдання, до того ж в ній пропонується виконати невластиве тестовому завданню дія – пояснити відповідь. У третіх, відповідь під номером 5 противоречит основної частини завдання, з якої виходить, що вплив має місце, а відповідає затверджується, що такого впливу немає. У четвертих, відповіді дуже просторікувато сформульовані, і багатослівність заважає сприйняттю суті завдання.
Правильні відповіді поміщені тут під номерами 1 і 4, а відповіді 2 і 3 противоречат, відповідно, кожному з них. Щоб уникнути багатослівності, зробити форму завдання і результати перевірки знання учбового матеріалу яснішою, з одного цього завдання можна було б зробити два простіших, які ми запишемо за допомогою фасета:
Мабуть, останні два завдання паралельні за змістом і, можливо, паралельні по трудності. Їх можна використовувати в одному тесті або в двох еквівалентних тестах.
Що стосується цілком зрозумілого бажання викладача дізнатися, чи розуміє студент не тільки початкову причину, але і суть процесів, що приводять до збільшення або зменшення грошової маси в країні, то це можна зробити за допомогою певної послідовності завдань в тестовій формі. Потрібно тільки заздалегідь розкласти відповідні процеси на елементарні складові і сконструювати завдання в тестовій формі, перевіряючі знання кожній з цих складових, а також всієї їх послідовності. Для цього можна використовувати не тільки завдання з вибором одного або декількох правильних відповідей, але і завдання інших форм.
|
