Надійність взаємного оцінювання

Чи отримають дві особи однакові результати, досліджуючи одне й те саме явище?

Для прикладу розглянемо ситуацію в світі спорту. В деяких ситуаціях людські судження не мають особливого значення: якщо хтось стрибає вище, ніж усі інші, він виграє у відповідному змаганні. Єдине людське рішення тут може стосуватись того, наскільки високою була планка. При цьому може відбутися похибка, пов’язана з неправильним виміром висоти.

У інших видах спорту «судження» буває набагато більш важливим. Прикладом цьому може слугувати синхронне плавання, гімнастика, фігурне катання. У таких ситуаціях судді оцінюють виступ. І іноді буває так, що різні люди оцінюють один номер абсолютно по-різному. З іншого боку, трапляються випадки, коли один учасник отримує набагато вищі бали, ніж його конкуренти, а інші експерти (а іноді й представники преси, котрі не мають достатніх знань у відповідній сфері) починають говорити про нечесне оцінювання.

Таким чином, розробляючи тест, науковці встановлюють, чи отримають різні експериментатори однаковий результат, оцінюючи одне й те ж явище в різних умовах. У випадку, якщо отримані результати будуть принципово різнитися, мова може йти про неточність на якомусь з етапів вимірювання (див. Класична теорія тестування).

Надійність взаємного оцінювання також надзвичайно важлива для методик, в яких наявний елемент суб’єктивності. Наприклад, коли під час оцінювального дослідження одній людині необхідно оцінити продуктивність групової роботи. У таких випадках зазвичай створюються стандартні рейтингові схеми, а спеціально навчені дослідники, спостерігаючи за роботою команд повинні лише фіксувати певні прояви відповідно до чіткого стандарту.

Для того, щоб на практиці переконатись в значенні надійності взаємного оцінювання, можна переглянути різноманітні телевізійні талант-шоу, такі як Х-фактор. В цьому конкурсі співаків оцінюють судді, озброєні лише власними уподобаннями (без жодної стандартної системи нарахування балів). При цьому будь-яка надійність взаємного оцінювання зникає, коли доходить час до голосування глядачів, в ході якого визначається, хто з учасників має покинути проект.

3

I

Q

А

Б

В

Г

Д

Е

Є

Ж

З

І

К

Л

М

Н

О

П

Р

С

Т

У

Ф

Ц

Ч

Ш

Я