Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 icon

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53





НазваниеИрование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53
страница8/12
замечательной
Дата конвертации22.02.2013
Размер1.39 Mb.
ТипЛитература
1   ...   4   5   6   7   8   9   10   11   12

Критерии оценки результатов.


Самый сложный и острый вопрос для любого эмпирического педагогического исследования – по каким критериям производится оценка педагогических явлений, процессов. Критерии эффективности – важнейшая проблема вообще для любой деятельности. Из-за ошибочного выбора критериев неоднократно происходили крушения целых социальных институтов и экономических систем. Поэтому, приступая к опытно-экспериментальной части исследования, необходимо самым серьезным образом подойти к подбору критериев оценки эффективности предполагаемых педагогических инноваций. Еще до проведения основного эксперимента, основного этапа опытной работы и т.д. необходимо точно определить и проверить «работоспособность» критериев оценки эмпирических данных, по предварительным результатам прикинуть, какой контингент опрашиваемых или обучаемых, сколько классов, групп необходимо будет включить в опытно-экспериментальную работу, чтобы получить статистически достоверные окончательные результаты. Критерии должны удовлетворять, в частности, следующим признакам:

1. Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми.

2. Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и утверждением педагогики развития личности это требование тем более актуально, что мы весьма посредственно умеем оценивать уровень знаний и умений учащихся, но практически совершенно не умеем оценивать уровень развития тех или иных способностей, личностных качеств, а часто даже не знаем – какие способности и качества надо оценивать. Особенно остро требование адекватности критериев стоит перед исследователями, занимающихся проблемами воспитания молодежи.

3. Критерии должны быть нейтральными по отношению к исследуемым явлениям. Так, если в ходе эксперимента в одних группах, допустим, изучается какая-то новая тема, а в других – нет, то в качестве критерия сравнения нельзя брать знание учащимися материала этой темы.

Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса. Для многих педагогических исследований этот момент оставляет желать лучшего. Так, например, в связи с введением аттестации педагогических работников некоторые специалисты предлагают для учителей математики, физики разработать систему тестов, позволяющих оценивать их умение решать математические и физические задачи – это и будет якобы критерием квалификации учителя. Наверное, это должен быть лишь один из критериев, поскольку, помимо профессиональной математической подготовки, подготовки по физике учитель должен еще владеть и педагогическим, методическим мастерством, что в данном случае остается без внимания. Рассмотрим теперь некоторые типичные ошибки в определении критериев оценки эффективности педагогических инноваций.

В частности, вполне очевидно, что оценить уровень сформированности тех или иных знаний, умений, каких-то качеств личности учащихся, студентов можно лишь в процессе каких-либо определенных действий, совершаемых этими учащимися, студентами, когда они активно могут проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий» как результаты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше – эстрадная или классическая?» (изучалось воспитание эстетического вкуса студентов) – вряд ли может о чем-то говорить. Ведь студенты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» – ответы учащихся на вопрос – «понравились ли занятия по основам информатики и вычислительной техники?» Ведь, во-первых, учащиеся могут «подыграть» спрашивающему, а во-вторых, наверное, не всегда учение может и должно нравиться – также как горькое, но необходимое лекарство для больного.

Еще один типичный случай – изучалась подготовка студентов педагогического вуза к ведению профориентационной работы со школьниками – уровень готовности студентов к этой работе оценивался преподавателями кафедры педагогики по итогам теоретических занятий. Эта оценка чисто умозрительная. Здесь, наверное, можно было бы попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школах, других образовательных учреждениях, которая предполагала бы какие-то их практические действия в этом направлении.

Или же «критерий» – ответ на вопрос, нередко обращаемый к преподавателям – участникам опытно-экспериментальной работы: «Надо ли применять такие занятия?» Положительный ответ на него позволяет, возможно, судить о готовности тех или иных научно-методических разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать основным критерием эффективности результатов научного исследования.

Наиболее часто встречаются случаи, когда в качестве критерия выделяются определенные уровни сформированности каких-либо качеств личности учащихся, например, моральной ответственности, эстетической культуры, гуманистических отношений и т.п., или уровни овладения какой-либо деятельностью (профессионального мастерства, управления педагогическим коллективом и т.д.). Как правило, выделяется три таких уровня: низкий, средний и высокий. Или выделяется большее число градаций, допустим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явлений, процессов выделение каких-то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что выделяя чисто умозрительно, субъективно подобным образом уровни: низкий, средний, высокий, – экспериментатор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом ни о какой объективности критерия и достоверности результатов здесь речь идти не может.

Другое дело, если вводятся уровни качественно, принципиально отличные один от другого по какому-то определенному основанию классификации. Например, для оценки овладения учащимися знаниями нередко используются четыре уровня, предложенные В.П. Беспалько (См. Беспалько В.П. Основы теории педагогических систем. – Воронеж. – 1977. – 304 с.): первый уровень – знания-знакомство – узнавание объектов, процессов, свойств при повторном восприятии ранее усвоенной информации; второй уровень – знания-копии – предполагает репродуктивное воспроизведение и применение полученной информации; третий уровень – предполагает продуктивные действия по применению полученной информации в процессе самостоятельной деятельности; четвертый уровень – знания-трансформации – предполагает возможность творческого применения полученной информации посредством самостоятельного конструирования собственной деятельности.

При грамотном построении оценочных процедур в этом случае знания каждого учащегося вполне однозначно могут быть отнесены к тому или иному определенному уровню. Критерии оценки педагогических явлений могут быть качественными и количественными. Они, естественно, дополняют друг друга. Исследователь, как правило, не ограничивается только качественными критериями и стремится использовать в целях объективности получаемых результатов какие-то количественные критерии оценки, используя тем самым определенные величины. О величинах и шкалах их измерения стоит поговорить особо. Понятие «величина» определяется следующим образом: величина есть мера множества, относительно элементов которого имеют смысл утверждения – больше, меньше, равно. Естественно, не на всяких множествах может быть задана величина, мера. Например, утверждение, что учащийся Иванов равен учащейся Петровой (не путать с равноправием!) смысла не имеет, т.к. каждый человек – неповторимая личность. Но, например, утверждение, что рост, вес учащегося Иванова больше(меньше, равен) росту Петровой имеет уже вполне определенный смысл: рост и вес здесь выступают величинами.

Величина задается той или иной шкалой измерений, оценки. Шкала измерения – это числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного числового ряда. Шкала измерений делится на четыре основных класса:

шкала отношений – самая мощная шкала. Она позволяет оценивать, во сколько раз измеряемый объект больше (меньше) другого объекта, принимаемого за эталон, единицу. Одновременно здесь возможно и сравнение: на сколько один объект больше (меньше) другого. Шкалами отношений измеряются почти все физические величины – время, линейные размеры, площади, объемы, сила тока, мощность и т.д. В педагогических измерениях шкала отношений будет иметь место, например, когда измеряется время выполнения того или иного задания, количество ошибок или количество правильно решенных задач. В последнем случае, естественно, можно говорить о том, что учащийся Иванов правильно решил, к примеру, в два раза больше задач, чем учащийся Петров, но утверждение, что знания учащегося Иванова в два раза больше знаний учащегося Петрова будет неправомерным.

В отдельных случаях, в том числе в исследованиях по профессиональному образованию применяются оценки и в мерах физических величин – величина допускаемых ошибок в миллиметрах при, допустим, токарной обработке деталей, величина силы нажатия учащимся на слесарный инструмент в ньютонах (килограммах), величина электрической активности мышц в милливольтах и т.п. На шкалы отношений распространяется весь основной аппарат математической статистики. Здесь не возникает никаких проблем с обоснованием достоверности различий между контрольными и экспериментальными группами, классами.

шкала интервалов – довольно редко применяющаяся и менее мощная. Примером ее является шкала температур по Цельсию, Реомюру или Фаренгейту. Шкала Цельсия, как известно, была установлена следующим образом: за ноль была принята точка замерзания воды, за 100 градусов – точка ее кипения, и, соответственно, интервал температур между замерзанием и кипением воды поделен на 100 равных частей – градусов. Здесь уже утверждение, что температура в 30 градусов С в три раза больше, чем 10 градусов С будет неверным. Справедливо говорить лишь об интервалах температур – температура в 30 градусов С на 20 градусов С больше, чем температура в 10 градусов С. В педагогических исследованиях, в частности, к таким шкалам интервалов можно условно отнести дихотомическую шкалу, которая содержит только два значения: да – нет, лучше – хуже, и т.д. В такой шкале имеется только один интервал деления 0 – 1 или плюс - минус и т.д., поэтому ее можно рассматривать как предельный случай интервальной равномерной шкалы – просто «равномерность» не с чем сравнивать.

шкала порядка или шкала рангов еще более слабая шкала – шкала, относительно значений которой уже нельзя говорить о том, ни во сколько раз измеряемая величина одного объекта больше (меньше) другого, ни на сколько она больше (меньше). Такая шкала только упорядочивает расположение объектов, приписывая им те или иные ранги. Так, например, построена шкала твердости минералов Мооса: взят набор 10 эталонных минералов для определения относительной твердости методом царапания. За 1 принят тальк, за 2 – гипс, за 3 – кальцит и так далее до 10 – алмаз. Любому минералу соответственно однозначно может быть приписана определенная твердость. Если исследуемый минерал, допустим, царапает кварц (7), но не царапает топаз (8) – соответственно его твердость будет равна 7. Аналогично построены шкалы силы ветра Бофорта и землетрясений Рихтера. Шкалы порядка широко используются в педагогике, психологии, медицине и других науках, не столь «точных», как, скажем, физика и химия. В частности, повсеместно распространенная шкала школьных отметок в баллах (пятибалльная, двенадцатибальная и т.д.) условно может быть отнесена к шкале порядка. Именно условно, поскольку оценка знаний, умений в баллах обладает определенной субъективностью. Если в шкале Мооса тому или иному минералу может быть однозначно приписано строго определенное значение твердости, то оценка знаний одного и того же учащегося у разных преподавателей (экзаменаторов) может быть разной. Разная «цена» отметок будет и в разных учебных заведениях, в разных регионах – в зависимости от уровня предъявляемых требований, и, соответственно, возможностей педагогов, учебного заведения, контингента учащихся и т.п. В учебных заведениях некоторых стран применяется и другая оценка успеваемости учащихся (как итоговая): порядковое место, которое данный ученик занимает в данном классе, выпуске. Это тоже шкала порядка.

шкала наименований. Она фактически уже не связана с понятием «величина» и используется только с целью отличить один объект от другого: номера автомобилей, телефонов, применение цифр или букв алфавита для перечисления пунктов в законах, положениях и т.п. Теперь, когда мы совершили небольшой экскурс в систему измерений, рассмотрим вопрос о применении шкал измерений в педагогических исследованиях. Наиболее распространенная мера педагогических оценок – шкала оценки знаний и умений учащихся в баллах. Школьные оценки (отметки) – удобный аппарат для практики обучения, который выполняет не только оценивающие, но и определенные воспитательные функции – стимулирования одних учащихся, определенного «наказания» других и т.д.

В педагогических исследованиях используются также и другие шкалы балльных оценок. Например, выделив какие-либо уровни сформированности у учащихся определенных качеств личности или овладения той или иной деятельностью, исследователь приписывает этим уровням соответствующие значения баллов: «1», «2», «3» и т.д., или «0», «1», «2»..., что принципиально безразлично. Но использование балльной шкалы оценок как критерия оценки для педагогических исследований нежелательно, хотя и не исключено. И дело здесь не только в известной необъективности отметок, о чем уже говорилось, но и в свойствах самой шкалы порядка. В этой шкале ничего нельзя сказать о равномерности или неравномерности интервалов между соседними значениями оценок. Мы не вправе, к примеру, сказать о том, что знания учащегося, оцененные на «5» на столько же отличаются от знаний, оцененных на «4», как знания, оцененные на «4», отличаются от знаний, оцененных на «3». С тем же успехом можно было бы приписывать баллам значения не «1», «2», «3», «4», «5», а, допустим «1», «10», «100», «1000», «10000». И поэтому совершенно неправомерно использование так широко применяемой в исследованиях величины среднего балла (по классу, группе учащихся и т.д.), поскольку учреждение предполагает сложение значений величин, а операция суммы на таком множестве (шкале) не может быть корректно (грамотно) определена. Соответственно не могут быть определены и все остальные арифметические и алгебраические действия. Поэтому, например, утверждение о том, что оценка учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных, будет неправильным, некорректным.

Сказанное будет относиться и любым другим критериям оценки, использующим шкалу порядка. В принципе, шкалу балльных оценок так же, как другие шкалы порядка можно использовать в педагогических исследованиях, если исследователь убежден в объективности выставляемых оценок. Но в этом случае необходимо использовать специальные непараметрические критерии различия, например, критерий знаков (о статистических критериях достоверности различий мы поговорим ниже). Но эти критерии слабые и для установления достоверных различий необходимо получение значительно больших массивов данных.

По этим соображениям целесообразно использовать такие способы оценки, которые позволяют применить шкалу отношений или шкалу интервалов, а не шкалу порядка. Так, например, использовать тесты – серии коротко и точно сформулированных вопросов, заданий, на которые учащийся должен дать короткие и однозначные ответы, в правильности (или неправильности) которых нельзя сомневаться. Точно так же могут быть построены письменные контрольные работы, результаты обработки анкет (процент учащихся, давших положительные ответы на тот или иной вопрос) и т.д.

О применении статистических методов обработки результатов исследования. В большинстве педагогических исследований, как правило, применение методов математической статистики бывает вызвано необходимостью установления достоверности различий между результатами обучения, каких-то воспитательных воздействий в контрольных и экспериментальных группах, классах и т.п. Причем, нередко начинающие исследователи используют какие-либо статистические критерии достоверности различий, не ориентируясь, какой критерий можно и нужно использовать в том или ином случае. В оправдание этому следует сказать, что в большинстве пособий по математической статистике соответствующие разделы написаны настолько нечетко и сложно, что разобраться в них непрофессиональному статистику довольно-таки трудно. Поэтому мы здесь приведем следующий «рецепт» с учетом данной выше информации о шкалах измерений:

1. Если использована шкала отношений или интервалов, если применяются точно и объективно измеряемые оценки, то для проверки статистической достоверности дифференциации (разности) двух средних показателей (среднее значение по одной и по другой группе) применяются t – критерий Стьюдента или F – критерий Фишера. При этом, если количество данных в каждой группе велико (сотни) – можно быть практически уверенным (по крайней мере для педагогических исследований), что эти данные будут распределены по нормальному закону (распределение Гаусса). Если выборки малы (десятки) – необходимо убедиться в том, что распределение близко к нормальному. В этом можно убедиться, сопоставив значения среднего, моды и медианы. Если среднее, мода и медиана приблизительно совпадают, то распределение можно считать нормальным и можно применять t или F критерии.

2. Если при использовании шкалы отношений данные выборок распределены не по нормальному, а какому-либо иному закону распределения, или в тех случаях, когда нет уверенности о распределении данных по нормальному закону, применяется менее чувствительный метод Хи-квадрат.

3. Если была использована шкала порядка, то, строго говоря, могут быть использованы только непараметрические критерии: критерий знаков, критерий Уилкоксона-Мана-Уитни, критерий Колмогорова и др. Но по сравнению с F, t критериями, критерием Xи-квадрат эти критерии малочувствительны, для определения достоверности различий по ним необходимы большие объемы выборок. Соответствующие формулы и таблицы для оценки достоверности различий достаточно просты. Они приводятся во всех пособиях по математической статистике. Там же также достаточно просто сформулированы правила, формулы вычисления среднего, моды, медианы и дисперсии распределения, о чем говорилось выше.

Обычно в педагогических исследованиях принимается достаточным 95% уровень достоверности различий. Однако, если исследование проводится в рамках только одного учебного заведения, получить такой высокий уровень достоверности различий весьма проблематично из-за относительно небольшого контингента учащихся, студентов. Но учитывая, что полученные результаты будут использоваться, как правило, только в данном учебном заведении, так сказать для «внутреннего пользования», можно принять другой, более низкий уровень достоверности различий – 68% (также стандартная в математической статистике величина, как и 95%). Это будет означать, что полученные результаты в контрольных и экспериментальных группах различаются с вероятностью несколько большей, чем 2/3.
1   ...   4   5   6   7   8   9   10   11   12

Ваша оценка этого документа будет первой.
Ваша оценка:

Похожие:

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconОрганизация работы по совершенствованию механизмов управления качеством образования в образовательном учреждении

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconРабота выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconО системе мер по обеспечению требований охраны труда и улучшению условий труда в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный технологический университет»

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconКомпьютерная диагностика двигательной активности пальцев руки человека на основе биомеханического моделирования 03. 01. 09 Математическая биология, биоинформатика
Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Российский государственный медицинский...

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconПоложение об организации работы по охране труда и безопасности жизнедеятельности в Муниципальном бюджетном образовательном учреждении дополнительного образования детей «Погарский Дом детского творчества»
Настоящее Положение разработано для муниципального бюджетного образовательного учреждения дополнительного образования детей «Погарский...

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconСосудистое русло межжелудочковой перегородки сердца при различных типах кровоснабжения 14. 03. 01. Анатомия человека
Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Пермская государственная медицинская...

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconПрограмма экспериментальной работы по информатизации учебно-воспитательного процесса муниципального общеобразовательного учреждения Новогородковской средней общеобразовательной школы

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 icon1 Настоящая должностная инструкция разработана на основе та­рифно-квалификационной характеристики воспитателя, утвержденной приказом Минобразования Российск
При составлении инструкции учтены также Примерные рекомендации об организации службы охра­ны труда в образовательном учреждении системы...

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconИрование работы с учащимися, обучающимися на дому по состоянию здоровья. 9 Класс

Ирование и организация научно-экспериментальной работы в образовательном учреждении 39 рекомендуемая литература 53 iconИрование как функция управления. Виды и особенности планирования. Организация как функция управления. Основные принципы выполнения организационной функции



База данных защищена авторским правом © 2018
обратиться к администрации | правообладателям | пользователям
поиск