Научный журнал
Международный журнал экспериментального образования

ISSN 2618–7159
ИФ РИНЦ = 0,757

МЕТОДИКА ВЫЯВЛЕНИЯ, ИЗМЕРЕНИЯ И ОЦЕНИВАНИЯ УЧЕБНО-ПРОФЕССИОНАЛЬНЫХ ДОСТИЖЕНИЙ

Дудар Л.И. 1 Эрганова Н.Е. 2
1 КГАОУ СПО «Краевой колледж предпринимательства»
2 ФГAОУ ВПО «Российский Государственный профессионально-педагогический университет»
Учебно-профессиональные достижения студентов определяются латентной характеристикой. Для диагностики в педагогических измерениях нет однозначной единицы измерения. Исследованиями зарубежных и отечественных ученых доказано, что необходимо использовать теорию соответствия наблюдаемых результатов измерения и вероятностную модель измеряемого качества. В статье представлена методика выявления измерения и оценивания уровня сформированности учебно-профессиональных достижений обучающихся по профессиональному модулю «Изготовление вставок в ювелирные изделия».
учебно-профессиональные достижения студентов
профессиональная компетенция обучающихся
тестирование
латентная переменная
операционализация
индикатор переменных
1. Аванесов В.С. Язык педагогических измерений / В.С. Аванесов // Педагогическая диагностика. 2010. № 3. С. 3-19.
2. Гладкая И.В. Оценка образовательных результатов школьника: учебно-метод. пособие. / Под общей ред. А.П. Тряпицыной. – СПб.: КАРО, 2008. – 144с.
3. Современный психологический словарь / сост. и общ. ред. Б. Г. Мещеряков, В.П. Зинченко. – М.: АСТ; СПб: ПАЙМ-ЕВРОЗНАК, 2007. – 490 с.
4. Социологический энциклопедический словарь. На русском, английском, немецком, французском и чешском языках. Редактор – координатор – академик РАН Г.В. Осипов. – М.: Издательство НОРМА (издательская группа НОРМА – ИНФА-М), 2000 – 488с.
5. Федеральный государственный образовательный стандарт начального профессионального образования по профессии 072500.02 Ювелир [Электронный ресурс]: утвержден приказом Министерства образования и науки Российской Федерации от 19 мая 2010 г. №523 / Российский общеобразовательный портал Министерства образования и науки Российской Федерации. – Режим доступа: http://www.edu.ru/db/mo/Data/d_10
6. Эрганова Н.Е., Дудар Л.И. Учебно-профессиональные достижения как многомерные результаты обучения / Н.Е. Эрганова, Л.И.Дудар // European Social Science Journal. – 2012. – № 6. – С.67–75.

Введение

Современное понимание результата образовательного процесса находит свое отражение в конкретном учебном продукте, через который обучающиеся проявляют личные достижения по усвоению профессиональных знаний, умений и способности решать комплексные профессионально-ориентированные задачи.

Понятия «учебные достижения», «учебно-профессиональные достижения» приобрели в настоящее время актуальное значение. Они представляют собой многомерные и целостные профессионально-личностные качества будущего рабочего или специалиста, наряду с общими и профессиональными компетенциями являются требованиями к результатам обучения в ФГОС – третьего поколения.

Цель исследования – научное обоснование процедуры выявления, измерения и оценивания учебно-профессиональных достижений в процессе профессионального обучения.

Для достижения цели исследования были выбраны методы исследования: теоретические методы (изучение и анализ философской, психологической, педагогической и методической литературы, нормативной документации); эмпирические – психолого–педагогические методы сбора информации (тестирование, сбор, обработка и представление результатов опытно-экспериментальной работы с помощью программы RUMM 2030).

Учебные достижения, подчеркивает И. В. Гладкая [2], предполагают субъективное переживание результата. В подтверждение данной позиции представляем вывод, сделанный в исследовании Л. С. Илюшина [2], который предлагает рассматривать достижения, как категорию, отражающую степень прогресса личности по отношению к её предшествующим проявлениям в образовательной деятельности. Однако на наш взгляд, эвристический смысл понятия «учебно-профессиональные достижения» правомерно соотнести с «родственными» ему понятиями «личный потенциал», «профессиональные достижения», «профессионально-личностный потенциал работника», «человеческий фактор», «личный фактор», активно используемыми сегодня не только в профессиональной педагогике, но и в социально-экономических науках.

Совпадая по смыслу с социально-экономическими категориями, характеризующими процесс живого труда, понятие учебно-профессиональные достижения нетождественно им. Прежде всего, это интегральное понятие. В данном случае оно не сводимо к «личностному фактору» или к «человеческому фактору» производства. «Человека производства» каждое из экономических понятий трактует ограниченно. В них производственная или профессиональная способность личности рассматривается преимущественно с точки зрения производственного цикла, а сам работник невольно низводится до роли простого носителя производственных функций.

В противовес узко экономической трактовке педагогическое понимание понятия «учебно-профессиональные достижения» не только в теоретическом, но и в операциональном плане максимально ориентирована на представление о личности обучаемого как целостном субъекте образовательного процесса. Целостность в данном случае означает:

1. Способность к самообразованию и саморазвитию. Как интегральное понятие, «учебно-профессиональные достижения» характеризуют внутреннюю духовную энергию обучаемого, его деятельную позицию, направленную на творческое самовыражение и общественное самоутверждение, самореализацию.

2. Полноту выраженности личностных свойств и качеств обучаемого, обеспечивающих в своей системной совокупности его способность выступать в роли активного субъекта учебно-профессиональной деятельности. Многомерная структура учебно-профессиональных достижений, включает следующие основания: а) профессиональные знания, умения и навыки, обусловливающие профессиональные компетенции (квалификационный потенциал обучаемого); б) работоспособность (психофизиологический потенциал); в) интеллектуальные, познавательные способности (образовательный потенциал); г) креативные способности (творческий потенциал); д) способность к сотрудничеству, коллективной организации и взаимодействию (коммуникативный потенциал); е) ценностно-мотивационную сферу (идейно-мировоззренческий, нравственный потенциал).

3. Структурное единство внутренних элементов. Уровень развития учебно - профессиональных достижений, как и степень соответствия его будущей профессиональной квалификации и эффективности его трудовых функций, зависит не столько от какого-либо одного элемента, сколько от способа их интеграции, внутренней сбалансированности всех компонентов, придающей, новую, «дополнительную силу» профессиональным способностям [6].

Рассмотрение понятия «достижение» и соотнесение его с другими терминами позволило нам сформулировать определение учебно-профессиональных достижений – это нормативный личностно - образовательный результат, представляющий собой устойчивую совокупность свойств личности обучаемого, репрезентирующих его возможности на различных этапах профессионального обучения и ориентированные на развитие профессиональной деятельности в будущем.

Учебно-профессиональные достижения не сводятся к общим и профессиональным компетенциям, сформированными на определённом этапе профессионального обучения. Принципиальными отличиями является динамика развития личностных качеств будущего рабочего или специалиста, которая проявляется в его возможностях достигнуть профессиональную компетентность на этапе освоения профессии в будущем. Благодаря этим возможностям деятельность рабочего или специалиста становится эффективнее других в профессиональной деятельности. Обобщая выше описанное, можно сделать выводы, что ориентация профессионального образования на формирование у обучаемых учебно-профессиональных достижений выводит его вектор развития на саморазвитие в будущем.

Самостоятельной проблемой современного образования является система выявления, измерения и оценивания сложных, интегративных образовательных результатов. Возникает задача выявления и измерения трудно определяемого свойства. В этом случае исследователи обращаются к процедуре операционализации. Социологический энциклопедический словарь операционализацию представляет как специфическую научную процедуру установления связи концептуального аппарата исследования с его методическим инструментарием посредством образования системы эмпирических показателей характеризующих изучаемый объект [4, с. 219]. Таким образом, создается детальный образ измеряемой латентной переменной. В.С. Аванесов предлагает в данном случае использовать теоретические основы измерения латентных переменных, в основу данной теории положена идея соответствия наблюдаемых результатов измерения модели Г.Раша [1, с.14]. Набор эмпирических показателей (индикаторных переменных) выступает измерительным инструментом. «Индикатор (от лат. indicator - указатель) – основной источник информации о состоянии управляемого объекта и самой системы управления» [3, с.199]. Индикаторные переменные оценивается в «логитах» - принятой единице измерения латентных переменных.

Следовательно, для измерения учебно-профессиональных достижений необходимо создать модель измерения через набор эмпирических показателей (индикаторных переменных). Состав учебно-профессиональных достижений включает уровень сформированности профессиональных знаний, обобщенных практических умений и владение конкретными технологиями конкретного производства. Например, по профессиональному модулю «Изготовление вставок в ювелирные изделия» вариант диагностической работы ориентирован на выявление уровня сформированности учебно-профессиональных достижений через модель, включающую выявление знаниевых компоненты профессиональных компетенций: ПК 2.1. «Анализировать характеристики материала вставок»; ПК 2.2. «Выполнять операции огранки ювелирных вставок»; ПК 2.3. «Контролировать качество огранки» [5]. Обобщенная модель знаниевой структуры учебно-профессиональных достижений по рассматриваемому профессиональному модулю включает следующую структуру: назначение вставок, их классификация, типовые элементы конструкции, материалы из которых изготавливаются вставки, оборудование, охрана труда ювелира, технология изготовления вставок в ювелирные изделия. В качестве метода диагностики знаний обучаемых был выбран метод тестирования. Сформированный тест состоял из 60 заданий в тестовой форме закрытого типа с одним правильным вариантом ответа, нацеленного на выявление качеств освоения обучающимися учебных элементов, входящих в состав профессиональных компетенций. Тестовые задания были разделены на четыре группы. В первую группу вошли 19 заданий, определяющие характеристики ювелирных камней, их классификацию, свойства, применение. В рассматриваемой группе заданий в тестовой форме выявляются знания о свойствах камней (оптические, физические и т.д.), их классификацию по шкале Мооса или по Киевленко Е.В. Вторая группа заданий в тестовой форме включала 9 заданий. В этой группе заданий в тестовой форме определялись знания о видах, формах и типах огранок камней. Третья группа заданий в тестовой форме по технологии изготовления вставок для ювелирных изделий включала 15 заданий в тестовой форме. Четвертая группа заданий по организации и охране труда на рабочем месте при изготовлении вставок в ювелирные изделия состояла из 17 заданий.

Система заданий в тестовой форме подверглась анализу с целью определения возможности ее использования для заключительной диагностики знания обучающихся. Полученные результаты тестирования послужили основанием для коррекции комплекса тестовых заданий с определением такого их состава, который было бы возможным использовать в качестве инвариантного учебного материала.

В тестировании приняли участие обучающиеся одной группы профессии 072500.02 «Ювелир», общей численностью 18 человек. Каждому были предложены тестовые задания, выполнение которых фиксировалось с помощью дихотомической шкалы: 0 баллов – «задание не выполнено или выполнено неверно» и 1 балл – «задание выполнено верно». Установлено, что результат решения заданий в тестовой форме прямо пропорционален оцениваемой латентной переменной «знание теоретических основ технологии изготовления вставок в ювелирные изделия». Полученные результаты были обработаны с помощью программы RUMM 2030, при этом была задействована ее возможность давать характеристику отдельным тестовым заданиям.

Проведенный анализ показал, что сформированные задания в тестовой форме могут быть использованы в целях диагностики знаний по технологии изготовления вставок. Подтверждением тому служит значение степень соответствия индикаторов модели измерения, которое определяется по значению статистики χ2 (ChiSq[Pr]), в таблице 1, Эмпирический уровень значимости статистики χ2, составивший 0,082, что превышает номинальное значение равное 0,05. Это означает, что разработанные задания в тестовой форме можно использовать как для измерения уровня сформированности знаний обучающихся, так и для измерения уровня трудности заданий.

Таблица 1

Статистические характеристики тестовых заданий

Номер тестового задания

Уровень трудности (логиты)

Стандартная ошибка

(в логитах)

Значение статистики Хи-квадрат

Уровень значимости статистики Хи-квадрат

I0018

-1,887

1,014

0,744

0,689

I0025

-1,782

0,971

2,085

0,353

I0057

-1,782

0,971

2,085

0,353

I0055

-1,130

0,758

1,771

0,412

I0005

-1,053

0,739

4,536

0,104

I0037

-1,053

0,739

4,536

0,104

I0022

-0,993

0,724

0,483

0,786

I0054

-0,993

0,724

0,483

0,786

I0011

-0,805

0,682

3,489

0,175

I0020

-0,783

0,678

3,432

0,180

I0052

-0,783

0,678

3,432

0,180

I0029

-0,627

0,647

1,965

0,374

I0023

-0,555

0,635

0,512

0,774

I0046

-0,541

0,632

1,383

0,501

I0012

-0,506

0,627

1,884

0,390

I0043

-0,341

0,601

2,869

0,238

I0017

-0,329

0,600

1,339

0,512

I0049

-0,329

0,600

1,339

0,512

I0001

-0,303

0,596

5,044

0,080

I0033

-0,303

0,596

5,044

0,080

I0032

-0,285

0,593

0,582

0,748

I0050

-0,195

0,582

1,264

0,532

I0044

-0,160

0,577

3,982

0,137

I0014

-0,158

0,577

5,200

0,074

I0003

0,011

0,558

0,700

0,705

I0008

0,039

0,556

2,425

0,297

I0015

0,039

0,556

2,425

0,297

I0040

0,039

0,556

2,425

0,297

I0047

0,039

0,556

2,425

0,297

I0034

0,043

0,555

0,436

0,804

I0060

0,054

0,554

3,385

0,184

I0045

0,058

0,554

1,025

0,599

I0013

0,085

0,551

1,013

0,603

I0007

0,118

0,548

2,642

0,267

I0027

0,118

0,548

2,642

0,267

I0039

0,118

0,548

2,642

0,267

I0059

0,118

0,548

2,642

0,267

I0041

0,125

0,548

0,447

0,800

I0035

0,303

0,534

0,023

0,989

I0002

0,312

0,533

1,305

0,521

I0031

0,312

0,533

1,305

0,521

I0021

0,324

0,532

1,597

0,450

I0053

0,324

0,532

1,597

0,450

I0016

0,339

0,531

4,472

0,107

I0048

0,339

0,531

4,472

0,107

I0009

0,389

0,528

1,299

0,522

I0006

0,554

0,520

2,469

0,291

I0038

0,554

0,520

2,469

0,291

I0051

0,613

0,517

1,156

0,561

I0024

0,761

0,513

10,297

0,006

I0056

0,763

0,513

10,286

0,006

I0028

0,797

0,512

3,770

0,152

I0030

1,108

0,510

2,789

0,248

I0019

1,162

0,511

0,174

0,917

I0010

1,163

0,511

0,751

0,687

I0004

1,178

0,511

1,850

0,396

I0042

1,179

0,511

0,753

0,686

I0058

1,205

0,511

0,762

0,683

I0036

1,458

0,518

0,618

0,734

I0026

1,532

0,521

1,185

0,553

В данной таблице тестовые задания расположены в порядке возрастания их трудности. Поэтому представляется целесообразным рассмотреть их более подробно.

Характеристики тестовых заданий позволили выделить основные типы: 1) «идеальные» задания, которые в наибольшей степени подходят для диагностики профессионально значимых знаний, так как значение статистики χ2 по ним превышает 0,9 (i35, i19); 2) неадекватные задания, обладающие наименьшим значением данной характеристики, не превышающим минимально установленный ее уровень (i24, i56, i16, i48); 3) задания, имеющие высокий уровень трудности (i26, i36, i58, i42, i04, i10, i19, i30); 4) задания, имеющие низкий уровень трудности (i18, i25, i57, i55, i05, i37). С учетом полученных данных был проведен анализ несовместимых с общим набором тестовых заданий (i24, i56, i16, i48), которые были удалены из набора тестовых заданий.

На рис. 1 по оси абсцисс откладываются значения измеряемой латентной переменной уровень знаний обучающихся, по оси ординат – число испытуемых (вверху) и заданий (внизу). Причем, с левой стороны указаны абсолютные значения индивидов/заданий, а с правой – соответствующие относительные величины (проценты).

dud1.wmf

Рис. 1. Соответствие между уровнем знаний обучающихся и трудностью тестовых заданий

В идеальном случае гистограмма распределения трудностей заданий теста (нижняя часть рисунка) должна быть близка к равномерному закону распределения данных. Это означает, что представленный набор заданий позволяет с одинаковой точностью оценивать уровень подготовленности студентов на всем диапазоне измерения. Однако из рис. 1 следует, что это требование не выполняется в не в полной мере.

Исследованиями установлено, что средняя трудность заданий не должна отличаться от среднего уровня подготовленности испытуемых более чем на 0,5 логит. В данном случае средний уровень знаний обучающихся на 1,18 логит превышает средний уровень трудности теста. Этот результат можно интерпретировать двояко: обучающиеся очень хорошо подготовлены, или набор заданий слишком легкий. Следовательно, можно сделать вывод, что представленный вариант заданий в тестовой форме не оптимален в отношении точности измерения. Обучающиеся с высоким уровнем знания оцениваются с меньшей точностью, чем обучающиеся со средним или низким уровнями знаний. Поэтому желательно дополнить задания с более высоким уровнем трудности.

Диапазон варьирования трудности заданий: для анализируемого набора заданий меры трудности распределены от -2,0 до +1,5 логит. Таким образом, диапазон варьирования (размах) значений этой меры заданий равен 3,5 логит. Такой диапазон варьирования трудности тестовых заданий обеспечивает измерение как низкого, так и высокого уровня знания обучающихся. По этому аспекту имеющийся набор тестовых заданий не нуждается в корректировке.

В теории измерения латентных переменных доказано, что равномерность распределения заданий по трудности: трудность соседних заданий не должна отличаться более чем на 0,5 логита, в противном случае принимается, что уровень подготовленности студентов внутри таких «пропусков» не дифференцируются с требуемой точностью. В данном случае таких пропусков нет, и по этому критерию данный тест является хорошим измерительным инструментом.

Соответствие тестового задания модели измерения определяется следующим образом. Обучающиеся по полученным оценкам своих уровней знаний (на основе модели Раша) делятся на три группы: с низким, средним и высоким уровнем знаний. Далее для каждой группы вычисляется среднее значение и на основе критерия Хи-квадрат определяется степень близости этих трех экспериментальных точек характеристической кривой. В результате по эмпирическому уровню значимости статистики Хи-кварат выделяются две группы тестовых заданий: те, которые соответствуют модели Раша, и те, которые не соответствуют модели измерения (неадекватные модели тестовые задания). Для первой группы заданий эмпирический уровень значимости больше 0,05, для второй – меньше. В качестве примера рассмотрим наиболее адекватное тестовое задание и наименее адекватное тестовое задание соответственно.

Характеристическая кривая задания в тестовой форме № 35 «Используемое приспособление или инструмент для измерения размеров изделия…» приведена на рис. 1. Тестовое задание № 35 лучше всего дифференцируют обучающихся с высоким уровнем подготовки. Из анализа рис. 1. видно, что экспериментальные точки, характеризующие низкий, средний и высокий уровень знаний практически лежат на характеристической кривой, следовательно задание в тестовой форме №35 наиболее адекватно модели измерений. Эмпирический уровень значимости для этого задания равен 0,989.

dud2.wmf

Рис. 1. Характеристическая кривая тестового задания № 35

Следующие примеры интерпретируют задания в тестовой форме как самое легкое и самое трудное задание.

Наиболее легким тестовым заданием является задание №18 «Отсутствие или степень наличия внутренних и внешних дефектов в бриллианте, называется…», трудность которого равна -1,887 логит (см. рис.2.). Рисунки с характеристическими кривыми имеют определённую структуру: по оси абсцисс отложены значения ”уровня знаний” по профессиональному модулю (в логитах). По оси ординат откладывается вероятность ожидаемого ответа индивида (Expected Score), которая варьирует от 0 до 1.

В верхней части рисунка расположена следующая информация:

– код тестового задания (I0018);

– название тестового задания (здесь названия заданий выбраны по умолчанию, в данных случаях это Descriptor for Item 18);

– мера трудности задания (Locn = -1,887);

– суммарное отклонение ответов индивидов на данное задание от ожидаемых на основе модели Раша (FitRes = -0,105);

dud3.wmf

Рис. 2. Характеристическая кривая тестового задания № 18

– степень соответствия данных модели Раша (ChiSq[Pr] = 0,689);

– объем выборки испытуемых (Sample N = 18).

Характеристическая кривая наиболее трудного задания в тестовой форме: является задание № 26 «Определите, какая из предложенных типов огранок называется ступенчатой…» с трудностью 1,532 логит. Характеристическая кривая этого тестового задания представлена на рис. 3., данный пример определяет по уровню подготовленности обучающихся.

dud4.wmf

Рис. 3. Характеристическая кривая тестового задания № 26

В заключение можно сделать следующие выводы:

На основе проведённого экспериментального исследования качества заданий в тестовой форме в парадигме измерения латентных переменных можно дать многомерную содержательную оценку и получить важные рекомендации для их улучшения. Разработанные задания в тестовой форме являются достаточно эффективным, но отдельные задания нуждаются в доработке для дальнейшего использования. Это естественный процесс, поскольку процедура разработки любого теста носит итерационный характер.

Исследуемые задания в тестовой форме позволили выявить интегрированный и многомерный образовательный результат по профессиональному модулю «Изготовление вставок в ювелирные изделия», который был обработан с помощью программы RUMM 2030. Разработанная совокупность индикаторных переменных соответствует модели измерения.


Библиографическая ссылка

Дудар Л.И., Эрганова Н.Е. МЕТОДИКА ВЫЯВЛЕНИЯ, ИЗМЕРЕНИЯ И ОЦЕНИВАНИЯ УЧЕБНО-ПРОФЕССИОНАЛЬНЫХ ДОСТИЖЕНИЙ // Международный журнал экспериментального образования. – 2014. – № 5-1. – С. 45-52;
URL: http://www.expeducation.ru/ru/article/view?id=5624 (дата обращения: 23.04.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074