Этапы создания психологического теста. Основные этапы конструирования теста
Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.
1.Определение цели тестирования, выбор вида теста и подхода к его созданию.
3.Определение структуры теста и стратегии расположения заданий.
4.Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.
5.Создание предтестовых заданий.
6.Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.
7.Экспертиза содержания предтестовых заданий и теста.
8.Экспертиза формы предтестовых заданий.
9.Переработка содержания и формы заданий по результатам экспертизы.
10.Разработка методики апробационного тестирования.
11.Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.
12.Проведение апробационного тестирования.
13.Сбор эмпирических результатов.
14.Статистическая обработка результатов выполнения теста.
15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.
16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.
17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.
18.Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.
Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В определенном смысле этот цикл бесконечен, но не потому, что все задания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, поскольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразующих свойств.
К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зависит от уровня подготовки группы учеников. Задания, хорошо работающие на одной выборке учеников, могут оказаться совершенно бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.
Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов .
Конечно, далеко не всегда в процессе создания тестов необходимо достижение профессионального уровня качества, особенно если отвлечься от целей приема абитуриентов и аттестации выпускников. В повседневной деятельности педагога необходимы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи вполне по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, основанных на минимальном математическом аппарате и позволяющих значительно продвинуться от предтестовых заданий к настоящему тесту.
Выводы
1.Теория педагогических измерений носит междисциплинарный характер, объединяя достижения педагогики и психологии с достижениями математики, статистики и теории измерений.
2.Разработка понятийного аппарата теории педагогических измерений имеет важное значение для повышения качества тестов.
3. При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. .
4. Педагогические тесты можно использовать для входного, текущего и итогового контроля при оценке результатов осуществленного учебного процесса.
5. Педагогические тесты разрабатываются в рамках двух подходов, позволяющих по-разному интерпретировать результаты их выполнения.
6. Наблюдаемые результаты выполнения теста получаются в результате взаимодействия множества испытуемых со множеством заданий теста.
7. Профессионально разработанные тесты обеспечивают представление об истинных баллах учащихся, определяемых с помощью специальных методов по наблюдаемым результатам выполнения теста.
8. Процесс конструирования теста включает ряд этапов, выполнение которых обязательно. Исключение любого этапа ведет к неизбежной потере качества теста.
ВОПРОСЫ И ЗАДАНИЯ
1.Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в школе?
2.Каковы цели разработки формирующих тестов? Есть ли различия между формирующими тестами и традиционными средствами текущего контроля?
3.Какова цель итогового тестирования?
4.В рамках какого подхода, по вашему мнению, следует разрабатывать тесты для проведения выпускных экзаменов в школе?
5.Правильно ли в вашей школе оценивают эффективность работы преподавателей?
6.Какой процесс называется стандартизацией теста?
7.Перечислите факторы, влияющие на устойчивость норм теста.
8.Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в школе?
9.Сформулируйте определения предтестового задания, тестового задания, педагогического теста. Сравните свой ответ с содержанием соответствующих разделов пособия.
10.В чем проявляются преимущества предтестового задания по сравнению с традиционными контрольными заданиями?
11.Каковы общие требования к предтестовым заданиям? Сравните свой ответе предлагаемым в пособии перечнем общих требований.
12.Охарактеризуйте факторы, снижающие точность тестовых измерений.
13.Можно ли с помощью традиционных средств контроля получить представление об истинных баллах учеников?
14.Три ученика отвечали на 6 заданий теста, ранжированных по нарастанию трудности. По результатам ответов получились профили:
первый: 111000; второй: 101010; третий: 000111.
Кто, по вашему мнению, лучше усвоил содержание проверяемого курса? Сколько ошибок в профиле ответов каждого из трех учеников? У кого из трех учеников будет выше истинный балл? Правомерна ли постановка последнего вопроса по отношению к результатам третьего ученика?
15. Перечислите основные этапы разработки теста.
Целеполагание на этапе планирования
При создании теста внимание разработчика прежде всего привлекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора, включающей вопросы целеполагания, планирования и оценки качества содержания теста.
Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания преподавателю необходимо решить вопрос о том, какие результаты учеников он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверяет знания учеников на уроках традиционными средствами. Однако наделе эта видимая простота зачастую оборачивается низким качеством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к неправильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять.
Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками педагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап целеполагания отсутствует вовсе, поскольку часть педагогов уверена в непогрешимости; своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.
В отличие от отбора содержания традиционных средств контроля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет четкую целевую направленность, а это при условии правильной постановки целей является серьезной заявкой на его высокое качество. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения, и если они сформулированы правильно, то есть большая уверенность в том, что тест состоится.
Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется рядом обстоятельств. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выражений естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недостаточен для осуществления терминообразующей функции.
Вместе с тем в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десятилетий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывчатость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. И наконец, нередко положение осложняли сами исследователи, которые, образно говоря, прорицали, но не слышали друг друга. В целом это привело к тому, что до сих пор не выработаны общие правила выбора оснований для классификации целей, не найдены разделяемые всеми принципы для количественной оценки степени их достижения.
Таким образом, сложившиеся на сегодняшний день представления о наиболее общих целях контроля не позволяют непосредственно перейти к разработке средств измерения. Для формулировок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому для создания средств измерения в первую очередь необходима предварительная операционализация целей.
Процесс операционализации заключается в придании содержанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения . Идея операционализации очень близка отдельным положениям работы М.В. Кларина , где вместо слова «операционализация»"используется иной, довольно удачный термин «конкретизация». Дело разумеется не в термине, а в сути предлагаемого процесса.
Конкретизация целей
Конкретизация, по мнению М.В. Кларина, должна начинаться с описания направленности воздействия обучения на ученика, прояснения характера воздействия и детализации его результатов. В этой связи Кларин выделяет ряд вопросов, решение которых с необходимостью сопутствует процессу конкретизации. Ответ на первый вопрос направлен на характеристику образовательных условий, создаваемых для реализации целей. Ответ на второй - связан с выявлением внутренних параметров учащихся, их способностей к усвоению нового учебного материала. И наконец, ответ на третий вопрос нацелен на характеристику результатов образовательного процесса.
Приведенные Клариным узловые моменты процесса конкретизации нуждаются в некоторых уточнениях - изменении не содержания, а просто порядка постановки вопросов. Поскольку порядок постановки вопросов подчинен определенной иерархии, то для отражения сущности происходящих при контроле процессов второй и третий вопросы, несомненно, следует поменять местами. Судить о внутренних параметрах учащегося можно только на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. По сути, идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пытаются сделать вывод о внутренних устойчивых характеристиках - параметрах ученика.
Конечно, не следует забывать о том, что при контроле преподаватель как бы совершает обратный ход, поскольку на деле именно множество параметров испытуемых в процессе взаимодействия с заданиями порождает наблюдаемые результаты выполнения теста, т.е. то, что в процессе контроля принято называть результатами обучения. При этом выявление степени достижения целей обучения, замкнутых на определенную предметную область, осуществляется через контроль учебной деятельности школьников путем сопоставления наблюдаемых и ожидаемых результатов обучения.
Непосредственно для целей создания средств измерения наибольший интерес представляет ответ на третий вопрос, связанный с операционализацией результатов обучения. Процесс операцио-нализации характеризуется рядом этапов, которые схематично изображены на рис. 3.1.
Рис. 3.1. Этапы операционализации результатов обучения
Далее планируемые результаты обучения в сознании преподавателя-предметника преломляются сквозь призму содержания знаний по преподаваемой им учебной дисциплине, и содержание теста начинает обретать свои контуры. Конечно, многое здесь зависит от выбранных средств оценки, так как далеко не всякое содержание дисциплины и не в любой форме может быть отражено в тесте.
В состав требований к планируемым результатам обучения обычно включают систему изучаемых объектов, описание видов учебной деятельности и качества усвоения учебного материала.
Первым компонентом требований является характеристика объектов изучения с учетом глубины их освещения учителем и планируемого уровня усвоения учащимися. Группой исследователей НИИ СиМО АПН была предложена обще предметная схема, организующая множество объектов изучения в определенную структуру на основе морфологического и функционального анализа содержания предметов . К важнейшим элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.
В этой же работе приводится вывод о том, что использование теории учебной деятельности, разработанной психологами нашей страны (С.Л. Рубинштейн, Н.А. Менчинская, Н.Ф. Талызина), «дает широкие возможности для ее характеристики в программных описаниях, объединяя своими подходами различные учебные предметы и различный по характеру материал обучения». Помимо этого, в работе выдвигается на рассмотрение проблема, связанная с необходимостью выделения видов умений, их классификации и систематизации.
В качестве основы решения проблемы предлагается структура умений, выделенная И.И. Кулибабой . В нее входят умения:
Специальные, формирующиеся в процессе изучения отдельных учебных предметов;
Рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, а также управлять ею в процессе учения;
Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные предметы.
классификация целей
При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэтому ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить самое главное, необходимо структурировать цели и ввести определенную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дисциплине свои приоритеты. К тому же отдельные цели заметно связаны между собой, и потому простого представления о системе целей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно.
Для случая, когда представление об элементах как о несвязанных составляющих можно считать адекватным системе целей обучения, работа по построению системы целей была проведена Б.С. Блумом (B.S. Bloom) . В настоящее время классификация целей (или, как ее иначе называют, таксономия целей), является наиболее известной в мировой педагогической литературе. Она же и является наиболее технологичной с точки зрения большинства зарубежных разработчиков педагогических тестов. В своей классификации Б.С. Блум выделяет:
1) знание названий, имен, фактов;
2) фактуальные знания;
3) знание определений и понимание их смысла;
4) сравнительные, сопоставительные знания;
5) классификационные знания;
6) знание противоположностей, противоречий, синонимичных и антонимичных объектов;
7) ассоциативные знания;
8) причинные знания;
9) алгоритмические, процедурные знания;
10)обобщенные, системные знания;
11)оценочные знания;
12)процессуальные знания;
13)абстрактные знания;
14)структурные знания;
15)методологические знания.
Классификация знаний Б.С. Блума приведена в несколько измененном и сокращенном виде для облегчения этапа целеполагания при разработке теста, в учебном пособии . Сама по себе система тоже не полна и допускает возможность расширения или изменения, обусловленную спецификой дисциплины.
Более полное описание целей, взятое из работы Кларина , приводится в приложении 3.1. Предлагаемая в приложении таксономия целей подразделяется на две группы. К одной группе отнесены цели когнитивной (познавательной) области, а к другой - цели аффективной (эмоционально-деятельностной) области.
В последнее время таксономия Б.С. Блума подвергалась значительной критике в связи с недостаточным отражением современных достижений в области психологии обучения. Общий критический анализ существующих концептуальных моделей планирования при отборе содержания контроля был проделан в 1987 г. Ромберг, Зариния (Romberg, Zarinnia). К числу недостатков ими были отнесены излишняя упрощенность моделей, не позволяющая использовать современные теории процесса обучения, избыточное внимание к оценке результата обучения, а не к процессу формирования результата, использование линейной зависимости между отдельными составляющими модели.
В последние годы особые осложнения в оценке учебных достижений вызывает смещение акцентов на выявление уровня владения интеллектуальными и практическими умениями, которые, по своей сути, слабо алгоритмизируемы, сложны и неоднозначны при проверке и требуют, как правило, создания концептуальных моделей, альтернативных существующим. ;
Из апробированных на практике в настоящее время наибольшее применение находит трехмерная модель, включающая содержание, технику измерения и планируемый уровень познавательной деятельности, необходимый для выполнения заданий теста .
Первая составляющая модели - содержание - обеспечивает содержательную валидность инструментария, его соответствие учебным программам.
Под второй составляющей - техникой измерения - в основном понимается используемый тип заданий. Необходимость введения второй составляющей вызвана тем, что в настоящее время произошло значительное расширение используемых в практике массового тестирования форм. Помимо традиционных заданий с выбором ответа, применяются задания со свободным ответом как в краткой, так и в развернутой форме, экспериментальные задания и др. Разнообразие форм обусловило введение различных технологий, особенности которых должны быть отражены в концептуальной модели.
Третьей составляющей модели является познавательная деятельность, на оценку которой направлено измерение. В традиционном подходе, использующем таксономию Б.С. Блума, уровень мыслительной деятельности, необходимой ученику для ответа на предложенное задание, определялся экспертом. В новой концептуальной модели задания конструируются таким образом, что они предоставляют различные возможности для ответа и уровни познавательной деятельности планируются в концептуальной модели теста.
Детальная разработка категорий познавательной деятельности, требований к уровню ее развития, к проявлению различных уровней сформированности интеллектуальных умений осуществляется в настоящее время в различных странах мира. СОЛО-таксономия (SOLO - Structure of the Observed Learning Outcomes), предложенная в 1982 г. (Biggs and Collis), - один из примеров разработки современной модели структуры познавательной деятельности. На сегодняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности для оценки достижений учащихся по математике и естествознанию (Collis (1987), Collis and Romberg and Jurdak(1986), ChikandWatsonandCollis(1988), Marshall and others (1991) и др.). СОЛО-таксономия включает отдельные аспекты содержательно-деятельностной модели и этим может быть сравнима с таксономией Блума. Помимо этого, в ней есть элементы теории Пиаже об этапах развития познавательной деятельности. СОЛО-таксономия имеет иерархическую структуру, может быть использована как для разработки инструментария, так и при интерпретации результатов тестовых измерений.
Современная модель предлагает качественное описание ответов учащихся. Это означает, что уже на этапе разработки инструментария должна быть четко очерчена познавательная деятельность, лежащая в основе выполнения каждого задания теста. Тогда на одном конце шкалы познавательной деятельности будут представлены задания на воспроизведение фактов и простейших алгоритмов, включающих только один шаг деятельности, - словом, задания, позволяющие учащимся продемонстрировать умения решать простейшие задачи, используя для этого рутинные процедуры или одноуровневую познавательную деятельность; на другом конце шкалы - задания, предлагающие учащимся продемонстрировать большое разнообразие интеллектуальных и практических умений.
В ряде появившихся в нашей стране работ таксономия Б.С. Блу-ма также неоднократно подвергалась критике, в частности, из-за того, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знания, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка). В этой связи в пособии предлагается иная классификация целей. В ее основу положен уровневый системный подход описания достижений учащихся (И.Я. Лернер, В.П. Беспалько и др.), который позволяет сгруппировать результаты обучения в зависимости от уровней учебной деятельности.
Первый уровень связан с непосредственным воспроизведением по памяти содержания изученного материала и его узнаванием.
Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обозначенными правилами.
Третий уровень включает применение знаний в измененной или незнакомой ситуации.
Таким образом, предлагаемый подход к классификации основан на выделении уровней усвоения знаний и операций, сопутствующих их проявлению (табл. 3.1).
ОПЕРАЦИОНАЛИЗАЦИЯ ПЛАНИРУЕМЫХ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ
После постановки целей в общем виде переходят к операциона-лизации планируемых результатов обучения. Процесс операциона-лизации строится на описании учебных целей в виде результатов определенной учебной деятельности так, чтобы о степени достижения цели можно было судить вполне однозначно. Идея подобного перехода не всегда встречается отечественными исследователями положительно. По поводу перехода от целей обучения, ориентированных на качественные изменения во внутренних характеристиках учащихся, к внешним проявлениям в виде результатов учебной деятельности написано немало критических работ, например .
Таблица 3.1. Классификация целей обучения
Уровень усвоения учебного материала | Требования к достижениям учащихся (уровню подготовки учащихся) в обобщенных терминах | Формулировки требований в терминах внешней деятельности |
1 . Воспроизведение знаний | Знать терминологию, специфические факты даты, события, имена людей и т.д.), категории, критерии, методы, принципы, законы, теории и т.д. | Дать определение, называть, формулировать, описывать, установить соответствие (между термином и определением), показывать (находить), распознавать (находить), пересказывать, перечислять (особенности), выбирать и т.д. |
2. Понимание и применение знаний в знакомой ситуации | Понимать факты, законы, принципы, критерии, теории; понимать прочитанный текст. Применять знания для объяснения, сравнения, для решения качественных и количественных задач; правильно использовать методы, алгоритмы, процедуры; строить графики, диаграммы, таблицы и др. | Объяснять, соотносить, характеризовать (приводить характеристики), сравнивать, устанавливать (различие, зависимость, причины), выделять существенные признаки, рассчитывать (определить по формулам или алгоритму), решить, составить что-то по готовой схеме, выполнить в соответствии с правилами, продемонстрировать, измерить, продолжить/закончить (предложение), вставить пропущенные слова (буквы) и т.д. |
3. Применение знаний в измененной или незнакомой ситуации | Интегрировать знания из разных разделов для решения различных проблем, анализировать, обобщать, оценивать, конструировать, планировать деятельность, эксперимент | Составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать гипотезу (выводы), обосновать свою точку зрения или точку зрения автора, предсказывать последствия, отличать факты от мнений (суждений), факты от гипотез, выводы от положений, анализировать информацию, находить ошибку, высказывать суждение, свое мнение, суждения о соответствии выводов и фактов, давать отзыв или рецензию, высказывать суждение о значении (роли) идей, о точности (измерений), высказывать суждение о качестве (точности, эффективности, экономичности) проделанной работы, о выбранном способе решения или используемых методах, строить модель (изменять модель), реконструировать, составить план эксперимента, рассказа, решения, изменить план и т.д. |
Представляется, что ситуация с переходом далеко не столь опасна, как это любят утверждать представители критического направления. Скорее наоборот, ориентация на внешние стороны деятельности учащихся несет в себе ряд положительных моментов. В частности, неизмеримо повышается технологичность описания целей, в связи с чем появляется возможность корректного перехода к диагностике степени их достижения.
Повышению конкретизации описания результатов учебной деятельности, по мнению Кларина, способствует использование ряда глаголов, непосредственно характеризующих действия ученика . В приведенном им примере из работы цель «изучить использование символических обозначений на погодной карте» разворачивается в виде совокупности учебных результатов, характеризующих деятельность ученика, который должен уметь:
Воспроизводить по памяти символы, употребляемые на карте погоды;
Составлять карту, пользуясь символами;
Уметь по заданной карте дать прогноз погоды.
Несмотря на расхожее среди отечественных теоретиков мнение о возможности операционализации только результатов низкого познавательного уровня, процессу операционализации, несомненно, подлежат и довольно сложные цели более высокого уровня. Для этого нужны определенные навыки тех, кто берется за создание тестов. В приобретении подобных навыков разработчикам тестов может помочь ориентировочный перечень глаголов, который приводит Кларин для конкретизации учебных целей. В случае необходимости конкретизации общих целей он рекомендует использовать глаголы:
анализировать, вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, преобразовывать, применять, создавать...
для конкретизации целей творческого типа -
варьировать, видоизменять, модифицировать, перегруппировать, перестроить, предсказать, поставить вопрос, синтезировать, систематизировать...
для обозначения целей в области развития устной и письменной речи - выделить, выразить в словесной форме, записать, обозначить, подчеркнуть (не в буквальном смысле), продекламировать, произнес ти, прочитать, разделить на составные части, рассказать...
Таблица 3.2. Конкретизированные цели обучения
Обобщенные учебные цели, планируемые преподавателем | Примеры конкретизированных учебных целей, достигнутых учеником |
Знание на уровне запоминания и воспроизведения | Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы |
Знания на уровне понимания | Понимает и интерпретирует термины, интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках |
Умения по применению знаний в известной ситуации | Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации |
Умения по применению знаний в незнакомой ситуации | Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации |
Анализ | Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, выделяет скрытые предположения, проводит различия между фактами и следствиями |
Очередной этап операционализации связан с переходом от планируемых результатов обучения к тому, что можно отобразить в средствах педагогического измерения, например в тесте. На этом этапе операционализация позволяет структурировать, расчленять, а иногда, наоборот, укрупнять, уточнять и детализировать содержание дисциплины для его отображения в содержании теста. Именно этот этап обеспечивает переход от теоретического уровня анализа целей обучения к эмпирическому и позволяет концептуально правильно подойти к выделению эмпирических индикаторов - заданий теста.
Последний этап операционализации сопряжен с задачами планирования содержания теста. В процессе планирования автору теста приходится думать о том, что далеко не весь набор целей обучения по разным причинам можно отобразить в содержании теста. Конечно, чем глубже и полнее отображение, тем выше содержательная валидность теста, тем больше оснований доверять тестовым баллам учащихся. Однако этот вывод носит исключительно теоретический характер. На практике же приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях школьников определенного возраста, которые должны выполнять тест без излишнего напряжения и усталости. В этой связи набор целей необходимо структурировать, чтобы в тест попали самые важные цели учебного процесса.
Выделение целей различного уровня иерархии позволяет уточнить определенные предметные области, разделы, темы, содержание которых необходимо отразить в тесте. Отсюда остается один шаг до оценки степени реализации целей, для чего знание предметных областей выражается правилами измерения с перечислением элементов содержания в совокупности с желаемыми, планируемыми при обучении уровнями владения этими элементами. Таким путем общие цели обучения обретают свою конкретизацию и возникает прагматическое определение знания учебной дисциплины: когда испытуемый правильно выполняет на определенном уровне усвоения такие-то задания таких-то разделов теста.
Планирование содержания теста
После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста. В соответствии с поставленными целями каждое задание теста предназначено для проверки у испытуемых уровня владения определенными знаниями, умениями или навыками.
При разработке плана делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины исходя из важности раздела и числа часов, отведенных на его изучение в программе.
Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 60-80 заданий, поскольку время тестирования выбирают в пределах 1,5-2 ч, а на выполнение одного задания отводится в среднем не более 2 мин. Пример предварительной раскладки заданий при составлении плана теста для оценки знаний, умений школьников по одному из разделов алгебры показан в табл. 3.3.
Т аблица 3.3. План теста по разделу «Алгебраические уравнения»
№ п/п | Контролируемое содержание | Число заданий | Номера заданий | |
1 | Определение уравнения | 1 | 1 | |
2 | Эквивалентность уравнений | 3 | 4,5,31 | |
3 | Виды уравнений | 1 | 2 | |
Линейные уравнения | решение | 6 | 11,15-19 | |
исследование | 1 | 7 | ||
Решение квадратных уравнений | неприведенных | 2 | 12,26 | |
приведенных | 2 | 24,25 | ||
неполных | 4 | 20-23 | ||
6 | Исследование квадратных уравнений | 1 | 8 | |
7 | Теорема Виета | .2 | 13,14 | |
Биквадратные уравнения | решение | 3 | 28,30 | |
исследование | 1 | 9 | ||
Методы решения уравнений | подстановка | 1 | 3 | |
разложение на множители | 1 | 27 | ||
Уравнения второй степени | решение | 1 | 6 | |
исследование | 1 | 10 | ||
11 | Задачи на составление алгебраических уравнений | 1 | 32 |
Конечно, план теста начинает обретать некоторую определенность уже на этапе целеполагания, когда преподаватель примерно представляет, сколько и какие задания по различным темам он хотел бы включить в тест. Однако такие примерные оценки не просто нежелательны, а скорее недопустимы. Тест неизбежно окажется перегруженном второстепенным материалом, а главные вопросы могут быть упущены либо для них просто не останется места. Отсюда легко понять важность разработки такого плана, который оптимально отображает содержание учебной дисциплины в содержании теста.
После выполнения первого шага по планированию содержания разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использоваться для оценки достижений учащихся в соответствии с намеченными целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д.
Спецификация в развернутой форме включает 1:
1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;
2) перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста;
3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;
4)количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;
5) число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;
8) соотношение заданий по различным разделам и видам учебной деятельности школьников;
10)охват требований стандартов (для аттестационных тестов);
11)перечень требований, не вошедших в тест (для аттестационных тестов);
1 Развернутая форма спецификации разработана коллективом тестологов под руководством Г.С. Ковалевой и применялась в 1998-1999 гг. для создания аттестационных тестов Российского центра тестирования выпускников общеобразовательных учреждений.
Один из наиболее распространенных подходов к созданию краткой спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте (пункт 8 развернутой спецификации). Пример реализации подобного сопряжения приведен в табл. 3.4. Предлагаемый в ней перечень знаний и умении носит достаточно общий характер. В него включены:
А - знание понятий, определений, терминов;
В - знание законов и формул;
С - умение применять законы и формулы для решения задач;
D - умение интерпретировать результаты на графиках и схемах;
Е - умение проводить оценочные суждения.
Таблица 3.4. Гипотетическая спецификация теста
№ п/п |
Планируемые к проверке знания и умения
Страница 1
Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен. Ясный ответ на этот вопрос - необходимое условие работы. Поэтому первым шагом будет формулирование цели будущего теста. После этого следует обратиться к разработке спецификации будущего теста. Наиболее удобно сделать это в виде таблицы, в котором по горизонтали будут располагаться содержательные области, которые предполагается измерять, а по вертикали - их манифестации, или пути, по которым содержательные области могут проявляться.
Ясное понимание цели будущего теста, естественно, облегчает построение перечня того, что предстоит измерять. При спецификации манифестаций важно обеспечить выделение различных форм их реализации.
В каждом задании может быть задан только один вопрос или сформулировано одно утверждение. Нельзя допускать появления заданий, в которых присутствует формулировки типа: "для этого человека и других людей", "как и другие" и тому подобное. Каждое задание (вопрос) должен быть предельно просто и ясно. Необходимо избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов. В то же время необходимо стремиться к тому, чтобы обследуемые не могли догадываться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на выраженность у себя этой черты, а не реальное положение дел.
Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения.
Везде, где только можно, следует избегать употребления таких слов, как "часто", "редко" и тому подобное. Иначе говоря, в формулировке заданий нужно очень осторожно прибегать к словам, указывающим на частоту действий. Также следует избегать терминов, выражающих чувства. Лучше представить задание в контексте поведения.
Очень важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный. Ответ, воспринимаемый обследуемым как неправильный, будет иметь малую вероятность выбора.
После разработки всех заданий к ним следует вернуться через некоторое время и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого требуется привлечь хотя бы двух-трех экспертов. В личностных опросниках, как правило, используются три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами. Весьма популярны задания с альтернативным выбором (дихотомические), которые просты для понимания, легки и удобны для обработки. Это задание требует наименьшего времени на ответы. К их недостатком относится то, что обследуемые часто не удовлетворены предполагаемой альтернативой, хотели бы видеть больше вариантов ответа. Задания трихотомитрические (три варианта ответа, например "да", "не знаю", "нет") также распространены в опросниках, и их преимуществом является то, что обследуемые могут более точно выразить себя, нежели в случае альтернативы.
Какие-либо правила, определяющие количество вариантов выбора ответа, отсутствуют. Обычно не рекомендуется использование более семи в опросниках, использующих рейтинговые шкалы. Важно обеспечить достаточное количество градаций ответа, с тем, чтобы обследуемые были в состоянии адекватно выразить самих себя. Следует помнить о том, что в разрабатываемом опроснике желательно использовать только один тип заданий.
Разработчикам тестов хорошо известно, что от оформления, формы представления методики, что определяется как ее очевидная (лицевая) валидность, зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен блок основной информации, который включает в себя его название, а также вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных. Обязательно указывается дата заполнения опросника.
Инструкция должна быть ясной, доступной для понимания. В ней должно быть указано, как выбрать ответ и каким образом отмечать его в отроснике. Здесь же содержится дополнительная информация, которую разработчик считает необходимым сообщить обследуемому.
Для компоновки текста опросника следует руководствоваться такими рекомендациями.
а) Нумеруется каждое задание.
б) Каждая строка на странице болжна быть короткой и содержать не более 10-12 слов.
в) Все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы.
Ранняя юность
Юность не так давно выделилась в самостоятельный период жизни человека, исторически относясь к «переходному этапу» возмужания, взросления. Если у животных наступление взрослости достаточно тесно связано с возможностью самостоятельного существования и произведения потомства, то в человеческом обществе критерием взросления становится не п...
Возможные признаки пограничного расстройства личности
При предъявлении проблем и симптомов:
1) разнообразный набор проблем и симптомов, которые могут меняться каждую неделю;
2) необычные симптомы или необычные комбинации симптомов;
3) интенсивные эмоциональные реакции, которые непропорциональны ситуации;
4) саморазрушительное поведение и склонность наказывать себя;
5) импульсивное, пл...
Социальный интеллект
Социальный интеллект рассматривает интеллект как проявление социально-полезной адаптации. Подобное определение интеллекта имеет давнюю традицию. В. Штерн давал определение интеллекта как "некоторую общую способность к новым жизненным условиям". Приспособительный акт - решение жизненной задачи с помощью интеллекта - осуществляе...
Страница 21 из 25
Основные этапы конструирования педагогического теста
Проблемы конструирования опросников.
При разработке заданий для опросников необходимо учитывать следующие проблемы, которые, если их не обойти, неизбежно приведут к низкой валидности тестов.
1. Установка на согласие. Это тенденция испытуемого соглашаться с утверждениями или отвечать на вопросы "да" независимо от их содержания. Чаще всего проявляется, когда утверждения (вопросы) неоднозначны и неопределенны.
2. Установка на социально одобряемые ответы. Это тенденция испытуемых отвечать на вопросы теста так, чтобы выглядеть "социально положительным": если возможен "социально желательный" ответ, то весьма вероятно, что испытуемые будут его давать.
3. Установка на неопределенные или средние ответы. Если в опроснике представлена средняя категория ответов, отражающая нерешительность или неуверенность в ответе (например
"не уверен", "не знаю" или "затрудняюсь ответить"), то многие испытуемые склонны к ней прибегать, как к безопасному компромиссу. Это приводит к снижению валидности, поскольку большинство методов анализа вопросов основывается на крайних значениях показателей.
4. Установка на "крайние" (расположенные по краям шкалы) ответы. Эта установка может проявляться при использовании многоэлементной рейтинговой шкалы. Некоторые испытуемые, независимо от содержания вопросов, предпочитают выбирать крайние ответы.
5. Очевидная валидность вопросов. Несомненно, в тестах личности необходима уверенность в том, что ответы на вопросы могут рассматриваться как правдивые.
6. Проблемы в установлении адекватного критерия валидности. Существует значительная трудность в нахождении адекватного критерия.
Таковы основные сложности, возникающие при конструировании опросников, и следует отчетливо их себе представлять, прежде чем вы приступите к формулированию вопросов или утверждений. Две последние проблемы, хотя они и являются определяющими, выходят на первый план уже после того, как подобраны задания теста.
Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.
1. Определение цели тестирования, выбор вида теста и подхода к его созданию.
2. Анализ содержания изучаемого явления (качества).
3. Определение структуры теста и стратегии расположения заданий.
4. Разработка спецификации теста, выбор длины теста и времени его выполнения.
5. Создание предтестовых заданий.
6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.
7. Экспертиза содержания предтестовых заданий и теста.
8. Экспертиза формы предтестовых заданий.
9. Переработка содержания и формы заданий по результатам экспертизы.
10. Разработка методики апробационного тестирования.
11. Разработка инструкций для проводящих апробацию теста.
12. Проведение апробационного тестирования.
13. Сбор эмпирических результатов
14. Статистическая обработка результатов выполнения теста.
15. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.
16. Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения. Оптимизация порядка расположения заданий в тесте.
17. Повторение этапа апробации для повышения качества теста.
18. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.
Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В определенном смысле этот цикл бесконечен, но не потому, что все задания плохи и разработчик не имеет достаточного опыта создания теста. Процесс конструирования теста довольно труден, поскольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразующих свойств.
К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зависит от уровня подготовки группы учеников. Задания, работающие на одной выборке учеников, могут оказаться бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.
Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов.
Конечно, далеко не всегда в процессе создания тестов необходимо достижение профессионального уровня качества, особенно если отвлечься от общих целей. В повседневной деятельности педагога необходимы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи вполне по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, основанных на минимальном математическом аппарате и позволяющих значительно продвинуться от предтестовых заданий к настоящему тесту.
На этапе сбора данных необходимо принять специальные меры, обеспечивающие единообразие процедуры выполнения теста. Стандартизация этой процедуры затрагивает вопросы формирования репрезентативной выборки испытуемых, правильного инструктирования, выбора оптимального времени тестирования, качественных материалов, подходящей окружающей обстановки. Определенное внимание следует уделить подготовке преподавателей, проводящих тестирование, принять меры по предотвращению списывания в процессе выполнения теста. Малейшее отступление от требований стандартизации повлечет за собой снижение достоверности эмпирических результатов выполнения теста. Помимо перечисленных, на результаты выполнения теста может повлиять множество других, менее очевидных факторов. В целом же для обеспечения сбора достоверных эмпирических данных необходимо:
Точно следовать процедурам стандартизации при сборе эмпирических данных;
Регистрировать любые нестандартные условия, приводящие к отступлениям от требований стандартизации;
Учитывать нестандартные условия тестирования при интерпретации теста.
Большое значение имеет разработка правильных инструкций по выполнению теста, которые следует подготовить как для педагога, руководящего процессом применения теста, так и для учеников, выполняющих тест.
В инструкции для педагога содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные обязанности педагога на этапе проведения тестирования, рекомендации по подготовке краткого отчета о выполненной процедуре предъявления теста.
В целом перед тестированием педагогу необходимо следующее.
1. Объяснить, зачем нужен тест, сообщить, какие результаты ожидаются.
2. Объяснить, почему испытуемые должны приложить максимум усилий для его выполнения, акцентировать внимание испытуемых на возможности проверки своих сил и подчеркнуть соревновательный мотив. При этом следует иметь в виду, что слишком сильная мотивация, как и слабая, в одинаковой степени негативно сказываются на результативности теста.
3. Медленно, четко прочесть инструкцию к тесту с примерами, если они имеются. Возможна ситуация, когда испытуемые самостоятельно следят по своим вариантам теста за инструкцией, а педагог зачитывает ее или воспроизводит по памяти.
4. Дать возможность испытуемым потренироваться, решив самостоятельно одну или более задач-образцов, если такие имеются. Проверить, правильно ли понята инструкция по результатам выполнения образцов заданий теста.
5. Сообщить о временном ресурсе, о правилах исправления допущенных ошибок, рассказать о том, чего не рекомендуется делать при выполнении задач и к кому обращаться в случае возникновения вопросов.
6. Вместе с испытуемыми записать, если требуется, паспортные и биографические данные в регистрационных бланках, проследить за правильностью их заполнения.
7. Ответить на имеющиеся вопросы до начала выполнения теста.
8. Раздать тест.
9. Дать команду начать выполнение заданий. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.
10. Во время выполнения заданий следить:
За временем выполнения отдельных субтестов, если это необходимо, как, например, при выполнении скоростных тестов;
За наличием отточенных карандашей и других материалов;
За правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка, своевременно ее устранить);
За тем, чтобы испытуемые не писали на тестовых брошюрах, если не предусмотрено;
За тем, чтобы соседи не общались, не мешали друг другу, не подглядывали;
За состоянием испытуемых;
За тем, чтобы испытуемые своевременно получили разрешенные инструкцией ответы на вопросы в ситуациях, связанных с процедурой проведения.
11. После сигнала к окончанию выполнения заданий теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать (если участвуют не более 30 человек). Если участников тестирования больше 30 человек, то рекомендуется попросить всех остаться на своих местах и передать в начало ряда тестовые материалы в следующем порядке: бланки для ответов, брошюры, черновики. После этого пересчитать количество бланков и брошюр.
12. По окончании тестирования просмотреть все брошюры и стереть отметки в них.
Оглавление |
---|
Педагогическая диагностика в воспитательном процессе. |
ДИДАКТИЧЕСКИЙ ПЛАН |
Понятие педагогической диагностики |
Исторические аспекты формирования диагностики как специфического вида познания |
Личность как предмет педагогической диагностики |
56. Основные этапы создания теста.
Создание теста - это результат процесса мышления, с одной стороны, и соблюдение определенных правил конструирования - с другой.
Психологический тест может быть охарактеризован как эффективный инструмент при условии, что он удовлетворяет определенным требованиям. Основные из них следующие:
1. Использование психометрической шкалы не ниже интервальной.
2. Высокая надежность теста.
3. Высокий уровень валидности теста.
4. Хорошая различительная способность каждого задания теста, т.е. дискриминативность.
5. Наличие нормативных данных, или возможность описания результатов теста с высокой точностью различными моделями, наличие критериев, установленных экспертами.
1. Разработка первичной формы теста.
1. Выбор предмета диагностики.
2. Анализ и теоретическая разработка предмета диагностики, которая заключается в создании теоретического и операционального определения предмета диагностики.
3. Выбор области валидности применяемого теста.
4. Выбор шкалы ответов.
5. Выбор типов задний в соответствии с характером ответа.
6. Составление и формулирование заданий теста, определение порядка размещения их в тесте.
7. Проведение созданной формы на специально подобранной выборке.
2. Психометрическая проверка теста.
1. Анализ пунктов теста. Смысл этой процедуры состоит в том, чтобы определить насколько каждое задание теста соответствует общему диагностическому содержанию методики.
2. Проверка основных видов надежности теста. Задачей данной процедуры является определение того, насколько результаты тестирования подвержены влиянию различных побочных факторов.
3. Оценка основных видов валидности или обоснованности теста. Задачей данной процедуры является определение того, насколько хорошо создаваемая методика выполняет свои диагностические задачи, т.е. диагностирует тот конструкт, который лежит в ее основе.
3. Расчет нормативных показателей.
Надежность теста . Дисперсия результатов попадания может быть объяснена не только дисперсией «истинной», обусловленной различиями в выраженности психологического качества, но и разбросом, вызванным действием случайных факторов, т.е. дисперсией «погрешности»:
Dx = Dист. + Dпогр.
Отношение дисперсии истинной к дисперсии совокупной и будет называться коэффициентом надежности измерения.
Источником D «погрешности» являются разного рода ошибки. Появление ошибок может быть вызвано разными причинами, среди которых можно выделить две: неточность измерительного инструмента и условия опыта.
Под надежностью теста в самом широком смысле понимается характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам отражают действительные различия в измеряемых свойствах, а в каком они могут быть приписаны действию случайных факторов .
Надежность как устойчивость результатов . Надежность как устойчивость результатов во времени представляет собой согласованность результатов теста, получаемых при первичном и вторичном его применении по отношению к одним тем же испытуемым в разные моменты времени.
Ретестовой надежности - процедуры повторного тестирования одной и той же выборки. Повышение надежности в этом случае свидетельствует о повышенной чувствительности результатов тестирования к изменению состояния испытуемых и обстановки тестирования. При определении ретестовой надежности особое значение имеет интервал между первичным и повторным тестированием. Оптимальный интервал для ретестовой надежности - 6 месяцев для взрослых и 3 месяца для детей.
Надежность параллельных форм. Использование двух взаимозаменяемых форм теста. Обследовании выборки сначала основным набором заданий, а затем - дополнительным, аналогичным первому. Другим путем проверки этого вида надежности является разбиение всей выборки на две примерно равные группы. Первичное тестирование заключается в тестировании первой группы одной формой теста (А), а второй группы - аналогичной формой (В). После небольшого интервала времени (примерно около недели) проводится повторное тестирование в обратном порядке.
Надежность как точность измерений. Наличие внутренней согласованности между заданиями теста и их «суммарную работу на общую цель - точное измерение тестируемой характеристики». Процедура проверки предполагает вычисление интеркорреляционных связей между заданиями, составляющими тест. М етод расщепления - тестировании испытуемого двумя половинками теста. Существуют несколько способов расщепления теста пополам.Данный способ определения надежности как внутренней согласованности часто называют надежность по однородности.
Надежность относительно постоянства условий - проявляется в надежности экспериментатора. В любом исследовании экспериментатор может выполнять три функции: организатора исследования, оценщика и интерпретатора.
Валидность теста. В понятие валидности входит большое количество самой разнообразной информации о тесте. Понятие валидности относится не столько к самому тесту, сколько к цели, ситуации и процедуре его применения. Он может быть валидным или невалидным лишь по отношению к определенной цели применения.
Критериальная валидность - отражает соответствие диагноза и прогноза определенному кругу критериев измеряемого качества. Она измеряется путем корреляции баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия, причем это должен быть именно внешний, т.е. жизненный, независимый от тестирования критерий. Критериальная валидность делится на:
Текущая валидность - это характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике (уровень способностей, вербальный интеллект, тревожность и т.д.).
Прогностическая валидность характеризует степень точности и обоснованности суждений о диагностируемом качестве по его результату, спустя определенное время после его измерения.
Характеристики критериальной меры:
1. Релевантность критерия. Это степень, в которой критериальная мера значима для целей измерения; 2. Свобода от «загрязнения» (контаминации). Выполнение индивидом работы является функцией как переменных индивида, так и переменных ситуации; 3. Надежность критерия. Если критерий используется в качестве показателя исполнения работы индивидом, это должен быть стабильный показатель.
Конструктная валидность . Конструктная валидность теста показывает, насколько его результаты могут рассматриваться в качестве меры некоего теоретического конструкта или свойства. Проверка конструктной валидности может осуществляться следующими способами: 1. Сопоставление исследуемого теста с другими методиками, конструктное содержание которых известно; 2. В этом случае исследователь формулирует ряд предсказательных гипотез о том, как будет коррелировать его новый тест с другими тестами, измеряющими родственные характеристики; 3. Факторный анализ - позволяет статистически проанализировать структуру связей исследуемого теста с другими известными и латентными факторами - факторную валидность; 4. Внутренняя согласованность пунктов теста также является важным аспектом конструктной валидности; 5. Введение экспериментальной переменной.
Другие виды валидности: синтетическая валидность, очевидная валидность, экологическая валидность
На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.
Первый этап
стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
1. условия тестирования (помещение, освещение и др. внешние факторы).
3. Наличие стандартного стимульного материала. Временные ограничения выполнения данного теста. Стандартный бланк для выполнения, данного теста. Использование стандартного бланка облегчает процедуру обработки.
4. Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.
5. Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка «правильного ответа» и др.
6. Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации.
7. Второй этап
стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и стандартной предварительной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста
8. Третий этап
стандартизации психологического теста состоит в определении норм выполнения теста .
Нормы разрабатываются для различных возрастов, профессий, полов и др.
Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.
Нормы необходимы при интерпретации тестовых результатов (первичных показателей) в качестве эталона, с которым сравниваются результаты тестирования.
На этапе создания теста формируется некоторая группа испытуемых, на которой проводится данный тест. Средний результат выполнения этого теста в данной группе принято считать нормой. Средний результат – это не единственное число, а диапазон значений. Существуют определенные правила формирования такой группы испытуемых, или, как ее иначе называют, выборки стандартизации.
Правила формирования выборки стандартизации:
1. выборка стандартизации должна состоять из респондентов, на которых в принципе ориентирован данный тест,
2. выборка стандартизации должна быть репрезентативной, то есть представлять собой уменьшенную модель популяции по таким параметрам, как возраст, пол, профессия, географическое распределение и т.д.,
Распределение результатов, полученных при тестировании испытуемых выборки стандартизации, можно изобразить с помощью графика – кривой нормального распределения.
Этот график показывает, какие значения первичных показателей входят в зону средних значений (в зону нормы), а какие выше и ниже нормы.
Производные показатели получаются путем математической обработки первичных показателей.
Первичные показатели по разным тестам нельзя сравнивать между собой по причине того, что тесты имеют различное внутреннее строение
Важно помнить, что, как писала А.Анастази, «Любая норма, в чем бы она ни выражалась, ограничивается конкретной совокупностью людей, для которых она вырабатывалась. Применительно к психологическим тестам они (нормы) никоим образом не абсолютны, не универсальны и не постоянны. Они просто выражают выполнение теста испытуемыми из выборки стандартизации»
Клинические задачи
Задача 1 На приеме у врача больной в ясном сознании, правильно ориентирован в окружающей обстановке и собственной личности. Рассказывает, что уже около года ощущает на себе постороннее влияние. Предполагает, что с ним "работает какая-то организация", члены которой с помощью «телепатических аппаратов» действуют на его мысли, чув...
Методология психологии
Задачи социальной психологии: 1) исследование проблем социальной психологии, которые взаимодействуют с другими науками; 2) необходимость пересмотра социально-психологических проблем в связи с произошедшими социальными изменениями в нашей стране; 3) исследование этнических, экономических, классовых, политических, идеологических явлений; 4 ...
Признаки самоактуализирующейся личности
Маслоу отмечает, что нехватка благ, блокада базовых и физиологических потребностей в еде, отдыхе, безопасности приводит к тому, что эти потребности могут стать для обычного человека ведущими ("Человек может жить хлебом единым, когда не хватает хлеба"). Но если базовые, первичные потребности удовлетворены, то у человека проявляю...