Want create site? Find Free WordPress Themes and plugins.

Министерство образования и науки Российской Федерации

ТАМБОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Методические рекомендации по составлению

банков тестовых заданий

Тамбов – 2008

УДК

ББК

Рецензенты:

В методических рекомендациях излагаются основные правила составления тестовых заданий для оценки знаний учащихся и правила их представления в редакторе MSWord для дальнейшего их использования в системе адаптивного тестирования АСТ-тест.

Введение

Наряду с традиционными методами обучения и контроля знаний тестирование быстро становится необходимой частью учебного процесса. Это методическое направление в педагогике вновь возрождается в нашей стране.

Цель проведения экзаменов и другого контроля знаний в тестовой форме состоит в том, чтобы повысить объективность оценки уровня знаний. Когда тестирование знаний в группе студентов проводится по пройденному курсу, то полнота его изучения выявляется как для всей группы в целом, так и индивидуально для каждого студента.

В отличие от традиционного контроля в форме опроса, устного экзамена или зачета, которое отнимает много времени, тестирование проводится для студентов всей группы одновременно и, хотя процесс тестирования в целом менее продолжителен, он дает более объективную картину уровня знаний студентов. Тестирование, независимо от того, проводится оно в письменной форме или посредством компьютеров, психологически меньше нагружает студентов и преподавателей. Результаты тестирования после обработки на компьютере представляются в форме совокупности стандартных статистических показателей, пригодных для установления рейтинга знаний студентов и сравнительных характеристик студенческой группы в целом.

Следует отметить, что содержание данных рекомендаций не может носить обязательный характер. Имеющаяся законодательная база не обеспечивает полной определенности ни по форме тестов, ни по их содержанию. Это приводит к тому, что различные сложившиеся в стране центры тестирования, ссылаясь, в основном на труды одного автора (Аванесова В.С.) приводят свои требования к содержанию тестовых заданий.

В данном методическом пособии сделана попытка объединить общие принципы тестирования и содержания тестов и требования к содержанию тестовых заданий и их представление в редакторе MS Word АСТ (Адаптивной среды тестирования).

1. Введение в тестологию

Все известные педагогические задания можно разделить на три группы: тестовые, псевдотестовые и – если можно так назвать – нетестовые.

К нетестовым заданиям относятся задачи, вопросы, примеры, упражнения, кроссворды и все остальное, не имеющее отношения к тем тестам, которые разрабатываются преимущественно профессионалами для итогового контроля знаний. К нетестовым же относится и множество заданий неопределённой формы, называемых тестами вследствие упрощенного перевода с английского слова "test" – проверка, проба. Задание может быть тестовым и по форме, и по содержанию, но не соответствовать, тем не менее, специальным тестологическим требованиям к тестовым заданиям.

Название "псевдотестовые" как бы наталкивает на мысль об ущербности, неполноценности или даже их непригодности для тестирования. Естественно задать вопрос – а почему же они все-таки так названы? Это сделано только потому, что, будучи по форме очень похожими на тестовые задания, они не являются таковыми с точки зрения требований уже упоминавшейся математической теории тестов (Item Response Theory). Если для испытуемых одинакового уровня подготовленности правильный ответ на одно задание зависит от правильного на другое, то такие задания тест, в научном его понимании, не образуют. Именно в этом, статистическом, смысле они и были названы псевдотестовыми.

Псевдотестовые задания представляют собой новый вид контрольного материала, особо ценного для организации самостоятельной учебной работы и для самоконтроля, а также для проведения итоговой государственной аттестации выпускников образовательных учреждений. Потребность в таких заданиях возникает при попытках модернизации учебного процесса и при проведении итоговой государственной аттестации выпускников образовательных учреждений. В связи с тем, что итоговое тестирование проводится после окончания учебного процесса, оно только опосредованно влияет на качество обучения. Отсюда вытекает задача найти такую форму контроля знаний, которая органично вплетается в учебный процесс, ежедневно мотивируя работу учащихся.

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения [1].

Это и все другие современные словарные определения подчеркивают то, что тест означает проверку, испытание, но это не простое установление факта наличия или отсутствия какого-либо качества или свойства, что в состав теста входят тестовые задания, что тест должен быть стандартизирован и что назначение теста – это выявление личностных особенностей или приращений.

Тест не является аналогией отдельным заданиям, экзаменационным вопросам, анкетам, головоломкам и пр. В его основе лежит специально подготовленный и испытанный набор заданий, позволяющих объективно и надежно оценить исследуемые качества и свойства на основе использования статистических методов.

В настоящее время в нашей стране появилось несколько центров, в которых достаточно профессионально занимаются работой с тестовыми методиками. Среди наиболее активных следует назвать: Центр тестирования профессионального образования (ЦТПО, г. Москва), Центр оценки качества образования Института общего среднего образования РАО, Центр тестирования выпускников общеобразовательных учреждений Российской Федерации, Центр психологического и профессионального тестирования МГУ, Лаборатория аттестационных технологий Московского института повышения квалификации работников образования (МИПКРО), Лаборатория изучения образовательных систем Центра развития образования (г. Санкт-Петербург), Центр аттестации областного института повышения квалификации и переподготовки педагогических кадров (г. Вологда), Научно-информационный центр государственной аккредитации Минобразования России (г. Йошкар-Ола), Исследовательский центр проблем качества подготовки специалистов, Центр аттестации Института развития регионального образования (г. Екатеринбург) и целый ряд других.

Следует признать, что тесты достижений не являются инструментом для определения всего спектра учебных достижений. Одним из существенных ограничений применения тестирования учебных достижений являются ограничения, которые накладываются на ответы. Поэтому анализ способов решения задач, мыслительных операций, которые использует обучаемый при решении задач, в большинстве случаев оказывается затруднён, но не невозможен.

1.1. Классификация тестов

В настоящее время сформировались два подхода в тестировании – критериально-ориентированные тесты и нормативно-ориентированные тесты. Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При проверке минимально допустимого уровня знаний содержание заданий носит принципиально облегчённый характер. Этот подход выработан для органов управления образованием, стоящих перед необходимостью в короткое время проверить состояние образования в большом количестве учебных заведений, и не позволить последним опускаться ниже предельно допустимого уровня требований (такими являются тесты на определение остаточных знаний). В таких случаях говорят о критериально-ориентированной интерпретации результатов. При таком подходе посредством некоторого числа тестовых заданий определяется, какие дидактические единицы знает, а какие не знает испытуемый из данного стандарта.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно разделить тестируемых на классы по степени их обученности.

В.С. Аванесов [1] вводит и третий подход – предметно-педагогический подход к интерпретации, где вывод выстраивается вдоль логической цепочки: содержание учебной дисциплины → генеральная совокупность задания для измерения знаний → тест как выборка задании из этой совокупности → ответы испытуемого → вероятностный вывод о его знаниях учебной дисциплины.

Реализуя задачу максимального разнообразия оценок в рамках подхода, ориентированного на норму, отбираются задания, которые дают максимальный разброс в оценках испытуемых, отбраковываются задания, с которыми справляются все обучающиеся или с которыми не справляется ни один из них, поскольку они, с точки зрения оценивания неинформативны. Однако когда вопрос касается анализа усвоения элементов учебного материала, то задания, с которыми справляются все или не справляется никто становятся чрезвычайно важными. Можно утверждать, что данный учебный элемент не освоен никем, а данный освоен всеми. Таким образом, критериально-ориентированные тесты дают возможность реализовать широкие диагностические возможности в отличие от тестов, ориентированных на норму.

1.2 Категории учебных целей

В состав требований к планируемым результатам обучения обычно включают систему объектов изучения, описание видов учебной деятельности и качество усвоения учебного материала. Всё это входит в систему научных знаний.

Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.

К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.

Представляет интерес структура умений предложенная проф. И.И. Кулибабой:

– Специальные, формирующиеся в процессе изучения отдельных дисциплин;

– Рациональные, учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;

– Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.

За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:

1. Знание названий, имен, фактов.

2. Фактуальные знания.

3. Знание определений и понимание их смысла.

4. Сравнительные и сопоставительные знания.

5. Классификационные знания.

6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.

7. Ассоциативные знания.

8. Причинные знания.

9. Алгоритмические, процедурные знания.

10. Обобщённые системные знания.

11. Оценочные знания.

12. Процессуальные знания.

13. Абстрактные знания.

14. Структурные знания.

15. Методологические знания.

Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл. 1).

Табл. 1 – Категории учебных целей для задач измерения

Обобщённые учебные цели

(планирует преподаватель)

Конкретизируемые учебные цели

(достигаются студентом)

Знания на уровне запоминания и воспроизведения

– знает смысл употребляемых терминов;

– знает основные понятия и определения;

– знает формулы, законы, принципы

Знания на уровне понимания

– понимает и интерпретирует термины;

– интерпретирует понятия и определения;

– преобразует словесный материал в математические выражения;

– интерпретирует словесный материал на схемах и графиках

Умения по применению знаний в известной ситуации

– умеет применять термины, понятия и определения в знакомой ситуации по образцу;

– умеет применять формулы, законы и принципы

Умения по применению знаний в незнакомой ситуации

– использует законы и принципы в новых ситуациях;

– осуществляет перенос известных принципов на незнакомые ситуации

Анализ

– видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач;

– выделяет скрытые предположения;

– проводит различия между фактами и следствиями

Синтез

– пишет рефераты, проекты и т.п.;

– предлагает план проведения эксперимента;

– решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую

Оценка

– сопоставляет факты;

– приводит оценочные суждения;

– выбирает оптимальный вариант из предложенных к рассмотрению.

1.3. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения. Но если попытаться в форме вопроса поставить два отрицания, то такое задание становится совершенно непонятным. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: "Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце". Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос.

Один из поводов для критики тестирования заключается в том, что для большинства заданий существует вероятность случайного угадывания правильных ответов. В общем случае это проблема только заданий закрытого типа, и чем меньше возможных альтернатив предлагается испытуемому в рамках одного задания, тем больше вероятность угадывания. Эта проблема остро стоит для заданий альтернативных ответов, где вероятность угадывания максимальна и составляет 50 %, поэтому не рекомендуется использовать такие задания для тестов учебных достижений. Однако серия из пяти заданий альтернативных ответов даёт вероятность угадывания 0,0313, а из десяти заданий всего лишь 0,00098.

Проблема угадывания связана еще и с вопросом времени, выделяемого на тестирование и, в некоторой степени, с вопросом мотивации. Чем выше мотивация, тем больше вероятность того, что испытуемый попытается дать ответ случайно на те вопросы, на которые он не успевает ответить, то есть попытается угадать. В свою очередь количество вопросов, по которым возможно будет проведено угадывание, зависит от времени, выделяемого на тестирование. Чем оно короче, тем больше будет вопросов, на которые распространится случайное угадывание. Таким образом, для времени, выделяемого на тестирование, должен быть найден баланс: при малом времени возрастает вероятность угадывания, при большом времени возрастает вероятность подсказок и других нарушений дисциплины.

2. Порядок разработки банка тестовых заданий (БТЗ)

Чтобы создать корректный педагогический тест по некоторой дисциплине, требуется немало времени и средств. Однако все затраты оправданы выгодами, которые приносит тестирование учебному процессу. Работа по созданию БТЗ проходит поэтапно.

1 этап.

Отбор учебного материала, подлежащего тестовому контролю, и его спецификация. Определяется круг тем, включаемых в тест, и относительное количество заданий, которым должен быть представлен каждый раздел курса. Содержание программного материала дисциплины разбивается на 5-6 смысловых блоков, примерно определяется содержательный вес каждого модуля так, чтобы процентное соотношение вопросов, формируемых по каждому блоку, соответствовало весу модуля.

2 этап.

Создание заданий в тестовой форме по всему курсу или по проверяемой его части, объединение их в тематические группы, комплектование первичного, пробного, теста. Количество разрабатываемых заданий должно превышать предполагаемую длину теста (планируемое количество заданий в тесте) как минимум в 10 раз. При проектировании заданий необходимо учитывать равномерное распределение заданий по структуре, трудности и важности материала.

3 этап.

Проверка первичного теста на группе испытуемых (студентов)

4 этап.

Статистический анализ результатов первичного тестирования, выбраковка и корректировка тестовых заданий.

5 этап.

Формирование из прошедших проверку заданий собственно теста, который должен состоять из заданий в тестовой форме различной трудности с учётом необходимого уровня усвоения знаний и максимально охватывающих всю программу дисциплины.

6 этап.

Эмпирическая проверка теста для уточнения педагогических характеристик как отдельных тестовых заданий, так и всего теста в целом, его валидности, надёжности и др.

Задания, входящие в тест, подбираются так, чтобы они давали основу для проверки некоторых из таких категорий приобретенных знаний, как названия, имена; формулы; смысл слов, названий и имен; факты; определения; сравнение, сопоставление объектов; противоположности, противоречия, антонимы и т.п.; ассоциации; классификации; причинно-следственные отношения; алгоритмы, процедуры; технологии и технологические понятия; вероятностные понятия; абстрактные понятия; методология предмета (Аванесов, 1998)

Хорошо составленный тест обеспечивает широту охвата содержания предмета и проверяет глубину знаний, полученных студентами.

Нельзя не упомянуть и о времени, отводящемся на прохождение теста. С одной стороны в тесте должно быть как можно больше тестовых заданий как минимум для обеспечения надёжности теста. С другой стороны увеличение количества заданий ведёт к увеличению времени тестирования и, как следствие, к утомлению испытуемых, что в свою очередь снижает результаты тестирования.

Таким образом, необходимо найти оптимальное время, которое отражало бы баланс между временем выполнения теста (количеством заданий) и утомлением испытуемых.

Поэтому, проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной, чтобы снизить порог утомляемости испытуемого.

Большинство тестов рассчитано на время выполнения в 40–50 минут.

Таким образом, при составлении варианта теста для апробации, можно ориентироваться на время около часа. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

В качестве практического совета можно привести вполне современную рекомендацию С. Отиса [2]: время теста должно быть таким, чтобы только 5 процентов испытуемых могли справиться со всеми заданиями.



3. Требования к банкУ тестовых заданий (БТЗ)

Каждый БТЗ должен сопровождаться спецификацией со следующей информацией: содержательная часть, качественные показатели и характеристики тестовых заданий. К содержательной части БТЗ относятся: цели применения теста, предметная область, авторский коллектив, структура и спецификации теста; дата сертификации и утверждения БТЗ. К качественным показателям относятся: валидность, количество заданий в различной форме. К физическим, характеристика теста следует отнести: физическое расположение теста, объем памяти носителя теста, наименование и размер файла (файлов), необходимых для проведения тестирования.

Тематическое содержание БТЗ определяется Государственным образовательным стандартом (ГОС).

БТЗ должен быть структурирован по разделам, темам и понятиям.

Каждое тестовое задание может иметь маркировку только одного элемента каждого уровня структуры.

Спецификации БТЗ должны строго соответствовать своему назначению и отвечать заданной величине содержательной валидности.

Тестовые задания в БТЗ должны быть представлены в различных формах и ранжированы по трем категориям трудности.

БТЗ должен пройти экспериментальную проверку, на основании которой будут определены показатели валидности и верности оценки, зафиксированные в сопроводительной к тесту документации.

Количество заданий в БТЗ должно превышать длину формируемого на его основе теста не менее чем в 10 раз.

Композиции тестов формируются из банка тестовых заданий. Рекомендуется использовать в тесте задания, представленные в различных тестовых формах. Тест должен содержать не менее 60 тестовых заданий для математических и естественнонаучных дисциплин, не менее 100 для гуманитарных дисциплин.

На БТЗ должны быть представлены документы об авторских правах его разработчиков

3.1. Спецификация БТЗ

После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:

1. Название теста.

2. Общая цель разработки.

3. Общие задачи, решаемые при применении теста.

4. Содержание теста: части теста, части и разделы учебной дисциплины, охватываемые частями теста).

5. План теста.

6. Характеристика содержания каждого задания: что оно измеряет (конкретное название проверяемых знаний, умений, навыков или представлений), возможность фасета, число допустимых вариантов фасета.

Среднее время выполнения задания и ориентировочная мера выполнимости (% ожидаемых правильных ответов) в выборочной совокупности испытуемых.

7. Характеристика ответов к каждому заданию: мера привлекательности каждого ответа в заданиях с выбором. Фасеты ответов.

8. Количество форм заданий и инструкций. Примеры заданий и инструкций к ним.

9. Оценки за выполнение заданий.

10. Краткие рекомендации по апробации заданий. Объем и основные характеристики выборки испытуемых.

11. Определяемые характеристики качества заданий. Методы исследования.

12. Ожидаемая интерпретация тестовых результатов (варианты критериально-ориентированной, нормативно-ориентированной интерпретации или др.).

Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины). Пример реализации подобного сопряжения показан в табл.2. Перечень знаний и умений условно включены:

– А – знание понятий, определений, терминов;

– Б – знание законов и формул;

– В – умение применять законы и формулы для решения задач;

– Г – умение интерпретировать результаты на графиках и схемах;

– Д – умение проводить оценочные суждения.

Содержательные разделы дисциплины условно имеют следующие пропорции: I – 20%; II – 10%; III – 30%; IV – 40%.

Табл. 2 – Гипотетическая спецификация теста

Планируемые к проверке знания и умения

Содержательные линии (разделы) дисциплины

Сумма заданий по каждому пункту


I

20%

II

10%

III

30%

IV

40%

1

2

3

4

5

6

7

1

А – 10%

1

1

2

2

6

2

Б – 20%

2

1

4

5

12

3

В – 30%

4

2

5

7

18

4

Г – 30%

4

2

5

7

18

5

Д – 10%

1

-

2

3

6

Итого

(строка и рассчитывается и заполняется первой

12

6

18

24

60

При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе "обкатки" теста первоначальная раскладка может существенно измениться.

Спецификация должна охватить весь материал, изложенный в ГОСе по соответствующей учебной дисциплине или в рабочей программе

4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза "Выбрать правильный ответ", "наиболее правильный ответ", "все правильные ответы", "хотя бы один правильный ответ" и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Испытуемому важно понять, что от него требуется, как он должен выполнять задание. Мало понять то, что необходимо установить правильную последовательность, то есть выполнить интеллектуальную операцию, но и то, как собственно ее устанавливать. Кроме этого, для многих заданий важно и то, в каком порядке эту правильную последовательность восстанавливать: от раннего (большего) к более позднему (меньшему) или наоборот. Например, задание на установление правильной последовательности, в которой в качестве элементов для упорядочивания предложены фамилии авторов физических законов становится непонятным, если не указать в каком именно порядке следует их располагать: в алфавитном, в хронологическом, по продолжительности жизни, по тому, кто сколько законов открыл, по географии проживания (с востока на запад) и др.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

4.1. Основные принципы составления тестовых заданий (ТЗ)

1. Разработчики АСТ считают, что тз должно быть представлено в форме краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность.

2. Содержание задания должно быть выражено краткой, предельно простой синтаксической конструкцией. В тексте задания исключаются повторы и двойное отрицание.

3. Используйте задания с однозначными ответами. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.

4. В тексте тестового задания не должно быть сленга (исключая случая составления теста специально для целей, связанных со знанием этих слов).

5. Следует избегать обобщающих слов, таких как: "всегда", "иногда", "никогда".

6. Формулировка тестового задания не должна начинаться с предлога, частицы, союза.

7. Избегайте использования очевидных, тривиальных формулировок при составлении тестовых заданий. Проверяйте, чтобы каждое тз имело отношение к конкретному факту, принципу, умению, знанию, т.е. Обладало достаточной важностью для включения в тест. Все ТЗ должны быть связаны с целями обучения

8. Избегайте потери времени. Этого можно достичь следующими способами:

– Используйте в тесте только столько тз, сколько необходимо для достижения всех целей тестирования. Т.е. При тестировании вашей целью должно являться не количество тестовых заданий, а отражение всех целей тестирования.

– Не пытайтесь “обхитрить” испытуемого любым путём. Исключайте тз и ответы (в закрытой форме, например), если их можно оценить, как "обманные".

– Тщательно продумывайте формулировку тз, чтобы избежать дублирования фраз слов.

– В основную часть задания необходимо включить как можно больше слов, необходимых при формулировании задания, а для ответа оставить меньшую часть, наиболее важных, ключевых слов для данной проблемы.

9. Избегайте взаимосвязанных заданий, где содержание одного задания подсказывает ответ на другое задание.

10. Избегайте непреднамеренных подсказок в заданиях и образцах ответа. Эти подсказки являются одним из способов угадывания правильного ответа без обладания достаточными знаниями или умениями. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Такими подсказками могут быть:

– Грамматические подсказки

– Ассоциативные слова и определения (например, в тз закрытой формы использование одинаковых жаргонных фраз или слов в формулировке тз и в возможном ответе).

– Систематическое повторение некоторых черт правильного ответа. (например, в тз закрытой формы правильным чаще является ответ наиболее длинным по количеству символов).

11. При разработке заданий открытой формы следует предусмотреть и указать возможные варианты ответа.

12. Задания на установление соответствия:

– Задание необходимо сформулировать так, чтобы все содержание можно было выразить в виде двух однородных множеств. Элементы задающего столбца необходимо расположить слева (сверху), а элементы для выбора справа (внизу экрана). Для каждого столбца желательно ввести определенное название, обобщающее все элементы столбца.

– Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, когда число элементов правого множества примерно в два раза больше числа элементов левого столбца;

13. В задании на установление правильной последовательности четко формулируется критерий упорядочивания.

14. Национальные системы ряда стран ставят специфические требования к тестовым заданиям, на которые у нас пока обращается недостаточно внимания. В качестве примера приведём требование инструкции по составлению тестов, предоставленной NEAB (Northen Examinationes and Assesment Board): "Необходимо избегать вопросов, которые в каком-либо виде дают превосходство тестируемому определенного пола. Половой ориентации вопроса необходимо избегать в любом случае. Нельзя считать, что формулировка вопроса в мужском роде подразумевает большую легкость ответа, чем в женском роде. Использование формулы "он/она" также нежелательно, при формулировании вопросов. Лучше пользоваться неродовыми формулировками". Лучше обращаться к группе, а не к отдельному обучающемуся.

4.2. Рекомендации по назначению нормы трудности

1. Норма трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки.

2. Норма трудности зависит от следующих факторов:

– количество концептов, необходимых для решения ТЗ;

– образ мышления, на который направлено ТЗ;

– форма ТЗ;

– уровень значимости ТЗ;

– глубина расположения ТЗ в спецификации;

– количество вариантов ответов.

3. Норма трудности ТЗ может оцениваться с учётом количества используемых концептов, необходимых для поиска правильного решения. Под концептом в дальнейшем понимается некоторое умозаключение (формула, правило, аксиома и т.д.), позволяющее приблизить правильное решение ТЗ. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается ТЗ.

4. Норма трудности ТЗ зависит от образа мышления, на который направлено ТЗ.

5. Если ТЗ направлено на "опознание" какого-то объекта или на проверку "знания-знакомства", то такое ТЗ следует считать простым.

6. Если ТЗ направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое ТЗ следует считать простым.

7. Если ТЗ открытого типа направлено на выявление знания определения односложного базового термина, то такое ТЗ следует считать простым.

8. Если ТЗ направлено на применение усвоенных ранее знаний в типовых ситуациях (т.е. в тех ситуациях с которыми знаком испытуемый) или на проверку "знаний воспроизведения копии", то такое ТЗ следует считать ТЗ среднего уровня сложности. К ТЗ такого уровня сложности следует относить высказывания конъюнктивного или дизъюнктивного вида или ТЗ с несколькими концептами по выбору подмножества правильных вариантов из заданного множества дистракторов. В некоторых случаях к ТЗ такого уровня сложности могут быть отнесены ТЗ на соответствие и порядок.

9. Если ТЗ направлено на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку "знаний умения и применения", то такое ТЗ следует считать сложным. К ТЗ такого уровня сложности относятся задания, сформулированные в виде утверждений импликативного типа. Такие задания требуют применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).

10. Назначение нормы трудности можно производить с учётом формы ТЗ. При этом наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ – на упорядочение и на соответствие. Открытая форма довольно часто бывает у ТЗ со средним уровнем сложности.

11. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Очевидно, что для каждой дисциплины есть определённый набор базовых понятий, например, прописанных в ГОСе, а есть понятия, относящиеся к дополнительному материалу, то есть материалу, который даётся лишь наиболее успешно обучающимся группам студентов. Поэтому, если ТЗ раскрывает базовое понятие, то такое задание можно считать простым, если же ТЗ принадлежит к дополнительному материалу, то его можно считать сложным.

12. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ уровню "глубины" спецификации теста. Если ТЗ раскрывает самый нижний уровень иерархии спецификации теста (например, некоторое "Понятие"), то такое задание будет легким. Принадлежность ТЗ средним уровням иерархии спецификации теста (например, некоторой "Теме" или "Подтеме") повышает норму трудности – средний уровень сложности. Наконец, ТЗ, относящееся к верхнему уровню, корню дерева иерархии (например, к "Разделу", "Главе"), можно считать сложным.

13. Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ.

14. При установлении нормы трудности тестовых материалов важно уметь сопоставлять приведенные факторы для различных случаев и учитывать все особенности предметной области.

5. ВИДЫ И ТИПЫ ТЕСТОВЫХ ЗАДАНИЙ

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

Некоторые авторы дают более подробную классификацию – выделяя всего два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества (рис. 1).

Методические рекомендации по составлению банков тестовых заданий

Рис. 1 – Типы и виды тестовых заданий

5.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Главной трудностью при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа. Существует несколько приемов, которые позволяют формализовать ответ, сделать его однозначным.

Положительными сторонами хорошо составленных заданий дополнения являются:

1) краткость и однозначность ответов;

2) необходимость воспроизведения ответа по памяти;

3) отсутствие необходимости искать несколько вариантов ответа;

4) простота формулировки вопросов;

5) простота проверки;

6) невозможность угадать ответ.

Основное преимущество этих заданий – невозможность угадать ответ, а основной недостаток – сложность формулировки правильного ответа. Тем не менее, для задач на вычисление, задач с формулами в качестве ответа эта форма представляется оптимальной.

После дополнения задания особым образом получается истинное или ложное высказывание, например:

Автором теории относительности считается ____

Положительный заряд ядра определяется числом____

Прямоугольник, у которого все стороны равны называется ___________.

Приведем пример вопроса с нарушенным принципом однозначности ответа:

Площадь треугольника вычисляется по формуле _________.

При выполнении данного задания могут быть получены несколько правильных ответов, что при технологии тестирования недопустимо.

К тем принципам, которые уже известны, следует добавить несколько общих логических принципов, характерных не только для заданий открытой формы, но и других.

1. Принцип логической определенности
содержания задания. Смысл его можно определить так: задание является логически определенным, если оно способно продуцировать у знающих испытуемых правильный ответ и если содержание и форма задания помогают организовать мыслительный процесс нахождения такого ответа.

Нарушением принципа логической определенности являются примеры:

Первая социал-демократическая партия была создана в _____. (Где или когда?)

В схеме абсолютных приоритетов также выполняется маскирование: на время обслуживания каждого запроса вводится … обслуживания запросов с равным или более низким приоритетом.

(контрольное тестирование АСТ специальности 230104 по дисциплине "Операционные системы")

Правильный ответ – маскирование вряд ли при такой постановке вопроса сможет указать хоть один из испытуемых.

2. Вариативность (фасетность)содержания
задания. ФАСЕТ – это форма записи нескольких вариантов одного и того же задания. Применение фасета позволяет в процессе контроля исключить списывание и другие искажения, известные из опыта проведения экзаменов, зачетов и др. традиционных форм проверки знаний. Идея фасета ассоциируется с известной практикой создания нескольких вариантов одинаково трудных заданий для проведения контрольных работ. Принцип фасетности является главным при композиции профессионально разрабатываемых тестовых заданий; он позволяет создавать сразу несколько вариантов одного и того же задания, а, следовательно, вариантов теста.

Ток силой {i}, проходя по проводнику {r} за время {t} секунд выделяет ____ джоулей тепла.

В этом задании имеется 3 символьных фасета, позволяющих в машинном варианте подставить любые комбинации допустимых значений силы тока, сопротивления и времени для проверки умения применять закон Джоуля-Ленца. Такие же фасеты можно сделать для проверки знаний всех физических законов и умений их применять для выполнения лабораторных и практических работ.

3. Принцип параллельности
включает в себя 3 понятия, связанных между собой отношением кумулятивности:

– параллельность заданий (или вариантов заданий) по содержанию;

– параллельность по содержанию и форме;

– параллельность по содержанию, форме и по трудности заданий.

Параллельность заданий по содержанию достигается использованием принципа фасетности и применением 4 принципа – обратимости.

4. Принцип обратимости
. На примере:

Операция нахождения производной функции называется_____

Обратное:

Дифференцированием называется операция нахождения_____

Задания, построенные по принципу обратимости, можно использовать в текущем и итоговом контроле знаний.

При применении обратимых заданий возникает вопрос выбора лучшего варианта для итогового тестирования. При осуществлении такого выбора полезно обсудить педагогические и психологические соображения и аргументы, опробовать все варианты на параллельных выборках и только после этого выбирается то задание, которое в большей степени обладает свойствами тестового задания для данного теста.

Если обратимые утверждения находятся в одном тесте, может возникнуть тавтология и испытуемые могут найти ответ на один вопрос из формулировки другого.

Если испытуемые хотя бы немного ориентируются в учебном материале, то в случае тавтологии ответ для одного задания они найдут из содержания другого.

Некоторые педагоги считают задания открытой формы лучше заданий с выбором одного ответа из нескольких, но это мнение спорно [2]. Например:

Фалес – это первый ... философ.

Правильные варианты ответа: греческий;

Не каждый испытуемый, глядя на этот вариант задания, сообразит, что от него требуется. Для этого вначале нужно уяснить смысл задания – о каком свойстве идет речь, на какой вопрос требуется ответить. (Ведь это предложение и без вставленного ответа уже имеет смысл). В такой ситуации лучше задание с выбором:

Фалес – это первый ... философ.

– греческий

– римский

– арабский

– египетский

Из двух заданий открытой и закрытой формы, выясняющих одно и то же, лучшей, в данном случае, является закрытая форма.

6. Краткость
. Точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений. Зачастую из вопроса опускаются слова "называется", "является" и т. п., что не затрудняет понимания.

7. Принцип неотрицательности
. В основе задания не рекомендуется использование отрицательных частиц, а также определение понятия через перечисление элементов, не входящих в него. Характерные примеры приводит В.С. Аванесов:

Банки не ставятся на _______. (позвоночник)

Однако банки не ставятся не только на позвоночник, но и на многие другие части тела.

Точкой называется то, что не имеет _____.

По определению Евклида "Точкой называется то, что не имеет частей".

В этом задании нарушено логическое правило: определение не должно быть отрицательным. Испытуемые будут правы, если напишут, что точка не имеет длины, ширины, высоты, веса, запаха, вкуса и много чего еще.

5. Принцип логической соразмерности
объема определяющего понятия объему определяемого.

Характерная особенность содержания заданий открытой формы в том, что они иногда порождают несколько правильных, но логически несоразмерных ответов, что нежелательно с точки зрения однозначной оценки и технологичности контроля.

Первым космонавтом был _____

Автор ожидал ответ "Гагарин", но наряду с этим от некоторых испытуемых получил ответы "русский человек", "мужчина", "советский гражданин" и другие, которые с разных сторон характеризуют Гагарина. Полученные ответы нельзя оценить как неправильные, но их трудно приравнять к ожидавшемуся правильному ответу. Такие ситуации недопустимы, так как при компьютерном тестировании ответ сравнивается с эталоном посимвольно.

Выход из подобной ситуации подсказывает логика. Для сужения объема искомого понятия задание лучше сформулировать: "ФАМИЛИЯ ПЕРВОГО КОСМОНАВТА". Таким образом, в задание вносится необходимое уточнение, что позволяет уменьшить объем понятия за счет уточнения содержания, после чего испытуемый дает только один правильный ответ

С точки зрения композиции задания открытого типа должны содержать обязательные элементы:

1. Инструкция для испытуемых
. Это может быть фраза "дополнить", а также более конкретные инструкции: "указать в именительном падеже", "указать с точностью до сотых", "указать через пробел (запятую)" в том случае, если предполагается ввести два слова, "указать дату в формате ДДММГГГГ" (или только год).

2. Содержательная основа заданий
. С помощью заданий открытой формы удобно проверять знание названий, фактов, свойств, признаков, дат, причинно-следственные отношений.

Положительный электрод называется ____

3. Ответы к заданиям
. Во всяком тестовом задании заранее определяется, что однозначно считается правильным ответом на заданный вопрос.

Например:

Увеличение числа слоев ядра ОС ведет к некоторому замедлению его работы за счет межслойного взаимодействия, а уменьшение – … расширяемость и логичность системы.

Ответ автора (контрольное тестирование АСТ специальности 230104 по дисциплине "Операционные системы") – ухудшает

, а вполне возможны и множество других вариантов, например, снижает, усложняет и т.д. В данном случае необходимо либо предусмотреть в качестве эталонных ответов все синонимы (что при богатстве русского языка невозможно), либо не давать задания открытого типа на слова общего характера.

В большинстве случаев ответы к заданиям открытой формы испытуемые пишут в конце задания. Допустимы случаи, когда ответы ставят не в самом конце тестового утверждения. Чем ближе пропуск к началу предложения, тем хуже понимается смысл задания. Поэтому пропуск для ответа лучше делать как можно ближе к концу предложения.

Задания открытой формы применяются там, где нужно исключить вероятность получения правильного ответа посредством угадывания и тем самым повысить качество педагогического измерения. Задания открытой формы, поэтому, являются более трудными как для испытуемых, так и для создателей теста. От создателей они требуют тщательной проработки, учета множества правил, а от испытуемых – конкретных знаний.


5.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как "правильного ответа нет", "все ответы правильные" или "все ответы неправильные", которые в практике еще встречаются.

Задания с выбором одного или нескольких ответов являются самой критикуемой формой. Сторонники привычных подходов утверждают, что по-настоящему проверить знания можно только в процессе непосредственного общения с учеником, задавая ему уточняющие вопросы, что помогает лучше прояснить подлинную глубину, прочность и обоснованность знаний. С подобными утверждениями надо согласиться. Но есть еще вопросы экономии живого труда преподавателей и испытуемых, экономии временных затрат и вообще проблемы повышения эффективности образовательного процесса.

Нередко считается, что найти правильный ответ гораздо легче, чем формулировать его самому. Однако в хорошо сделанных заданиях незнающему ученику неправильные ответы часто кажутся более правдоподобными, чем правильные. Талант разработчика теста раскрывается в процессе создания именно неправильных, но очень правдоподобных ответов. Другое возражение – что тестовое задание с выбором одного или нескольких правильных ответов годится только для оценки знаний так называемого низшего уровня.

5.2.1. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – "да-нет", "правильно-неправильно" и пр.

Поощрения в трудовую книжку

– записываются

– не записываются

Задания альтернативных ответов являются самыми простыми, но не самыми распространенными при составлении тестов. Это связано, в основном, со специфичностью того материала, которому в большей степени соответствует эта форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний. Использование заданий альтернативных ответов в виде отдельного вопроса, одиночно, приводит, как правило, к тривиальному тестированию и нежелательно для использования. О том же говорят и рекомендации СIТО: "Вопросы альтернативных ответов предлагают только одну альтернативу, которую тестируемый либо принимает как правильную, либо отвергает". Таким образом, у испытуемых есть возможность на 50 % отгадать правильный ответ на один вопрос. Поэтому эти задания целесообразно применять сериями к одному элементу знаний, надо иметь в виду, что шанс отгадать 10 таких вопросов равен 0,00098.

В индивидуальном порядке вопросы альтернативных ответов не очень эффективны, а вот длинные серии таких вопросов имеют определенные преимущества. Ответы на них обычно не занимают много времени, и есть возможность охватить весь материал по предмету, задавая как можно больше вопросов по нему.

5.2.2. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

В заданиях множественного выбора количество правильных ответов объективными причинами не ограничивается. Необходимость испытуемому самому определять количество правильных ответов значительно усложняет само задание.

Поиск правдоподобных однородных ответов составляет основную трудность для разработчиков заданий множественного выбора.

При составлении заданий множественного выбора следует руководствоваться принципом однородности:

3. Принцип однородности
. Подбираются такие ответы, которые относятся к одному роду, виду, отображают основные стороны, грани явления. Этот принцип применяется в заданиях с различным числом ответов.

При создании заданий по принципу однородности существенным фактором усиления их эффективности является использование сходных по написанию или звучанию букв, цифр, знаков, слов или словосочетаний. Это позволяет делать ответы правдоподобными, логически безупречными. Очень характерный пример приводит В.С.Аванесов:

Наносы на склонах, вызванные дождевыми и талыми водами, называются

– делювий

– аллювий

– иллювий

– элювий

Принцип однородности часто дает возможность создать полную систему ответов, в которой нечего добавить:

Все арифметические операции над двоичными числами в эвм сводятся к

– сложению

– вычитанию

– умножению

– делению

При формировании заданий с выбором особое внимание уделяется подбору неправильных ответов. Например:

Абсолютную влажность определяют

– гигрометром

– психрометром

– барометром

– термометром

Намек на правильный ответ для понятия "влажность" дает перевод на русский язык латинского слова "гигро", в то время как правильный ответ второй. В общем, чем лучше дистракторы, тем лучше задания. Талант разработчика проявляется, в первую очередь, в подборе дистракторов. Каждый ответ должен привлекать к себе испытуемых; при этом правильный привлекает к себе знающих, неправильный – незнающих. Иначе говоря, не только правильные, но и неправильные ответы выбираются в зависимости от подготовки.

Очевидно, что правильный ответ должен быть совершенным. С другой стороны, он не должен сильно отличаться от других отвлекающих вариантов по длине или стилю. Часто допускается ошибка при написании вопросов – это то, что правильный ответ обычно очень тщательно сформулирован и длиннее, чем другие варианты, так чтобы было легко вычленить его даже тому, кто не владеет предметом.

5. Принцип импликации
.

Тестовый контроль знаний иногда критикуют за некий примитивизм, не позволяющий якобы проверить знание причинно-следственных отношений. Ошибочность подобной критики видна из следующих примеров, где используется принцип импликации, который относится к формулировке содержания. Содержание при этом имеет логическую форму условного суждения вида "если….., то"

Если при данном объеме производства рыночная цена товара меньше средних переменных затрат, то фирме следует

– уменьшить выпуск

– увеличить выпуск

– ничего не менять

– прекратить производство

6. Принцип формулирования заданий с ответами, правильными в различной мере.

При формулировке задания обязательно указывать, что требуется отметить "наиболее правильный ответ". Содержание задания обычно нацеливается на проверку сопоставительных знаний, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени.

Момент инерции можно определить относительно

– оси

– оси и плоскости

– оси, плоскости и точки

Здесь все ответы правильные, но наиболее правильный – третий.

В результате общей устремленности к уменьшению числа слов в тестовых заданиях нередко опускаются такие слова, как "является", "называется", в результате чего задания становятся менее однообразными по подбору слов, но все-таки понимаемыми.

Примерное число слов в заданиях – 10-15, в общем, чем меньше, тем лучше. Утяжеление заданий требованием что-то найти, решить и затем еще сравнить или объяснить отрицательно сказываются на качестве задания, хотя с педагогической точки зрения легко понять причину такой формулировки.

Краткость заданий в тестовой форме вытекает из преимуществ логической формы высказывания, поэтому задания всегда короче задач и вопросов. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться ясности смысла содержания задания. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные испытуемым символы, иностранные слова, затрудняющие восприятие смысла. Хорошо, когда задания содержат не более одного придаточного предложения.

Все повторяющиеся слова в ответах рекомендуется вынести в основу задания. Ответы при этом становятся короче, а само задание приобретает логическую ясность.

Например:

Неправильно

Правильно

За счет каких параметров можно увеличить производительность машин?

– за счет увеличения металлоемкости машин

– за счет увеличения грузоподъемности

– за счет уменьшения грузоподъемности

– за счет увеличения времени цикла

– за счет уменьшения времени цикла

Производительность машин можно увеличить за счет

– увеличения металлоемкости машин

– увеличения грузоподъемности

– уменьшения грузоподъемности

– увеличения времени цикла

– уменьшения времени цикла

5.2.3. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

К философским понятиям относятся

– атом

– бытие

– развитие

– знание

– свобода

– качество

– революция

– количество

Художники эпохи возрождения

– Гойя

– Рафаэль

– Шарден

– Боттичелли

– Сикейрос

– Леонардо да Винчи

– Рублев

В этих заданиях используется только один принцип композиции – это принцип однородности ответов. Все приведенные примеры связаны с идеей проверки знаний о принадлежности к тому или иному роду, виду, классу.

Задания с выбором нескольких правильных ответов очень удобны для проверки знаний, которые можно отнести к типу "что для чего".

Общее число ответов, по мнению некоторых авторов, желательно иметь от 5 до 7. При этом возникает вопрос оптимальной доли числа правильных и неправильных ответов. Добиваться равенства количества правильных и неправильных ответов в каждом задании не следует, потому что испытуемые должны быть готовы к тому, что в любом задании может оказаться любое количество правильных ответов. При компьютерном тестировании следует обратить внимание испытуемых на графическое оформление ответов в заданиях с единственным правильным ответом и с несколькими правильными ответами. В АСТ-системе задание считается выполненным неправильно, если испытуемый переходит к следующему заданию, найдя только один правильный ответ, а не все из эталонных ответов.

Не рекомендуется отрицательная формулировка заданий, т. е. когда спрашивается о том, что не используется, не относится, не делается и т. д.


5.3. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

Задания на установление соответствия особенно полезны для ассоциирования физических, математических и других формул со сферами их практического применения. В любом учебном предмете встречается учебная информация, в которой изучаемые объекты (понятия, величины и т. п.) разбиваются на виды, классы, типы и т. д. Для каждого из этих видов существует множество свойств и характеристик, принципов, правил и норм использования, так что есть возможность составления вопросов на установление соответствия этих терминов их характеристикам. Причем, вопросы на установление соответствия в этом случае будут более рациональны, чем вопросы с выбором правильного ответа из перечня.

Обычно задание соответствия состоит из двух столбцов: в первом – вопросы, утверждения, факты, понятия и т. д., во втором идет список утверждений или свойств, объектов, которые надо поставить в соответствие. Число элементов второго столбца примерно в два раза больше числа элементов левого столбца, чтобы последняя пара не подбиралась методом исключения.

Главными преимуществами заданий этого вида являются: возможность быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

При конструировании заданий на установление соответствия необходимо учитывать требование, вытекающие из особенностей восприятия – число входных данных одного списка не должно превышать 5-6; если их больше, лучше составить еще одну или несколько задач.

Задания на установление соответствия позволяют проверить так называемые ассоциативные знания, существующие в каждой учебной дисциплине. Это знание о взаимосвязи определений и фактов, авторов и их произведений, форм и содержания, сущности и явлений, о соотношении между различными предметами, свойствами, законами, формулами, датами.

Педагогический смысл применения таких заданий заключается в стремлении активизировать собственную учебную деятельность учащихся посредством усиления ассоциаций изучаемых элементов и осмысления результатов контроля и самоконтроля. У испытуемых появляется важное для процесса самостоятельного учения знание о том, чего они не знают.

При составлении заданий на установление соответствия используются уже названные принципы фасетности, краткость и точность формулировок, понятность для всех испытуемых.

Важнейшим требованием к заданиям на установление соответствия является требование однородности элементов групп.

Соответствие формулы и результата ее вычисления:

ФОРМУЛА

ИСПОЛЬЗУЕТСЯ ДЛЯ ВЫЧИСЛЕНИЯ

1. Лагранжа

А) несобственного интеграла

2. Лопиталя

Б) неопределенного интеграла

3. Трапеций

В) определенного интеграла

4. Половинного деления

Г) пределов

Д) производной в средней точке

Е) середины отрезка

Ж) корней уравнений

Еще одним требованием при составлении заданий на соответствие является взаимная однозначность соответствия, т. е. каждому элементу первого множества ставится в соответствие только один элемент второго множества.


5.4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это может быть порядок технологических операций, для гуманитарных дисциплин – восстановление временных последовательностей событий, для точных наук – алгоритмы решения задач и этот список практически бесконечен.

Кроме перечисленных принципов, при составлении заданий на упорядочивание элементов следует отметить обязательность инструкции для испытуемых – в какой именно последовательности располагать элементы – от большего к меньшему, в алфавитном, хронологическом порядке и т. п.

Если в задании подразумевается иерархия, то следует указать с чего начинать отсчет – от младшего или старшего (высшего) элемента. При проведении тестирования испытуемые обязательно требовали пояснений к следующим заданиям (с чего начинать?), хотя порядок не вызывал трудностей.

ПЕРЕЧИСЛИТЕ В ПРАВИЛЬНОМ ПОРЯДКЕ ОРГАНЫ ГОСУДАРСТВЕННОЙ ВЛАСТИ ФРГ

1: Бундестаг

2: Бундесрат

3: Федеральный президент

4: Федеральный канцлер

В данном вопросе нет т.н. "точки отсчета", т.е. с чего начинать перечисление.

Данный тип заданий позволяет проверять культуру алгоритмического мышления (нацеленной на определение наилучшей последовательности действий при решении тех или иных задач), знания, умения, навыки по установлению правильной последовательности различных по содержанию "объектов": 1) исторических событий; 2) технологических действий, операций, расчетов (в том числе при решении типовых задач); 3) процессов; 4) терминов в научных определениях; 5) событий сюжетов различного рода художественных произведений и т.п. Название задания
фиксирует то, что должен продемонстрировать студент, ключевое слово названия лучше всего писать в именительном падеже. Содержание задания
включает в себя название и ранжируемые "объекты". Место для ответов –
это прямоугольники, нарисованные слева, против названия каждого элемента. В них нужно проставлять соответствующие цифры (ранги). В самом задании элементы ставятся в случайном порядке, чтобы в их расположении не было никакого намека на правильный порядок. Для предотвращения угадывания окончания всех слов лучше писать в именительном падеже. Оценка за выполнение каждого задания может варьироваться в зависимости от его важности и трудности. Чаще всего, однако, используется дихотомическая оценка 1/0, при которой один балл дается за правильную расстановку всех рангов в задании, ноль – при ошибке в ответе. Возможно использовать и такое правило: безошибочное решение оценивается, например, 3 баллами; ошибка конце задания – 2 баллами; ошибка в середине – 1 баллом; ошибка в начале – 0 баллов.

Установить правильную последовательность:

СОБЫТИЯ ФЕВРАЛЯ-ОКТЯБРЯ 1917 г.




VI cъезд РСДРП (б)

отречение царя Николая II

приезд Ленина

создание Петроградского совета

взятие Зимнего дворца

Корниловский мятеж

ликвидация двоевластия

II съезд Советов

В пользу того, что задания в тесте должны быть максимально разнообразными, можно привести три существенных довода.

1. Задания разного типа делают тестирование более разнообразным, с точки зрения испытуемых. Более разнообразная деятельность позволяет отодвинуть порог наступления утомления и, как следствие, позволяет больше времени выделить на тестирование, а, имея больший запас времени, мы имеем возможность поместить в тест большее количество заданий и, как следствие, получить более надежный инструмент.

2. Имея тест, состоящий из заданий одного вида, мы всегда имеем реальную опасность получить в качестве составляющей итогового балла умение обучаемых работать с этой формой заданий. Те, кто быстрее приспособятся к ней, те, для кого эта форма окажется наиболее удобной, получат преимущества. Этого можно избежать, используя задания различного вида.

3. Для разных элементов содержания образования подходят разные по форме задания. Для сложных определений, проверки понимания фактического материала – задания альтернативных ответов, для знаний временных или пространственных явлений – задания на восстановление последовательности и т. д. Поэтому, пытаясь свести все многообразие учебного материала к одной форме, мы заведомо делаем тест, в котором содержание не соответствует форме. И, как следствие, он будет менее качественным. Исходя из этих соображений, в тесты следует включать задания разного типа и вида.

6. ТИПИЧНЫЕ ОШИБКИ ПРИ РАЗРАБОТКЕ ТЕСТОВЫХ ЗАДАНИЙ




6.1. Формулировка заданий в форме вопроса.

Неправильно:

Правильно:

Что содержится в файле с расширением obj?

А. Исходный текст программы;

В. Библиотечные функции;

С. Исполняемая программа;

D. Объектный код программы

Файл с расширением obj

содержит:

Исходный текст программы

Библиотечные функции

Исполняемую программу

Ö
Объектный код программы


6.2. В дистракторах присутствуют повторяющиеся слова или словосочетания

Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий

Неправильно:

Правильно:

В каких сетях применяется ППД типа «маркерная шина»:

а) в локальных сетях со звездообразной топологией;

б) в локальных сетях с шинной топологией;

в) в локальных сетях с смешанной топологией.

ППД типа «маркерная шина» применяется в локальных сетях с … топологией

звездообразной

с шинной

смешанной

В каком многопрограммном режиме работы функционируют так называемые диалоговые системы?

а) в режиме пакетной обработки;

б) в режиме разделения времени;

в) в режиме реального времени.

Диалоговые системы функционируют в режиме …

пакетной обработки

разделения времени

реального времени

Нарушение целостности базы данных может возникнуть при выполнении:

1. корректирующих операций

2. поисковых операций

3. операции проекции

Нарушение целостности базы данных может возникнуть при выполнении операций:

корректирующих

поисковых

проекции


6.3. Дистракторы содержат подсказки

Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.)

Неправильно:

Поименованная совокупность взаимосвязанных данных, находящихся под управлением СУБД называется ….

Ответ: База данных

1. подсказка – СУБД

Неправильно:

Правильно:

Составные части ЭВМ.

а) процессор, память, внешние устройства;

б) системный блок, дисплей, принтер, клавиатура;

в) комплекс технических и программных средств.

Составные части ЭВМ:

процессор

память

системный блок

дисплей

принтер

клавиатура

комплекс программных средств

1.Знание того, что системный блок является неотъемлемой частью ПК определяет правильный выбор

2. Второй подсказкой является неоднородность дистракторов: внешние устройства – обобщающее название и принтер – частный случай внешних устройств.

3. Задание все-таки для школьников, а не остаточные знания студентов


6.4. Наличие слов "любое", "и то и другое", "ОБА" в качестве дистракторов

Неправильно:

Правильно:

Схему обработки данных можно изобразить посредством:

коммерческой графики

иллюстративной графики

научной графики

когнитивной графики

любое

Схему обработки данных можно изобразить посредством ... графики

коммерческой

иллюстративной

научной

когнитивной

Правильный ответ – "иллюстративной графики". Трудно понять, что означает слово "любое" (особенно при перемешивании элементов в группе допустимых ответов). Происходит умышленное "сбивание с толку", задание можно считать "обманным".


6.5. Многословность и сложность изложения.

Неправильно:

Правильно:

Выберите из перечисленных ниже характеристик те, которые относятся к системам типа OLAP.

Хранимые данные:

1. оперативные

2. охватывающие большой период времени,

3. детализированные

4. агрегированные

Системами типа OLAP являются хранимые данные:

оперативные

Ö охватывающие большой период времени

детализированные

Ö агрегированные


6.6. Формулировка задания не соответствует его форме

Неправильно:

Правильно:

Отношение имеет несколько вероятных ключей и несколько не ключевых атрибутов. Один из вероятных ключей - простой, остальные - составные.

Укажите максимальную НФ, про которую гарантированно можно сказать, что она соблюдается при данных условиях.

Выбрать один из следующих вариантов ответов:

1 - 1НФ, 2 - 2НФ, 3 - 3НФ

Ответ: 1

Отношение имеет один простой вероятный ключ, несколько составных вероятных ключей и несколько не ключевых атрибутов.

При данных условиях гарантированно соблюдается … НФ.

Ответ: 1, первая

Формулировка задания ориентирована на закрытую форму, а ввод ответа ориентирован на открытую форму задания.

Неправильно:

Правильно:

Расставьте этапы проектирования баз данных в порядке их выполнения:

1. даталогическое

2. инфологическое или концептуальное

3. физическое

Ответ: 2-1-3

Последовательность этапов проектирования БД:

инфологическое или концептуальное

даталогическое

физическое

Формулировка задания ориентирована задание на соответствие, а ввод ответа предусматривает открытую форму задания.

Система автоматически их перемешает. А ввод ответа осуществляется «прощелкиванием» элементов в нужной последовательности


6.7. Один из дистракторов сильно отличается от других

Неправильно:

Правильно:

К какому поколению языковых средств относятся генераторы экранных форм:

1. 1

2. 2

3. 3

4. 4

5. 5

6.
это вообще не языковое средство

Генераторы экранных форм относятся к … поколению языковых средств

Правильные Ответы: 4, четвертому

Вариант ответа №6 отличается от остальных.

для вариантов ответов используются целые числа. В этом случае лучше использовать открытую форму заданий
.


7. Подготовка материала в
MS Word

для использования в АСТ

Прежде всего необходимо отметить, что АСТ предоставляет пользователям-создателям тестов два пути ввода их в систему: посредством использования конструктора тестов и путем конвертации заданий в формате Word с помощью специальной программы.

7.1. Структура заданий в АСТ

7.1.1. Открытая форма заданий

Компоненты задания (рис.2):

– Формулировка задания

– Содержание задания.

– Эталонные заключения (ответы) – все допустимые заключения, которые являются правильными.

Методические рекомендации по составлению банков тестовых заданий

Рис. 2 – Компоненты открытой формы заданий

7.1.2. Закрытая форма заданий

Компоненты задания (рис. 3):

– Формулировка задания

– Содержание задания.

– Группа заключений (ответов), среди которых обязательно есть один или несколько верных. Количество верных обязательно меньше количества всех заключений (желательно более чем в 2 раза)

Методические рекомендации по составлению банков тестовых заданий

Рис. 3 – Компоненты задания закрытого типа

7.1.3. Установление правильной последовательности

Компоненты задания (рис. 4):

– Формулировка задания

– Группа элементов для упорядочения

Методические рекомендации по составлению банков тестовых заданий

Рис. 4 – Задание на установление правильной последовательности

7.1.4. Установление соответствия

Компоненты задания (рис. 5):

– Формулировка задания

– 1-ая группа элементов

– 2-ая группа элементов




Методические рекомендации по составлению банков тестовых заданий

Рис. 5 – Задание на установление соответствия


7.2. Правила оформления БАНКОВ ТЕСТОВЫХ заданий

Документ должен быть оформлен в соответствии с Правилами (Приложение №1)

В шаблоне Normal.dot документа MSWord должны быть установлены следующие параметры: шрифт: Times New Roman; размер шрифта: 14

Для всего документа MSWord необходимо установить прозрачный фон. Для этого, выделите весь документ воспользовавшись комбинацией клавиш "Ctrl+A". Затем выберите пункт меню "Формат→Границы и заливка→Заливка→Нет заливки".

Для каждого OLE-объекта в исходном документе, свойство "Формат рисунка" → "Положение" в обязательном порядке должен быть установлено "Обтекание – В тексте"

7.2.1. Оформление структуры тестовых заданий

Оформление Накопителя Тестовых Заданий должно сопровождаться служебными символами:

F1: (Наименование Накопителя Тестовых Заданий)

F2: (Авторы Накопителя Тестовых Заданий)

F3: (Область применения НТЗ)

F4: (раздел, подраздел, тема) указывается структура ТЗ

V
1: {Название раздела}

V
2: {Название подраздела}

V
3: {Название темы}, (если отсутствует раздел и подраздел, то тема оформляется
V
1: )

Например:

F
1: Геометрия

F
2: ВУЗ, Иванов И.И., Петров П.П., Сидоров С.С.

F3: Аттестационное тестировании е по специальности 000000 «Наименование специальности»

F4: Раздел; Подраздел; Тема;

V
1: Простейшие геометрические фигуры

V
2: Точка, прямая, плоскость.

{задания, относящиеся к данной структурной единице}

V
2: Взаимное расположение точек и прямых на плоскости.

{задания, относящиеся к данной структурной единице }

V
2: Взаимное расположение двух прямых на плоскости.

{задания, относящиеся к данной структурной единице }

V
1: Фигуры на плоскости

V
2: Треугольники и их виды.

{задания, относящиеся к данной структурной единице }

V
2: Четырехугольники.

V
3: Параллелограмм.

{задания, относящиеся к данной структурной единице }

V
3: Трапеция.

{задания, относящиеся к данной структурной единице }

7.2.2. Оформление заданий различных форм

Открытая форма заданий
(без OLE-объектов)

Каждый правильный вариант ответа располагается в отдельной строке (параграфе) и перед ним проставляется знак +: (плюс и двоеточие). Если задание содержит только текстовую информацию, то на месте ключевого слова ставится сочетание символов: ###. Для того, чтобы не учитывались возможные грамматические ошибки в середине слова на месте сомнительной буквы следует поставить знак *. Чтобы не учитывалось окончание слова его надо заменить сочетанием символов - #$#.

I:

S
: {
содержание задания}

+: {
правильный ответ}

Пример №1: (без
OLE
–объектов)

I
:

S
:
Книгопечатание в России началось в ### году

+: 1553

Пример №2: (без
OLE
–объектов)

I
:

S: Векторы Методические рекомендации по составлению банков тестовых заданийи Методические рекомендации по составлению банков тестовых заданий коллинеарные, если k равно …

+: -4

Примечания:

1) При отображении на экране в процессе тестирования символ ### заменяется системой на многоточие, а при вводе испытуемым ответа в строке внизу экрана, он выводится и на место многоточия.

2)Чтобы избежать таких ситуаций, когда система тестирования не будет воспринимать верный ответ из-за орфографических ошибок, правильный ответ можно ввести, заменив «трудные» буквы знаками *, а если «сомнительные» буквы находятся в окончании слова, то заменить следующими символами: #$#. В этом случае буквы, замененные символами не будут анализироваться системой.

3) В заданиях, требующих ввод ответа в виде числа, рекомендуем Вам указывать, с какой точностью (количество знаков после запятой) должен быть введен ответ, а также в качестве разделителя целой и дробной части ставить символ *.

Пример:

I
:

S
:
Фамилия лидера либерально-демократической партии России …

+: Ж*р*новский

I
:

S
:
Процесс обесценивания денег называется …

+: инфляц#$#

В данном случае испытуемый может ввести слово "инфляция"
как в именительном падеже, так и в творительном: инфляцией
. Также здесь не анализируется окончание, которое может быть неправильно написанным, например: инфляцеей
. Все эти варианты ответов при указанной расстановке символов система воспримет как верные

I
:

S: Площадь треугольника с вершинами А (2;2;2), В (4;0;3), С (0;1;0) равна ### (c точностью до 0.001)

+: 4*031

В данном случае испытуемый может ввести ответ в виде "4,031"
или "4.031"

Закрытая форма заданий

Каждый элемент из группы заключений располагается в отдельной строке (параграфе) , перед правильным заключением проставляется знак +: (плюс и двоеточие), а перед дистрактором (правдоподобным ответом ) – знак –: (минус и двоеточие).

Перед элементами из группы заключений не проставляется нумерация, так как при предъявлении заданий, эти элементы перемешиваются.

I:

S
: {
формулировка задания}

-: {
неправильный ответ}

-: {
неправильный ответ}

+: {
правильный ответ}

-: {
неправильный ответ}

Пример №1 (без
OLE
-объектов)

I:

S
:
К направлению живописи импрессионизм относятся картины :

-: Рембрандта

+: Моне

-: Веласкеса

-: Левитана

Пример №2 (с
OLE
-объектами)

I:

S: Даны матрицы Методические рекомендации по составлению банков тестовых заданий и Методические рекомендации по составлению банков тестовых заданий, матрица С = 2А+В имеет вид

+: Методические рекомендации по составлению банков тестовых заданий

-: Методические рекомендации по составлению банков тестовых заданий

-: Методические рекомендации по составлению банков тестовых заданий

-: Методические рекомендации по составлению банков тестовых заданий

Задание на установление порядка

Перед каждым из группы элементов для упорядочения проставляется порядковый номер и знак «:» (двоеточие) – 1:

Порядок следования элементов в группе правильный. Система самостоятельно перемешает элементы для ввода.

I:

S
: {
формулировка задания}

L1: {элемент первой группы}

L2: {элемент первой группы}

L3: {элемент первой группы}

R1: {элемент второй группы}

R2: {элемент второй группы}

R3: {элемент второй группы}

Пример
№1 (
без
OLE-
объектов
)

I:

S
:
Соответствие между картиной и художником

L1: Иванов

L2: Врубель

L3: Малевич

L4: Тропинин

L5:

R1: Явление Христа народу

R2: Демон

R3: Черный квадрат

R4: Кружевница

R5: Портрет Льва Толстого

Задание на соответствие

Элементы следуют правильными парами

Перед каждым из первой группы элементов проставляется символ L
, порядковый номер пары и знак :
(двоеточие) – L1:

Перед каждым из второй группы элементов проставляется символ R
, порядковый номер пары и знак :
(двоеточие) – R
1:

Если пара неполная, то служебные символы проставляются все равно.

I:

S
: {
формулировка задания}

Далее идут элементы, расположенные в правильном порядке

1: {первый элемент}

2: {второй элемент}

3: {третий элемент}

4: {четвертый элемент}

5: {пятый элемент}

6: {шестой элемент}

Пример №1

I:

S
:
Хронологическая последовательность смены знаков зодиака в астрологии:

1: Овен

2: Телец

3: Близнецы

4: Рак

5: Дева

Особенность работы программы с
дополнительными символами

MSWord

Программа AST-Maker не всегда корректно обрабатывает дополнительные символы MSWord, вставляемые с использованием пункта меню «Вставка→Символ». Для корректного отображения заданий, содержащих дополнительные символы MSWord рекомендуем Вам использовать символ «#» который устанавливается перед служебным символом « : ».

Пример оформления ТЗ:

I:

S
: {
формулировка задания}

-#: {
неправильный ответ}

-: {
неправильный ответ}

+
#: {
правильный ответ}

-: {
неправильный ответ}

В случае установки символа «#» вариант ответа будет автоматически распознан как OLE-объект, что позволит пользователю избежать ошибок в отображении ТЗ.

7.2.3. Примеры оформления

Задания закрытой формы

Пример 1
. Математика

I

: {{ 434 }} ТЗ № 1-1 КТ=; МТ=0.7;

S: Тождествами являются выражения:

+: Методические рекомендации по составлению банков тестовых заданий

+: Методические рекомендации по составлению банков тестовых заданий

+: Методические рекомендации по составлению банков тестовых заданий

-: Методические рекомендации по составлению банков тестовых заданий

+: Методические рекомендации по составлению банков тестовых заданий

Пример
2. Задания закрытой формы с OLE-объектом

I

: {{ 28 }} элст-8 КТ=; МТ=;

S: Положительно заряженный шарик свободно падает в однородном электрическом поле, направленном параллельно поверхности земли.

Начальная скорость шарика равна 0. Траектория движения шарика имеет вид:

-: Методические рекомендации по составлению банков тестовых заданий

+: Методические рекомендации по составлению банков тестовых заданий

-: Методические рекомендации по составлению банков тестовых заданий

-: Методические рекомендации по составлению банков тестовых заданий

Задания открытой формы

Пример 1.

I
: {{ 2 }} КТ=; МТ=;

S
:
Фамилия автора законов движения планет - ###.

+: Кеплер

Пример 2.

I
: {{ 3}} КТ=; МТ=;

S
:
Согласно гипотезе ### излучение света происходит не непрерывно, а дискретно.

+: План#$#

(в данном случае предусмотрены варианты написания в разных падежах – Планк, Планка)

Пример 3.

I
: {{ 1}} КТ=; МТ=;

Частица с нулевой массой покоя, часть света - ###.

+: ф*тон

(предусмотрено возможное ошибочное написание, например – «фатон»)

Пример 4. Задания открытой формы с OLE-объектом

I

: {{ 29 }} Динамика-18 КТ=; МТ=;

S

:

Методические рекомендации по составлению банков тестовых заданий

+:
0,7

+:
0.7

+:
7/10

Задания на установление соответствия

Пример 1.

I

: {{ 27 }} динамика-16с КТ=; МТ=;

S
:
На грузовом автомобиле перевозят контейнер по горизонтальной дороге. Соответствие между движением автомобиля и состоянием силы трения покоя, действующей на контейнер:

L1: набирает скорость, двигаясь с постоянным ускорением

R1: постоянна и направлена по направлению скорости

L2: набирает скорость, двигаясь с возрастающим ускорением

R2: возрастает и направлена по направлению скорости

L3: набирает скорость, двигаясь с убывающим ускорением

R3: убывает и направлена по направлению скорости

L4:

R4: равна нулю

L5:

R5: постоянна и направлена против направления скорости

Пример 2.

I

: {{ 31 }} ТЗ № 25[копия] КТ=; МТ=;

S: Мальчик бросил мяч массой 100 г вертикально вверх и поймал его в точке бросания. Мяч достиг высоты 5 м. Работа силы тяжести равна ...

L1: на всем пути

R1: 0

L2: при движении мяча вверх

R2: - 5 Дж

L3: при движении мяча вниз

R3: 5 Дж

L4:

R4: 10 Дж

Задания на установление правильной последовательности

Пример 1.

I

: {{ 195 }} ТЗ - 1) КТ=; МТ=;

S: Правильная хронологическая последовательность событий:

1:
создание психологической лаборатории Крепелином во Франции

2:
открытие экспериментальной психологической лаборатории Бехтеревым в Казани

3:
открытие психологической лаборатории Корсаковым в Москве

4:
разработка Бернштейном и Россолимо методик экспериментально - психологического исследования больных с психическими расстройствами

5:
издание первого учебника по медицинской психологии Кречмером

6:
разработка Мясищевым экспериментальных психологических методов изучения нарушений эмоций

Пример 2.

I

: {{ 196 }} ТЗ - 39) КТ=; МТ=;

S: Нарушения памяти в порядке возрастания их степени выраженности:

1:
Гипомнезия

2:
Амнезия

3:
Корсаковский синдром

4:
Прогрессирующая амнезия

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Аванесов, В. С. Композиция тестовых заданий [Текст] : учеб. кн. для преподавателей вузов, учителей школ, студ. и аспирантов пед. вузов / В. С. Аванесов. – 2-е изд. – М. : Адепт, 1998. – 217 с.

2. Адаптивное тестирование : учеб.-метод. пособие / Н. М. Опарина [и др]. – Хабаровск : Изд-во ДВГУПС, 2007. – 95. : ил.

3. Адаптивное компьютерное тестирование : методическое пособие / Под ред. В.И. Васильева. – М.: МГУП, 2006. – 34 с.

Приложение 1
. Оформление структуры материалов:

Для того чтобы документ Word перерабатывался программой SWAP, необходимо проставить служебные символы:

Символ

Семантика символа

Замечания, Допустимые значения

F1:

Наименование Накопителя Тестовых заданий

не превышает 256 символов

F2:

Состав авторского коллектива

не превышает 256 символов

F3:

Комментарий

не превышает 256 символов

F4:

Принцип структуризации НТЗ (обозначение уровней структуризации тестовых заданий)

Наименование уровней структуры, разделенных знаком “;”

V1: , V2:, V3:

наименование элементов структуры НТЗ, соответственно:

V1: первого (высшего) уровня,

V2: второго (среднего) уровня

V3: третьего (низшего) уровня

не превышает 256 символов

I:

Признак начала задания.

Может содержать следующую информацию:

Авторское имя, категория трудности и мера трудности разделяются знаком “;”

{ }

уникальный идентификатор задания

Может отсутствовать, располагается в фигурных скобках (пустое значение в фигурных скобках равнозначно его отсутствию). Одинарные или двойные

Наличие численного значения в фигурных скобках означает, что содержание задания с таким идентификатором будет заменено ( в случае его нахождения в БТЗ) на представленное в документе импорта.

авторское имя задания,

Следует сразу за уникальным идентификатором или, если отсутствует уникальный идентификатор – то после служебного символа «I:»

T=

t=

т=

ограничение по времени в секундах

Ограничение на выполнение задания проставляется в секундах – целое число

Перед значением времени стоит ключевое слово t= (или кириллица т) на любом регистре

К=

к=

k=

K=

категорию трудности задания (одна символьная переменная),

Категория= А – легкое задание

Категория= В – средней трудности ТЗ

Категория= С – трудное задание

Перед значением категории стоит ключевое слово k=(или кириллица к) на любом регистре

M=

m=

М=

м=

меру трудности задания (выраженную целы числом от 1 до 100).

Мера трудности (экспертная) – выражается целым числом от 1 до 100. Целое число – для удобства ввода и уменьшения ошибок. В системе преобразуется в число от 0 до 1

Перед значением меры трудности стоит ключевое слово m=(или кириллица м) на любом регистре

С=

с=

Количество предъявлений

Количество предъявлений – выражается целым числом.

Перед значением количества предъявлений стоит ключевое слово с=(или кириллица с) на любом регистре

Q:

Формулировка задания или дополнительная информация, обеспечивающая правильное понимание содержания задания

не превышает 256 символов, может отсутствовать или не содержать символов

S:

Содержание задания.

Может быть как текстовой информацией так и OLE –объект (картинку).

По длине не ограничено. Если содержит несколько строк, разделенных символом конца строки, то для последующей строки символ S не повторяется.

+:

признак верного заключения (для задания открытой и закрытой форм)

Для задания открытой формы только текстовое содержание

Для задания закрытой формы может содержать текст или OLE-объект (картинку). Строка не должна превышать 255 символов.

-:

признак неверного заключения (дистрактора) для заданий закрытой формы.

Может содержать текст или OLE-объект (картинку). Строка не должна превышать 255 символов.

Ln:

Признак элемента левого столбца задания на установление соответствия

Может быть текстовой информацией или OLE –объектом (картинкой).

n – целое число от 1 до 10

не превышает 256 символов

Допускается одновременное присутствие OLE-объекта и текстовой информации. В этом случае текстовая информация будет введена как OLE-объект.

Rn:

Признак элемента правого столбца задания на установление соответствия

Может быть текстовой информацией или OLE –объектом (картинкой).

n – целое число от 1 до 10

не превышает 256 символов

не превышает 256 символов

Допускается одновременное присутствие OLE-объекта и текстовой информации. В этом случае текстовая информация будет введена как OLE-объект.

N:

Признак элемента задания на установление правильной последовательности

Может быть текстовой информацией или OLE –объектом (картинкой).

N – целое число от 1 до 20

не превышает 256 символов

Может быть текстовой информацией или OLE –объектом (картинкой).

Приложение 2.
Список основных понятий

Адекватность
– один из критериев теста, показывающий, насколько полно тест охватывает учебный материал (курса, предмета или их части).

Анализ тестовых заданий
– процесс определения трудности и дифференцирующей способности заданий
теста посредством статистического анализа, на основе этого принимается решение о включении задания в окончательный вариант теста.

Ассоциации в тестовых заданиях –
вербальные подсказки в содержании заданий, позволяющие тестируемому домыслить выбор ответа из предложенных вариантов; свидетельство некорректности задания

Балл –
в тестологии
количественный показатель выраженности измеряемого свойства у испытуемого при выполнении определенного задания или системы заданий с использованием соответствующих шкал оценок.

Б
анк тестовых заданий
– логически упорядоченная структура конечного числа программно-дидактических тестовых заданий, позволяющая автоматически генерировать множество культурных форм тестов.

Валидность теста –
(validity – действенность, адекватность, пригодность, обоснованность). Комплексная характеристика теста, отражающая обоснованность, значимость его результатов, адекватность теста целям измерения (т. е. тест дает ответ на вопрос: измеряют ли задания то, что хотели их составители). Различают несколько видов валидности, дающих представление о качестве теста по разным основаниям. Внешняя валидность – степень прагматичности, привлекательности текста для тестируемого и/или тестирующего. Содержательная валидность (валидность по объему) – степень представленности в тесте содержания программы, учебника, набора ситуаций и т. п. Конструктная валидность (концептуальная валидность) – характеристика теста, определяющая на основе анализа содержания теста, насколько объект тестирования и характер заданий учитывают психологические особенности усвоения материала (в лингводидактическом тестировании – языкового, речевого). Функциональная валидность – полное соответствие конкретного теста тому уровню усвоения, виду деятельности, для которого он создан. Статистическая валидность – характеристика теста, определяемая анализом результатов тестовых испытаний и проверкой знаний традиционными методами. Критериальная валидность отражает значимость результатов теста по сравнению с некоторой внешней переменной, внешним критерием. Различают и другие виды валидности.

Дистрактор
– (distractor – альтернатива, отвлекающий ответ). Вариант ответа на тестовое задание, близкий к правильному, но не являющийся таковым. К отвлекающим ответам относятся: антоним правильного ответа, неполный синоним, контекстуальная отвлекающая, аффиксальная отвлекающая (к правильному ответу прибавляется или от него отнимается префикс, суффикс), графическая отвлекающая (1-2 буквы прибавляются к ответу или изымаются из него); и т. д.

Компьютерный тест –
тест, задания в котором предъявляются специальной компьютерной (контролирующей) программой, обеспечивающей как презентацию тестовых материалов, так и их обработку (анализ, оценка ответов).

К
омпьютерное тестовое испытание
– экспериментальное вычисление оценки уровня учебных достижений индивида при моделировании его поведения тестирующей программой.

Корректность тестового задания –
качественная характеристика тестового задания, согласно которой корректным считается задание, содержащее один предмет измерения и один правильный ответ, в отличие от некорректных заданий, имеющих более одного предмета измерения и допускающих несколько вариантов правильных ответов.

Критериально-ориентированный тест – т
ермин предложен Р. Гласером (1963 г.); означает, что тест выявляет то, что индивид знает и может делать, а не то, как его результаты соотносятся с результатами других тестируемых, т. е. тип тестов, предназначенных для определения уровня обученности испытуемых относительно некоторого критерия, а не относительно групповых норм.

Нормативно-ориентированный тест – т
ип тестов, предназначенных для определения сравнительного уровня подготовки (обученности) испытуемых – между собой и относительно некоторой нормы
.

Обработка и интерпретация результатов теста –
1. Анализ заданий предтеста
для составления окончательного качественного теста. 2. Выявление качества (надежности, валидности
и других показателей) теста. Целью обработки результатов теста в минимальном объеме является: 1) получение средних данных о результатах теста всего контингента тестируемых, которые характеризуют эффективность (успешность) обучения и обученность испытуемых, и 2) получение данных о результатах каждого отдельного тестируемого, которые дают представление о внутригрупповых различиях в обученности.

Оценка
– качественное установление значимости заключений тестируемого.

Педагогический тест
– Комплекс заданий, измеряющих уровень учебных достижений, обученности, прогресс в учебной деятельности, эффективность учебного процесса. Отличие педагогических тестов от психологических состоит в том, что педагогические тесты измеряют уровень усвоения отдельного предмета, а психологические - свойства психики; в педагогических тестах отчетливее очерчен объект контроля (знания, умения), моделируется фрагмент естественной учебной ситуации, их выполнение вызывает включение мотивации.

Сертификация теста
– процесс независимой экспертной проверки качества тестовых материалов, их соответствия заявленным целям, задачам и образовательным стандартам, апробация, а также выдача соответствующего документа, рекомендующего использовать тест в государственной системе тестирования.

Спецификация теста
– подробный план теста и процедуры тестирования; например, сначала описывается цель теста, затем структура и содержание каждой части с указанием формы предъявления материала (устная или письменная), с характеристикой презентируемого материала (социально-бытовая, официально-деловая и пр. проблематика), с указанием на форму выполнения заданий (работа с матрицей, с магнитофоном и т.д.), с указанием на время, объем заданий, количество предъявлений и пр.

Таксономия
– направление в области педагогических измерений, которое занимается разработкой теоретических и практических аспектов общих и частных целей обучения, аспектов проверки и оценки! знаний, умений и навыков; описывает эталонные) действия обучающихся.

Тестовое задание
– минимальная составляющая единица теста.

Тестовое задание закрытой формы
– форма тестового задания, при выполнении которого испытуемый выбирает ответ из нескольких предложенных вариантов, при этом только один из вариантов ответов правильный, остальные - отвлекающие, дистракторы
.

Тестовое
задание открытой формы
– форма тестового задания, основанного на припоминании и дополнении, выполнение которого требует свободного, самостоятельного формулирования ответа или подстановки пропущенного слова, словоформы в тексте на месте прочерка.

Тестовое
задание на соответствие
– форма тестового задания, при выполнении которого необходимо установить соответствие между элементами двух множеств.

Тестовое задание на установление правильной последовательности
– форма тестового задания, выполнение которого состоит в установлении правильной последовательности операций, действий, событий (в установлении требуемого в задании порядка среди однородных элементов некоторой группы операций, действий, событий).

Трудность тестового задания –
основная статистическая характеристика тестового задания, определяемая долей тестируемых из выборки, ответивших правильно на данное задание.

Фасет
– форма записи нескольких вариантов одного и того же задания. Применение фасета позволяет в процессе контроля исключить списывание и другие искажения.

Содержание

Введение 3

1. Введение в тестологию 3

1.1. Классификация тестов 5

1.2 Категории учебных целей 6

1.3. Проблемы составления тестовых заданий 8

2. Порядок разработки банка тестовых заданий (БТЗ) 9

3. Требования к банкУ тестовых заданий (БТЗ) 10

4. Состав и характеристика тестовых заданий 12

4.1. Основные принципы составления тестовых заданий (ТЗ) 13

4.2. Рекомендации по назначению нормы трудности 15

5. Виды и типы тестовых заданий 16

5.1. Задания открытого типа 17

5.2. Задания закрытого типа 22

5.3. Задания на восстановление соответствия 27

5.4. Задания на восстановление последовательности 29

6.1. Формулировка заданий в форме вопроса. 31

6.2. В дистракторах присутствуют повторяющиеся слова или словосочетания 31

6.3. Дистракторы содержат подсказки 31

6.4. Наличие слов "любое", "и то и другое", "оба" в качестве дистракторов 32

6.5. Многословность и сложность изложения. 32

6.6. Формулировка задания не соответствует его форме 33

6.7. Один из дистракторов сильно отличается от других 34

7. Подготовка материала в MS Word 34

для использования в АСТ 34

7.1. Структура заданий в АСТ 34

7.2. Правила оформления банков тестовых заданий 36

Приложение 1. Оформление структуры материалов: 46

Приложение 2. Список основных понятий 49

Содержание 52

Did you find apk for android? You can find new Free Android Games and apps.