В. Д. Полежаев
, М. В. Полежаеваг. Омск, Омский государственный технический университет
ИСПОЛЬЗОВАНИЕ ТЕСТОВЫХ ТЕХНОЛОГИЙ ПРИ ПРИЕМЕ В ВУЗ КАК ИНСТРУМЕНТ ОБЪЕКТИВНОЙ ОЦЕНКИ ЗНАНИЙ И УМЕНИЙ АБИТУРИЕНТОВ
Одним из самых распространенных экономичных способов контроля знаний является тестирование, этот метод имеет ряд преимуществ перед традиционными устными и письменными экзаменами, недостатками которых является высокая организационная сложность, большая трудоемкость работ, ограниченное (регламентированное) время проверки, присутствие субъективного и психологического факторов. На самых ответственных для учащихся этапах, имеющих массовый характер, – на вступительных экзаменах – необходимо разрешить две проблемы: технологичность (скорость) оценивания и обеспечить нужную разрешающую способность процедуры оценивания. При входной аттестации, осуществляемой в целях приема в высшие учебные заведения, допускается использование различных форм и методов контроля, среди которых наиболее важное место отводится научно обоснованным тестам. Тестирование обеспечивает оценки, обладающие необходимыми свойствами: обоснованностью, объективностью и сопоставимостью.
В связи с этим Ученый совет Омского государственного технического университета (ОмГТУ) принял решение о проведении всех вступительных испытаний в ОмГТУ в 2002 году в форме бланочного тестирования на основе ввода в базу данных информации с бумажных носителей с использованием высокопроизводительного сканера. Возникла необходимость создания программно-технического комплекса для организации контроля знаний на основе бланочного тестирования, позволяющего автоматизировать регистрацию абитуриентов, сканирование и распознавание бланков, обработку результатов с заданным уровнем надежности, распечатку итоговых ведомостей и статистический анализ. К комплексу были предъявлены требования интегрированности с действующей системой учета абитуриентов и соблюдения контролируемого надлежащего уровня секретности, а также возможности использования подсистем данного комплекса для организации и проведения Всероссийского централизованного тестирования выпускников общеобразовательных учреждений.
Выделяют три этапа тестирования: выбор теста, его проведение, подсчет баллов с последующей интерпретацией результатов. Для того чтобы тест выполнял свои функции, необходимо знать его валидность, надёжность, уровень трудности, нормы. Пользователь тестов — администратор системы образования, который используя тестовые показатели как главный источник информации, принимает практические решения. Главная доля критики в адрес идеологов тестирования направлена не на тесты как таковые, а на неправильное использование результатов тестирования недостаточно компетентными пользователями. Многие приписываемые тестированию недостатки порождены предпочтением сокращённых форм тестов, стремлением получить быстрые ответы и простые шаблонные решения реальных проблем.
Необходимо помнить, что главная принципиальная причина проведения тестирования
– это потенциальная возможность обобщения (генерализации) выборочных образцов поведения, наблюдаемых в тестовой ситуации, которая позволяет распространить его на другие, нетестовые ситуации. Любые влияния, специфические для тестовой ситуации, снижают валидность теста. Ведь валидность – это свойство именно теста, проявляющееся, однако, только при соблюдении определённых условий стандартизации.Поэтому важно выявить все связанные с тестированием влияния, которые могут уменьшать возможность обобщения результатов теста. От испытуемых необходимо ожидать полного сосредоточения на заданиях теста и приложения всех сил для успешного их решения.
Без лишних слов ясно, что условия предъявления теста оказывают большое влияние на успешность его выполнения. Тестирование больших групп нервничающих людей в переполненной душной комнате с высоким уровнем фонового шума – это достаточно очевидный рецепт для неудачного выполнения теста, так же как и любое отклонение от инструкции теста, применения образцов или временных лимитов.Условия проведения тестирования в ОмГТУ полностью исключают подобные “специфические влияния”.
Однако следует рассмотреть и некоторые другие психологические характеристики индивидуумов, которые также могут влиять на успешность выполнения теста. Мотивация личности при работе с любым тестом, вероятно, будет оказывать определенное влияние на успешность его выполнения. Поощрение к успешному выполнению может привести к значительному повышению оценок по тестам сравнительно с контрольными группами.Предполагается, что и другие факторы также оказывают большое влияние на успешность выполнения тестов. Если ученик убежден, что он вряд ли сможет хорошо выполнить тест, то, возможно, он действительно
будет плохо выполнять его в силу подверженности влиянию стереотипов. Предполагается также, что важна социальная атмосфера ситуации тестирования и что возраст, пол, уровень тревоги и уровень энтузиазма индивидуума могут влиять на получаемые оценки. Высокие уровни тревоги оказываются действительно связанными с пониженной успешностью выполнения многих тестов, однако утверждение на этой основе причинной связи может оказаться опасным. Возможно, что сильная тревога возникает как результат вполне правильной самооценки того, что человек окажется не в состоянии выполнить тест хорошо.При тестировании и школьников, и студентов (заочное и вечернее обучение) надо иметь в виду, что каждый тест представляет собой скрытую угрозу престижу индивидуума. Полезно, например, объяснить, что никто не ожидает выполнения всех заданий. Ещё один аспект — нужно убедить тестируемого принять цель этой проверки как свою цель, ведь это в его собственных интересах
– получить по тесту оценку, верно отражающую состояние дел.Поскольку индивидуальные различия характерны для конкретных тестовых ситуаций, их снижение дало бы возможность более валидной оценки той широкой области, для измерений в которой предназначен данный тест. Можно повысить уровень выполнения тестов на базе развития широких интеллектуальных (когнитивных) умений, навыков, стратегий решения задач, занимаясь на курсах, которые проводит ОмГТУ. Курсы могут быть различной интенсивности и длительности Предназначение таких программ – обучение, а не тренировка. Используемые в этих программах методики обучения предназначены для обучения и приучения тщательно анализировать задачи и вопросы, учитывать все альтернативы аналитически, а не наугад формулировать или выбирать ответы. Широкое обучение влияет как на тестовые показатели, так и на критериальную деятельность, поэтому оно не влияет на валидность теста.
Немаловажное значение имеет тестовая искушённость – приобретение обширной практики выполнения тестов.
Короткие практические занятия эффективны для выравнивания тестовой искушённости испытуемых. Консультации перед тестированием позволяют учащимся познакомиться с “нулевым вариантом” теста и научиться правильно заполнять бланк ответов.Приемной комиссией университета был разработан универсальный бланк ответов по всем предметам вступительных испытаний, предусматривающий возможность использовать в тестах как закрытый, так и открытый типы вариантов ответа. После сканирования бланки ответов распознаются с помощью программы “
ABBYY FormReader 4.1”, результаты экспортируются в базу данных, созданную с использованием Delphi 5, InterBase 5.0. На следующем этапе происходит контроль правильности заполнения и распознавания полей, ручная и автоматическая коррекция ошибок с использованием априорных данных (регистрационных и паспортных данных, номеров документов и т.д.), их проверка путем сравнения с правильными ответами, определение количества набранных баллов и выставление оценок по пятибалльной шкале на основе утвержденных критериев.Программа предусматривает проведение статистических исследований, выполнение сравнительного анализа результатов экзаменов по учреждениям среднего образования, что позволяет оценить эффективность работы подготовительных курсов, подготовительного отделения университета, а также профильных классов базовых учебных заведений, сотрудничающих с университетом. Комплекс производит автоматический расчет характеристик теста (надежность, валидность), что позволяет дать рекомендации предметным комиссиям по составлению тестовых заданий.
Отличительной особенностью разработанного комплекса является реализация идеи раздельной проверки областей ответов и регистрационных паспортных данных поступающих. Так как при распознавании и верификации части ответов оператор не должен знать, чей именно бланк ответов он проверяет, то изображение обрабатывается так, чтобы оно разделялось на область ответов и область регистрационных паспортных данных, причем на каждой обрабатываемой части одной работы автоматически ставится уникальный номер, по которому ее можно идентифицировать. Номер ставится программно на этапе разделения изображения бланка, на бумажном бланке его нет, поэтому оператор никак не может идентифицировать работу. Для этих же целей в изображении области ответов подписи тестируемых программно затираются. После чего изображения частей бланков, содержащие ответы, отправляются на распознавание и верификацию оператору.
После распознавания и верификации частей бланков, содержащих области ответов, вводятся ключи вариантов, относительная сложность заданий и критерии перевода из заданной шкалы в пятибалльную оценку. На основании введенных ключей осуществляется проверка работ. Только после этого становится доступной функция проверки и верификации тех частей бланков ответов, которые содержат регистрационные паспортные данные.
Регистрационные данные проверяются с помощью априорной информации, хранящейся в базе данных, если регистрация проходила с использованием разработанного комплекса, либо получаемой из базы данных АСУ “Абитуриент”. Прием на все формы обучения в ОмГТУ в 2002 году был полностью проведен с использованием данного комплекса. В результате расходы на проверку работ поступающих сократились более чем в 5 раз по сравнению с традиционной проверкой этих работ преподавателями.
В настоящее время вузы, расположенные на территориях, входящих в эксперимент по ЕГЭ, одновременно используют несколько различных форм проведения вступительных испытаний. Предлагаемую разработку имеет смысл использовать в качестве промежуточной модели для перехода от проведения вступительных испытаний в традиционной форме к модели ЕГЭ. При этом если предметными комиссиями разрабатываются собственные КИМы по спецификациям централизованного тестирования и ЕГЭ, то у структур довузовской подготовки снимаются проблемы с различием подходов по подготовке абитуриентов к существующим ныне видам вступительных испытаний.
Также существует возможность использования комплекса для проведения массовых проверок знаний школьников и студентов по любым предметам, в тех случаях, когда затруднительно организовать компьютерное тестирование. Преимущества данного метода контроля знаний заключаются в ускорении обработки результатов, уменьшении материальных затрат и устранении субъективного фактора при проверке и оценке качества знаний обучаемых.
На наш взгляд, некоторые идеи, реализованные в указанной разработке, следует использовать при совершенствовании организационно-технологического обеспечения проведения ЕГЭ.