Главная

Учебная работа

Услуги

Информация

Тест (англ. test — проба, испытание, исследование) в психологии и педагогике, стандартизированные задания, результат выполнения которых позволяет измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого.

Для компьютерного тестирования студентов на Факультете информации и управления МГУПП разработана специализированная система тестирования. Система позволяет создавать и изменять тесты из вопросов, а так же автоматически оценивать результаты тестирования. Все настройки, и сами тесты хранятся в зашифрованном виде и доступ к ним осуществляется при помощи пароля. Имеющаяся система тестирования обладает богатыми возможностям по контролю и анализу результатов тестирования. В автоматическом режиме формируются отчеты по успеваемости студентов в группах, а также отчет по усвоению учащимися различных тем изучаемой дисциплины.

 Во время тестирования студенту предлагается ответить на 50 - 100 вопросов, которые выбираются случайным образом из базы вопросов. Ответы располагаются в случайном порядке, что исключает запоминания расположения правильных ответов.

Задача преподавателя сводится к грамотному составлению теста (вопросов и вариантов ответов).

Для всестороннего и объективного контроля знаний студентов рекомендуется по каждой дисциплине составлять не менее 200 вопросов, а к каждому вопросу от 3 до 6 вариантов ответов. При этом, весь курс целесообразно разбить на темы (оптимально 8-12 тем), и по каждой теме составить 20-30 вопросов.

Правила составления тестов по оценке знаний.
Каждый тест состоит из составляющих его вопросов, а потому и начинать надо с правил написания самих вопросов.
 

Часть I. Правила составления вопросов.
Правило 1. Вопрос должен быть вопросом.
Прежде всего, каждый вопрос должен быть составлен в виде вопроса, т.е. начинаться он должен с таких слов, как "что", "как", "когда", "где", "сколько" или с фраз "в каких случаях", "в каком месте", "с кем из" и т.д., а заканчиваться, соответственно, знаком вопроса.
Большинство всех вопросов, предложенных отечественными создателями тестов, выглядят именно не как вопросы. Вот типичные формулировки составляемых вопросов - "российское предпринимательское право - это: (и далее варианты ответов)", "юридическим лицом признается: (и далее варианты ответов)", "Участниками полного товарищества являются (и далее варианты ответов)" и т.д.
Конечно, все понимают, о чем идет речь в таких "вопросах" и никакой катастрофы такой подход к составлению тестов не представляет, и все же это не вопросы для тестирования.
Давайте рассмотрим один пример с нарушением Правила 1.

Вопрос: Ценная бумага это:
1. вексель
2. закладная
3. сберегательная книжка
4. договор

Предлагаемый вопрос прекрасно демонстрирует недостатки формулирования вопроса не в виде вопроса.

Заметим, что вопрос задается в виде вопроса совсем не случайно. Вопрос должен нести смысл ничем не меньший, чем сам ответ. А что несет данный вопрос? О чем спрашивается в вопросе? Может быть о том, что такое - ценная бумага? Глядя на варианты ответа, понимаешь, что нет. В сам вопрос смысл никакой не вложен, и понять его можно только в совокупности с вариантами ответов, а именно, спрашивается о том, какие из указанных документов относятся к категории ценных бумаг. Так почему бы и не задать вопрос так, как надо ? "Какие из указанных документов относятся к ценным бумагам?". А если быть точным, то ценная бумага не "это", и даже не вексель. Понятие ценной бумаги излагается в Ст. 142 Гражданского кодекса РФ, и там ничего не говорится про вексель.

Тут самое время указать еще и на то, что вопросы должны бы нести в себе элемент образования. Термины, понятия и цельные формулировки, используемые в вопросе, обязательно "откладываются" в головах тех, кто на эти вопросы отвечает. А поскольку тестирование в процессе учебы и подготовки специалистов - не цель, а средство, то как средство, вопросы могут быть наделены разработчиком еще одним качеством - умеренной, но уверенной терминологией, что опять же положительно влияет на качество подготовки.

Подводя итог, отметим, что задавая вопрос в виде вопроса, разработчик вынужден составлять его максимально корректно. По-другому не получится или получится заметно плохо.

Кто-то нам может возразить, что корректность вопроса и четкость формулировок и терминов можно обеспечить и другим путем, например, заканчивая вопрос не знаком вопроса, а двоеточием и такими словами, как "это", а также глаголами "относятся", "называются", "принадлежат" и прочими. Безусловно, господа, можно и по-другому. Правило - это ведь не теорема, его нельзя безупречно доказать. Но вы все же попробуйте писать вопросы с учетом предлагаемого Правила N1, а потом уж решайте, правильное ли это правило.
 

Правило 2.Вопрос должен составляться в соответствующих целях.
Вопросы могут быть легкие или трудные, простые и сложные, наивные и каверзные. Однако нужно понимать, что если вопрос составляется для аттестации, то вопрос не должен быть сложным, хитрым или коварным. Если мы хотим узнать, знает специалист или не знает что-то, то мы и вопрос должны создавать с учетом этого. Если же мы хотим тестируемого однозначно "завалить" своим вопросом, то в таком случае мы должны понимать, что мы его именно заваливаем, а не пытаемся узнать, что знает тестируемый, т.е. цель вопроса не аттестационная. Коварные и хитрые вопросы "завального" уровня прекрасны для различного рода конкурсов, чемпионатов и прочих состязаний, а также для выяснения отношения с подчиненными, если вы член аттестационной комиссии.

Не отдавая себе отчета в том, какие вы преследуете цели составляя тот или иной вопрос, можно добиться совсем не того, чего хотелось.

Вот, например, один из вопросов, предназначенных для состязаний, конкурсов и чемпионатов, созданный нами для 2-го межбанковского Интернет-Чемпионата. Этот вопрос неуместен для аттестации.
 

Вопрос: В какие из указанных дней существует обоснованная возможность выдачи (предоставления) банком денежных средств клиенту по денежному чеку, выписанному 10 числа?
19-го числа, того же месяца
20-го числа, того же месяца
21-го числа, того же месяца
В дни, указанные в п.1) и 2)

Обоснованная возможность выдачи наличности по указанному чеку существует во все указанные дни
Чем интересен этот вопрос, в чем его особенность?

Все знают, что денежный чек действителен в течение 10 дней. Что, казалось бы, трудного в предлагаемом вопросе? Надо только вспомнить, считается в этом случае день выписки денежного чека или нет.

Именно так рассуждали все команды-участницы, отвечавшие на данный вопрос при проведении 2-го Чемпионата. Те, кто вспомнил, что день выписки денежного чека не считается, тот выбрал правильным ответ ?4, те же, кто не вспомнил про день выписки, тот выбрал правильным ответ N1.
Тем не менее, настоящая "мина" в этом вопросе заложена намного глубже. Если читать правила (теперь 205-П), то там, буквально, звучит следующее: "Чеки и платежные поручения принимаются кредитной организацией в течение 10 дней со дня их выписки, не считая дня выписки" (Часть III, п.1.7.2).

В предлагаемом же вопросе нет ни слова о том, когда чек может быть принят банком. В вопросе спрашивается про то, когда банк может выдать деньги по чеку. Может ли банк сегодня выдать деньги по чеку, который он принял вчера? А почему же нет? Положение 199-П (бывшие Правила ?56): "п.2.5.1. Кредитные организации могут производить предварительную подготовку денежной наличности по заявкам клиентов на основании денежных чеков, полученных от клиентов операционными работниками накануне дня выдачи."

Далее, а что такое "накануне дня выдачи"? Ведь это может быть не только вчера? Например, чек принимается в пятницу (20-го), а денежные средства выдаются в понедельник (23-го!!!). Так разве не существует обоснованной возможности выдачи денежных средств 21-го по чеку, выписанному 10-го числа того же месяца?

Теперь о том, почему этот вопрос не может, а вернее, не должен применяться при аттестации. Только потому, что в ряде случаев работник, ежедневно совершающий однотипные операции, должен мыслить шаблонно, иначе количество его ошибок резко возрастет. Для работника чек, выписанный более чем 10 дней назад - бумажка, место которой в известном месте. Если это работником будет усвоено на подсознательном уровне, то банк может быть спокоен - работник не выдаст деньги по чеку.

Нет смысла использовать предложенный нами выше вопрос для оценки знаний специалистов на аттестации. Знание или незнание ответа на поставленный вопрос не говорит о качестве подготовки специалиста, потому что этот вопрос хитрый. А какие хитрости могут быть на аттестации, если цель - объективная оценка знаний специалиста?

Если же мы хотим таки добиться от работников больших знаний, то эти знания нужно давать (и усваивать) по частям. Предложенный вопрос для аттестации должен быть разбит минимум на три вопроса:
1) В течение какого срока действителен денежный чек?
2) Считается ли день выписки чека при установлении срока его действия?
3) Может ли чек быть предъявлен банку для оплаты накануне дня получения денежных средств?

Таким образом, задавая (составляя) вопрос мы не должны забывать о том, какие цели мы преследуем.
 

Правило 3. Вопрос должен содержать ссылку на первоисточник.
Каждый вопрос должен иметь ссылку на первоисточник, но не в самом тексте вопроса, разумеется, а, так сказать, "за вопросом". Нужно это для дальнейшей работы над ошибками тестируемыми или для апелляции.

Преподаватель, находящийся в ранге Учителя, может себе позволить составлять вопросы по своим семинарам, урокам, лекциям без каких-либо ссылок именно на том простом праве, что он Учитель. Он сам учит, он сам и спрашивает. И спрашивает так, как ему самому хочется.

Во всех же других случаях, тот, кто составляет вопросы, должен указывать, а почему именно такой вариант ответа верный, а не другой. Первоисточником могут быть не только нормативные документы. Ссылки могут быть на учебники, статьи в газетах, даже на сообщения или сайты в Интернет - это уже не важно, главное, чтобы первоисточник соответствовал по своему авторитету затронутой теме и составленному вопросу, и был, в принципе, доступен. Наличие ссылки говорит о том, что составитель теста объективен, что он не пишет все подряд все то, что всплывает в его голове, пусть даже очень умной. Составитель вопросов с большинством тех, кто будет отвечать на его вопросы никогда не увидится, а им (тестируемым) точно захочется задать свои вопросы на ряд вопросов разработчика. Наличие ссылки - это своеобразная встреча сторон, диалог, упрощающий любые возможные споры, а также демонстрация объективности.
 

Правило 4. Количество вариантов ответов в вопросе должно быть разумным.
Сколько должно быть вариантов ответов в вопросе? Этот вопрос наименее принципиален - сколько хотите, столько и делайте вариантов. Все здесь определяет здравый смысл. Один вариант ответа быть не может, это понятно. Два варианта ответов ? это для составителей-талантов или составителей-лентяев, так как в двух вариантах трудно раскрыть все многообразие возможных заблуждений и/или скрыть верный ответ.

Слишком много вариантов ответов также нехорошо, потому что тогда тестируемому трудно будет ориентироваться во всем многообразии предложенных вами "мыслительных лабиринтов". Тут, скорее всего, будут оцениваться уже не только и не столько знания, сколько другие качества специалиста: внимательность, зрительная память, крепкие нервы и проч. А ведь при оценке знаний нам не должны мешать посторонние факторы, иначе наши представления о знаниях специалиста будут искажены.

Если вариантов ответа на тот или иной вопрос получается довольно много, лучше сделать два, а то и три одинаковых, или почти одинаковых вопроса, с различными вариантами ответов.Оптимальное количество вариантов ответов составляет от трех до шести.
 

Правило 5. Неверные варианты ответов должны быть правдоподобны.
Вы можете сказать, что это само собой разумеющееся правило. Спешим заметить, что многие составители тестов, после того, как сформулировали вопрос и правильный вариант ответа, все остальное пишут "на авось". Написанные по такому принципу варианты ответов вызывают улыбку у тех, кто что-то понимает в соответствующей теме. Для самых "маленьких" (для начинающих) такие вопросы еще сойдут, но далее наступает период, когда очевидно, что составитель тестов просто не представляет себе или не хочет показывать другим свое представление о соответствующей теме. Все это снижает авторитет самого составителя и всех его вопросов.

В качестве отступления скажем, в наших тестах программа регистрирует все варианты ответов, какие дают участники тестирования. Последующий анализ после прохождения тестов десятками специалистов, показывает, насколько правдоподобны те или иные неверные ответы. Если на какой-то вариант ответа никто и никогда "не попадается", то возникает соответствующий вопрос к разработчику данного вопроса: - "Скажите, уважаемый, а зачем вы данный вариант ответа написали"? Один "невостребованный" вариант ответа в одном вопросе - это не беда, это бывает. Но вот если все вопросы перенасыщены подобным "балластом", тогда это уже плохо, тогда пора менять разработчика или, как минимум, вести с ним разъяснительную работу.

Часть II. Правила составления тестов.

Привило 1. Нужно однозначно определиться с видом вопросов составляемого теста
Существует несколько вариантов составления тестов:
Вариант, когда из предлагаемых ответов правильным является только один ответ
Вариант, когда предлагается множественный выбор ответов из всех предлагаемых
Вариант, когда ответы не приводятся вовсе, а тестируемый должен самостоятельно составить правильный ответ.

Последний вариант составления тестов мы, собственно, не считаем тестированием, на наш взгляд, это письменный экзамен, но поскольку нам известны другие мнения, пусть такой вариант составления вопросов тоже будет называться тестированием.

Составив тест соответствующего вида, об этом нужно заблаговременно заявить тем, кто будет отвечать на вопросы вашего теста. Мешать вопросы разных типов нельзя. Во-первых, потому, что дополнительное запутывание тестируемых - это уже психология, а не оценка знаний в чистом виде. Во-вторых, возможны случаи, когда составитель вопреки своей уверенности в правильности варианта ответа будет не прав, например, когда один вариант включает в себя два любых других, а и тестируемый выбирает что-то одно, либо один объединяющий, либо два самостоятельных варината. В-третьих, сегодняшние тесты хороши именно тем, что они работают с использованием программных средств, а, значит, все должно быть однообразно, в противном случае, вы не получите хорошего анализа, пренебрежение которым говорит о том, что вы не понимаете преимуществ использования тестов с использованием программных средств.
 

Правило 2. Тест должен планироваться до составления вопросов.
Cоставление теста должно быть явлением планируемым еще на стадии составления самих вопросов. Совершенно незачем задавать десятки вопросов по одной и той же теме. Хороший тест тем и хорош, что несколько десятков вопросов равномерно оценивают знания тестируемого по целому спектру тем. Т.е. первоначально нужно представлять себе "структуру теста" - все темы / подтемы, по которым будут составляться вопросы, и тогда объединенные вопросы вместе составят прекрасный тест.

Например, оценивая знания операционного работника, мы изначально предполагаем, что вопросы будут составляться по банковскому счету, безналичным расчетам, кассовым операциям, валютным операциям и бухгалтерскому учету. Если вы увлечетесь с любой из указанных тем, то только по этой теме можете составить несколько десятков вопросов. А зачем? Ведь надо-то всего по 6-10 вопросов и все.

Понимание "структуры теста" есть понимание назначения теста. Если вы получите по тесту только одну цифру, указывающую на процент правильных ответов, то считайте, что вы практически не получили ничего. Это все равно, что вы изобрели колесо и радуетесь тому, что оно катится. А то, что колесо - это основа любой техники - тачки, велосипеда, авто или еще там чего, вы пока не понимаете.

Нацельтесь на результат, сделайте тест, где каждый вопрос входит в свою группу. Тогда анализ проведенного тестирования будет намного более интересным. Вот, к примеру, анализ теста операционного работника из 60 вопросов, которые были сгруппированы в 10 условно самостоятельных тем по 5-8 вопросов в каждой теме.

Анализ результатов тестирования

Тест - это инструмент оценки, применение которого должно точно указывать и область, и уровень знания/незнания тестируемого. Впрочем, все это прописные истины, о которых многие не задумываются, но с которыми все сталкивались еще в школе: 5 - по математике, 3 - по химии, 2 - по географии, и всем было ясно, что из себя ученик представляет, и учителю, и ученику, и его родителям.
 

Правило 3. Оптимальное количество вопросов в тесте никем не установлено.

Большинство предлагаемых тестов содержит по 15-20 вопросов. Это несерьезно. Преимущество тестирования состоит в том, что за короткий промежуток времени о знаниях тестируемого можно получить не просто полное, а переполненное представление. Переполненное представление, конечно, в сравнении с другими методами оценки знаний. А что такое 15 вопросов? 15 вопросов можно задать и в устном порядке, даже приятней, хоть с человеком пообщаешься. На таких дистанциях КПД тестирования можно считать нулевым.

Вот если бы тест вопросов в 100 или 200! Некоторые вот тут говорят, мол, больше получаса отвечать на вопросы тяжело: утомляемость, невнимательность, раздражение. Исходя из практики, мы просто не уверены в таких заключениях. После 20-го вопроса тестируемый, по нашим наблюдениям, только начинает соображать, после 50-го вопроса он вполне в прекрасном тонусе и после 100-го - ничуть не хуже. Другое дело, если тестироваться не хочется вообще, тогда совершенно любые аргументы уместны. Но вы лучше вспомните, сколько времени в средней школе проходит каждый выпускной письменный экзамен (проходил до внедрения тестирования)? Тест - это умственная работа. И физически тяжело тестироваться только тем, кого умственная работа сильно перегружает (например, каждые полчаса).

Нам известен пример, когда все руководители филиалов одного из крупных региональных банков (более 30 филиалов) проходили тест в 230 вопросов и ничего, все живы. Зато каков эффект! Одно тестирование - и сразу всем ясна картина, и сразу каждому полный перечень банковских тем и отдельных вопросов для освоения до следующей аттестации (или переаттестации).
 

Так сколько вопросов в тесте оптимально? Не знаем. Но мы готовы спорить, что с освоением тестирования количество вопросов в тестах будет расти и через год - два в лучших заведениях будет предлагаться не менее ста вопросов "за один присест".
 

Заключение.
Теперь, когда мы познакомили вас с нашими правилами создания тестов, остается отметить, что во всяком правиле возможны исключения. В любом случае все решает совокупность ваших способностей и ваша адекватность делаемому делу.

Предложенные правила - это наши выводы из четырехлетнего опыта работы с тестами. На каждое "почему" в составлении тестов у нас есть свой ответ, так много ситуаций нам приходилось разбирать. Наша сегодняшняя задача - обозначить общие подходы и основные правила в тестировании для того, чтобы другим уже не приходилось тратить время на пройденное нами.

Самые большие трудности в составлении тестов кроются все же не в квалификации составителя и, тем более, не в освоении тех правил, которые мы вам предложили, а совсем в другом. Составление тестов - это довольно кропотливая работа. Как ни банально, трудности, связанные с тем, что нужно просто сидеть и писать, и "шлифовать" вопросы являются основными трудностями перед теми, кто сталкивается с написанием тестов. Очень немногим удается осилить составление всего 1 приличного теста из 60 вопросов, хотя и, работая над тестами, все подчеркивают, что дело это, безусловно, полезное для разработчика. Работая над тестами, вы работаете с нормативными документами, т.е. повышаете квалификацию. В общем, специалист делает тесты, а тесты делают специалиста.

И последнее правило, не надо забывать, что тесты - это не цель, а средство достижения цели. Целью же является постоянное и системное повышение уровня знаний, профессиональной подготовки, квалификации специалистов, т.е. все то же - учиться, учиться и учиться (заимствовано). А тестирование лишь один из методов содействия обучению и подготовке, хотя, при сегодняшних возможностях программирования, тестирование - практически безальтернативный способ оценки коллективных знаний и персональных знаний каждого в коллективе.

Контактная информация:

Е-mail: yablokov_alex@mail.ru   

Главная

Учебная работа

Услуги

Информация