Тел.: (812) 643-77-67 | Mail: fit.herzen.conf@gmail.com

Поиск по сайту

Григорьев А. П.,
Чернелевский А. О.,
Егоров В. С.

ГУАП, г. Санкт-Петербург

Актуальные аспекты реализации тестирования знаний открытого типа при подготовке авиационных специалистов


В статье рассматриваются проблемные аспекты реализации открытого тестирования и возможные способы их формализации с целью последующего решения задачи в части проектирования данных тестовых заданий и интеграции последних в обучающие системы различного вида.

Grigoryev A. P.,
Chernelevsky A. O.,
Egorov V. S.

SUAI, St. Petersburg, Russia

Actual aspects of the implementation of testing of knowledge of an open type in the training of aviation specialists

The article examines the problematic aspects of the implementation of open testing and possible ways of their formalization with a view to the subsequent solution of the problem in the design of test data and the integration of the latter into training systems of various types.

Процесс обучения в обучающих системах (ОС) в соответствии с [1] рассматривается, как контролируемый процесс решения адаптивных тестовых заданий (АТЗ) как правило, с последующей выдачей комментариев (диагностика) и восстановлением знаний (компенсация неполученных, недополученных или же неусвоенных знаний), посредством обращения к теоретическому материалу учебного пособия (преимущественно электронному).

Разработка АТЗ и обработка результатов тестирования подробно изложены в работах [2, 3], а известные модели тестирования – приведены в статье [4]. Наиболее перспективными для применения в ОС, являются АТЗ закрытого и открытого типов, первые ввиду своей простоты, а вторые в следствии низкой вероятности угадывания. Часто в ОС, используются АТЗ закрытого типа с числом вариантов ответа более 4-х, что не исключает, но существенно снижает вероятность угадывания обучаемым правильного ответа. Для полного исключения данного негативного явления необходимо разрабатывать АТЗ открытого типа.

В отличие от тестовых заданий условно открытого типа [5], в которых обучаемому необходимо указать (ввести) текст правильного ответа, фрагмент формулы, выстроить верную последовательность в словах определения или указать верную последовательность в формульной зависимости (дать определение формулы, или расписать отдельные действия при решении) (рис. 1), АТЗ открытого типа предполагают ответ в свободной форме и отличаются логической и математической инвариантностью (не подлежат строгой формализации, отсутствует строгое описание понятия эталонный ответ).

Рис. 1. Примеры тестовых заданий условно открытого типа

Рассмотрим в качестве примера вопрос из теста открытого типа [4], ориентированный на использование в ОС. Ответом,как правило, является некоторое размышление, представленное в печатном (набранный с клавиатуры персонального компьютера текст) виде, это может быть изображение, формула или её элемент, фрагмент текста или текст в целом.

Проблемные аспекты, связанные с реализацией представлены на рис. 2.

Рис. 2. Проблемные аспекты реализации адаптивного тестирования знаний открытого типа

Синтаксические аспекты связаны с необходимостью анализа ответа обучаемого, выделения явных ошибок, от различных флуктуационных составляющих: опечатки (написание заглавных букв вместо строчных и наоборот, отсутствие и/ или введение лишних пробелов и прочих знаков препинания), грамматические и речевые (рассогласование частей речи предложения и т. д.) ошибки и/ или неточности.

Семантические аспекты характеризуются необходимостью оценки содержательности (полноты) ответа, что предполагает введения понятия «эталон», а также определения степени приближения к нему.

Рассмотрим описанные проблемные аспекты подробнее:
1. синтаксис – проблемы описания ошибок (заглавные буквы, опечатки и т. д., орфографические, пунктуационный, грамматические и речевые ошибки);
2. семантика – оценка смысла и содержательности ответа (сложно формализуемое определение понятия эталона);
3. оценка полноты ответа (сложноформализуемое определение полноты, тех смысловых элементов ответа, которые определяют его точность);
4. анализ степени приближения к правильному варианту ответа. Так как «размыто» понятие эталона, то и анализ степени приближения к правильному ответу – затруднен.

Рассмотрим возможные методы решения проблемных аспектов, указанных выше:
1) формирование базы шаблонов на каждый вопрос (на каждый ответ заготавливается несколько (2-5) возможных вариантов ответа близких к правильному варианту ответа). Имеется некоторый ответ обучаемого, похожий на тот или иной шаблон (5, 4, 3, 2), далее осуществляется установление степени соответствия с шаблоном и осуществляется сравнение (например, строковых переменных). В итоге определяется оценка, как некоторая степень совпадения ответа с шаблоном (это может быть норма разности эталонного и фактического значения как в аппарате жесткой, так и нечеткой логики). Суммарная оценка за тест, представляет собой среднее арифметическое от всех оценок, полученных конкретным обучаемым по каждому из вопросов теста;
2) интеллектуальный семантический анализ:
а) определяется «эталон» (семантический, а не синтаксический) не связанный с количеством текста ответа, который сравнивается с текущим текстом ответа. Вычисляется семантическое ядро (смысловой посыл ответа, его суть, что обучаемый хотел ответить, что он заложил в свой ответ) и проводится оценка схожести с эталоном;
б) сравнение данного ответа с текстом (привязка к учебнику). Обрабатывается сначала весь фрагмент текста, содержащий вопрос, вычисляется ядро, а затем как в п. 1. Данный вариант решения задачи предполагает более сложную организацию тестирования, за счет обращения к электронному учебному пособию, а также за счет проектирования алгоритма сравнения текущего ответа обучаемого, с фрагментом данного теоретического материала в электронном учебнике;
3) диалоговая система – модификации п. 2а с добавлением наводящих уточняющих вопросов (при необходимости, если есть сомнения в части отнесения ответа обучаемого к тому или иному эталонному шаблону), для быстрого вывода и соотнесения с эталонами (реализация бинарного дерева);
4) «групповой метод» – применяется при задании одинакового набора вопросов всей группе студентов в неадаптивных тестах, с параллельной схемой выдачи вопросов. Вычисляется наиболее семантически полный ответ (разными методами) – «Эталон» (оценка «5»), который является эталоном для ответа на данный вопрос для всей группы студентов. Целевая задача – это нахождение наибольшего элемента в массиве методом перебора (после анализа всех ответовобучаемых на N вопросов теста – выбирается лучший из ответов n, который становится эталонным ответом и по близости к нему оцениваются все остальные ответы всех обучаемых группы на этот вопрос);
5) метод ключевых слов – осуществляется подбор в ответе некоторого числа ключевых слов, где за эталон принимается некоторое количество этих слов, которое и сравнивается с данным обучаемым ответом (вариация п. 2а). При этом необходимо в обязательном порядке учитывать не только набор, но и «связь» между ключевыми словами. Так как даже наличие в ответе обучаемого необходимого и достаточного набора ключевых слов не гарантирует их правильную интерпретацию. К примеру, при ответе на вопрос по навигационному треугольнику скоростей [6], обучаемый верно перечисляет все его элементы, но не знает их взаимосвязь и взаимовлияние.

В заключении стоит отметить, что если вопросы в части проектирования АТЗ условно открытого типа [5] достаточно подробно рассмотрены, известны системы контроля знаний, построенные на данных АТЗ и широко их применяющие, то вопросы, связанные с разработкой АТЗ открытого типа, пока в должной мере не рассматриваются.

По мнение авторов данной статьи это связано в первую очередь с отсутствием четкой формализации основной задачи, ее эвристическим характером, существенной разнородностью возникающих при решении частных задач, алгоритмической сложностью и ярко выраженной междисциплинарностью. Под последним понимается необходимость учитывать парадигматику следующих отраслей научного знания: педагогики, инженерии знаний (раздел кибернетики), системного анализа, информационно-статистической теории измерений, «классической» математики, лингвистики и пр.

При этом в рамках той или иной отрасли возникает необходимость решать многочисленные частные задачи. Приведем в качестве примера, лишь наиболее сложные, лингвистического характера:
1. вопросы грамматики – интерпретированное исчисление выражений языка (генеративная лингвистика);
2. значения вычисляются интерпретатором, а не содержатся в языковой форме (интерпретационизм);
3. композиционность лежит в основе категорий синтаксиса, семантики и прагматики (категориальные грамматики);
4. для лингвистического анализа существенны функции элементов выражения, а не сами элементы (функционализм);
5. одно и то же речевое выражение может означать не только разные вещи, но и в разной степени его характеризовать (теория прототипов);
6. лингвистическое исследование связано с единицами более крупными, чем предложение («лингвистика текста» и «анализ дискурса»);
7. высказывание – не предмет, а действие, и как таковое должно изучаться (теории речевого действия);
8. принцип кооперированности;
9. вопросы когнитивной лингвистики.

Так как техническому образованию свойственно практическое ориентирование, то подготовку авиационных специалистов (АС) целесообразно рассматривать в контексте деятельностного подхода, т. е. с приоритетом практического этапа обучения, в рамках которого требуется регулярная выработка практических навыков, которая в свою очередь немыслима без систематического решения специализированных задач, контроль решения которых осуществляется за счет применения в составе обучающих систем АТЗ открытого типа.

Реализации данных АТЗ в составе обучающих систем позволит повысить качество подготовки АС в целом и студентов технических ВУЗов в частности, нивелирует проблемные аспекты тестирования закрытого и условно открытого типов, связанные с вероятностью угадывания.

Таким образом, проблемные аспекты, рассмотренные в рамках данной статьи, а также предложенные пути решения могут послужить необходимым заделом для формализации задачи построения АТЗ открытого типа и ее последующего решения.

Литература:
1. Растригин Л. А. Обучение как управление сложной системой. Техническая кибернетика. №2, 1993
2. Аванесов B. C. Композиция тестовых заданий. М.: АДЕПТ, 1998
3. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000
4. Глова В. И., Дуплик С. В. Модели педагогического тестирования обучаемых // Вестник Казан, гос. техн. ун-та им. А.Н. Туполева. 2003 г. №2. С. 74-79
5. Аванесов В. С. Формы тестовых заданий: учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. 2-е изд. перераб. и расширен. – М.: Центр тестирования, 2005. – 156 с
6. Мамаев В. Я., Синяков А. Н., Петров К. К. и др. Воздушная навигация и элементы самолетовождения: учеб. пособие. СПб.: ГУАП, 2002. 256 c

Комментарии

  • Здравствуйте Колбасин И. В. Позвольте, так ответить на Ваш вопрос, внимательно читайте статью с «… Рассмотрим возможные методы решения проблемных аспектов, указанных выше: ...». Если же Вас интересует именно программное «решение», то всеобъемлющего, решающего все задачи единовременно решения пока нет, но активно продолжается разработка программных способов, учитывающих все проблемные аспекты, указанные в статье. Так, например, применение шаблонной формы сравнения (анализа) уже активно применяется. Если наши объяснения были для Вас неубедительны и у Вас возникли еще вопросы для дискуссии просим Вас писать на электронный адрес « anatoliy.chernelevskiy@mail.ru », мы будем рады ответить на них. С уважением Чернелевский А. О.

  • Задача, описанная в статье крайне интересная и сложная. А вот будет ли она решена, как и каким способом, я лично для себя не уяснил

  • Задача, связанная с проектированием системы тестирования условно открытого типа - решена. Данные системы активно используются и хорошо себя зарекомендовали. Описанная в статье задача до сих пор не решена из-за своей алгоритмической сложности, разнородности и ресурсоемкости. Основные частные задачи, которые необходимо решать - понятны, ведутся определённые работы в части их решения, но в настоящее время присутствует целый комплекс задач, которые с должной точностью и достоверностью решить не удаётся. Требуется разработка алгоритмического и программного обеспечения принципиально нового уровня, с элементами интеллектуальности. Современное состояние научно-технического задела качественно (с высокой точностью и достоверностью) решить данную задачу не позволяет!!!

Оставьте свой комментарий