Методы и модели интеллектуального автоматизированного контроля знаний
в, экзаменов. Недостаток этот можно определить
следующим: компьютерный курс является авторским по определению, и поэтому
обеспечивает высокое качество образования только при соответствующем
сопровождении автором (который, в большинстве случаев, не обладает
достаточными знаниями в области информационных технологий). Хотя
отдельные компоненты компьютерного обучающего, контролирующего или
обучающе - контролирующего курса могут использоваться как независимые
учебные модули другими преподавателями (а также и при самостоятельном
освоении темы ), максимальный эффект, скорее всего, может быть достигнут
только во взаимодействии с автором- разработчиком курса.
Если же в образовательный процесс, основанный на авторском
мультимедиа курсе, включается другой преподаватель, возникает опасность
конфликта личностей, так как на едином образовательном поле сталкиваются не
только различные способы методической организации учебного процесса, но и
разные личностные подходы.
Что касается проверки качества знаний, неформальный характер процесса
оценивания знаний требует применения трудно поддающихся обработке
преподавателем компьютерных тестов, необходима активная обратная связь,
помогающая оценить правильность усвоения материала, должна быть четко
выражена определенность и результативность [6].
Именно неформальность знаний как таковых, и процесса проверки знаний
в частности, породило множество проблем в области компьютерного
тестирования, таких как необъективность оценивания, трудность понимания
учащимися подготовленных вопросов, медленная работа компьютерных систем, и
т.п.
На мой взгляд, инженерия знаний и методы теории искусственного
интеллекта помогут создать систему контроля знаний, позволяющую строить
модели знаний преподавателя и тестируемого и объективно оценивать знания и
умения последнего.
2. Интеллектуальное тестирование
В понятие «искусственный интеллект» вкладывается различный смысл — от
признания интеллекта у ЭВМ, решающих логические или даже любые
вычислительные задачи, до отнесения к интеллектуальным лишь тех систем,
которые решают весь комплекс задач, осуществляемых человеком, или еще более
широкую их совокупность. Можно выделить две основные линии работ по
искусственному интеллекту (ИИ). Первая связана с совершенствованием самих
машин, с повышением "интеллектуальности" искусственных систем. Вторая
связана с задачей оптимизации совместной работы "искусственного интеллекта"
и собственно интеллектуальных возможностей человека.
Идея создания мыслящих машин "человеческого типа", которые, казалось
бы, думают, двигаются, слышат, говорят, и вообще ведут себя как живые люди,
уходит корнями в глубокое прошлое. Еще древние египтяне и римляне
испытывали благоговейный ужас перед культовыми статуями, которые
жестикулировали и изрекали пророчества (разумеется, не без помощи жрецов).
В средние века и даже позднее ходили слухи о том, что у кого-то из мудрецов
есть гомункулы (маленькие искусственные человечки) - настоящие живые,
способные чувствовать существа [2]. В настоящее время роботы, системы
распознавания образов, экспертные системы и т.д. вызывают у непосвященного
тот же трепет и восторг перед «думающей» машиной.
Но не зря в свое время были заморожены некоторые исследования в
области ИИ. Попытки создать машинный разум не удавались, и раз за разом
энтузиазм ученых угасал, так как существующие на тот момент вычислительные
средства не позволяли хотя бы приблизительно воссоздать взаимодействие
нейронов головного мозга. Появление многопроцессорных систем и увеличение
количества команд микропроцессоров и его тактовой частоты позволяет сейчас,
на мой взгляд, «построить» приближенное мышление человека с использованием
параллельных процессов и нейронных сетей.
Обращаясь к проблеме роли ИИ в обучении и образовании, будем
рассматривает этот процесс как одну из разновидностей взаимодействия
человека с ЭВМ, и раскрывать среди перспективных возможностей те, которые
направлены на создание так называемых адаптивных обучающихся систем,
имитирующих оперативный диалог учащегося и преподавателя-человека.
2.1 Методы и модели
Интеллектуальное тестирование предполагает наличие модели знаний,
модели самого процесса тестирования и оценивания. Так можно
охарактеризовать в общем все разработки в этой области. Рассмотрим
некоторые из них более подробно.
2.1.1 Модели распознавания образа уровня знаний
Традиционная Российская система оценивания знаний обучаемых основана
на лингвистических оценках, по которым устанавливается стипендия,
производится учет успеваемости, проставляются записи в зачетных книжках за
период обучения и др.
Вместе с тем, такая новая образовательная процедура как
образовательное тестирование по альтернативному признаку предполагает
оценивание уровня знаний в диапазоне от нуля до ста, что порождает проблему
распознавания лингвистического образа знаний по результатам такого
образовательного тестирования.
Под образом уровня знаний понимаются обучаемые, принадлежащие к
множеству (группе), знания которых по “эталону уровня знаний” отнесены к
лингвистическим оценкам неудовлетворительно (D), удовлетворительно (C),
хорошо (B), отлично (A).
Под распознаванием образа уровня знаний понимается процедура принятия
решения о принадлежности конкретного обучаемого к одному из указанных
образов на основании сравнения его образовательных достижений при
тестировании с характеристиками образа.
При тестировании по альтернативному признаку используется закрытая
форма теста, характеристиками которой являются: функция плотности
распределения неправильных ответов f(d), приемлемый уровень неправильных
ответов q0, неприемлемый уровень неправильных ответов q1, риск заниженной
оценки знаний a, риск завышенной оценки знаний b, функция оценивания знаний
f(Q), объем образовательной информации N, объем выборки заданий теста n и
критерий принятия решений в виде предельного числа неправильных ответов K.
Перечисленные характеристики являются взаимозависимыми, но не
обладающими достаточным свойством четкости. В условиях их нечеткости для
распознавания образа уровня знаний обучаемых вполне допустимо для нормально
реализованной образовательной услуги принять модель распределения
неправильных ответов по закону редких случайных событий Пуассона и функцию
оценивания уровня знаний сформировать по этому же закону [8].
Поскольку образовательная информация в банке заданий теста N в их
выборке n представляется как статистическая совокупность, а задания теста
обучаемому в компьютерном варианте всегда для выполнения выдаются
последовательно, то для распознавания образа уровня знаний возможно
воспользоваться последовательным критерием Вальда. При этом примем
дополнительное принципиальное условие, что задания теста однородны по
количеству образовательной информации по конкретной учебной дисциплине,
поскольку аналитических методов классификации заданий по мере их сложности
или трудности пока не разработано.
Будем обозначать гипотезу о приемлемом уровне знаний H0, а гипотезу о
неприемлемом уровне знаний H1. Пусть в результате последовательного
поступления заданий теста в объеме n получены неправильные ответы d1, d2,
d3…dn. При известной функции оценивания знаний по закону Пуассона
последовательный критерий Вальда позволяет по выборке объемом n
классифицировать обучаемых по уровню знаний на три подобраза по количеству
областей принятия решений. Для того, чтобы иметь четыре образа необходимо
произвести для каждой из трех областей повторное последовательное
тестирование [7].
В предлагаемой процедуре рекомендуется использовать два способа
распознавания образа уровня знаний: нормальный и усиленный. При этом
задаются только четыре исходные характеристики теста q1, q0, a и b.
По нормальному способу по первой выборке заданий теста n1 производится
классификация обучаемых на три предварительные области (уровни): низкая,
нормальная и высокая. По второй выборке заданий теста n2=n1 или n2< p1Ј p2Ј p3<1) задаются преподавателем с учетом структуры теста и могут
быть изменены. Абсолютное количество (или доля) правильных ответов,
достаточное для получения соответствующей оценки, определяется по
специальной методике.
Итак, преподаватель:
. разбивает курс на темы (разделы) Т1, Т2, … , Тк;
. определяет их объемы V1, V2, … , Vk и степень важности S1, S2, …
, Sk;
. определяет структуру теста – количество m вариантов ответов на
каждый вопрос;
. задает р1, р2, р3 – уровни знаний студента (или вероятности
выбора правильного ответа), соответствующие оценкам: “2” – 0Ј p<
p1 , “3” — p1< pЈ p3 , “5” — p3<5, C2=6. Для второй выборки применяем усиленное
тестирование n1 =20, C3< 3, C4=4, а для нормального тестирования оставляем
исходный план n2 =20, C1< 5, C2=6.
По первой выборке уровень тестирования принят нормальный
(классификация), а тестируемые разделяются на две группы: y — недостаточная
подготовка и Е — достато
| |  скачать работу |
Методы и модели интеллектуального автоматизированного контроля знаний |
