Оценка качества образовательных электронных изданий

ОЭИ, предназначенные для использования в системе открытого образования подлежат апробации посредством их реального использования в открытом учебном процессе, демонстрации и обсуждения основных качественных характеристик ОЭИ на конференциях, семинарах, выставках, презентациях и других общественных мероприятиях.

По результатам комплексной апробации ОЭИ формируется система корректив, подлежащих к учету в ходе совершенствования ОЭИ по результатам апробации.

Процесс апробации и последующего совершенствования ОЭИ носит итеративный циклический характер и продолжается до полного достижения ОЭИ требуемых показателей уровня качества.

Апробация ОЭИ начинается на предприятии, создавшем ОЭИ. В этом случае завершенное ОЭИ (альфа-версия ОЭИ) проходит тестирование разработчиками (автором и программистом) и несколькими пользователями с целью выявления ошибок в разработке программы или в системе навигации.

Автор ОЭИ особое внимание при этом обращает на реализацию педагогического сценария в программном коде. В процессе тестирования автор ставит перед собой задачу моделирования различных образовательных траекторий учащихся и их опытной реализации. Таким образом выявляются недостатки ОЭИ, источником которых может стать любой пройденный этап работы, выявляются проблемы создания педагогического сценария и программного кода. Результаты первого тестирования помогают устранить ошибки и усовершенствовать ОЭИ.

Второй этап тестирования (бета-тестирование) ОЭИ осуществляется группой реальных пользователей, которые в результате должны предоставить детальное описание аппаратной и программной конфигурации, при которой произошел сбой, основных проявлений ошибки, а также составить общие замечания и рекомендации. Тестирование позволяет устранить ошибки до того, как ОЭИ попало к пользователю.

Апробация ОЭИ в открытом учебном процессе может являться частью бета-тестирования.

Для проведения апробации ОЭИ в учебном процессе формируют экспериментальную группу обучаемых. Группа должна состоять из обучаемых с разной успеваемостью (отличников, успевающих на “хорошо” и “отлично”, успевающих на “хорошо” и “удовлетворительно”). Это условие может быть нарушено в случае, когда апробацию проходит ОЭИ, предназначенное для обучения людей с ограниченными возможностями.

В зависимости от специфики ОЭИ для более точной оценки в апробации может принимать участие несколько экспериментальных групп.

Перед непосредственным использованием ОЭИ в учебном процессе следует провести подготовку обучающихся – ознакомить их с темой учебного предмета, в преподавании которого используется ОЭИ, провести необходимый инструктаж, ознакомить с раздаточным материалом. Затем проводится учебное занятие с использованием ОЭИ в строгом соответствии с методическими указаниями и рекомендациями.

В процессе работы обучаемых с ОЭИ прослеживается ход и эффективность усвоения учебного материала, фиксируются вопросы учащихся, сбои в работе ОЭИ. После окончания занятия ответы, положительные и отрицательные характеристики ОЭИ уточняются в ходе коллективного обсуждения.

Как правило, апробационные занятия проходят в присутствии педагогов, специалистов-разработчиков, экспертов. На завершающем этапе апробации эксперты должны проанализировать все вопросы и жалобы учащихся, которые возникали в процессе их работы с ОЭИ.

Результаты анализа хода апробации и выявленной специфики функционирования ОЭИ в условиях реального открытого учебного процесса направляются специалистам предприятия-разработчика для принятия мер по совершенствованию ОЭИ.

Основой аналитической системы оценки качества ОЭИ для системы открытого образования является технология экспертизы. Рациональная технология экспертизы ОЭИ базируется на основе системы требований к качеству ОЭИ и организации экспертизы.

Экспертиза является частью технологического этапа тестирования законченной версии ОЭИ (бета-версии), прошедшей предварительное тестирование специалистами предприятия-разработчика и апробацию в учебном процессе. По результатам независимой экспертизы, внешней по отношению к предприятию-разработчику, создается ОЭИ, готовое к массовому распространению и эксплуатации (гамма-версия ОЭИ).


Система оценки качества ОЭИ должна удовлетворять следующим основным требованиям:

  • организация работ должна осуществляться на основе системного подхода;
  • в качестве экспертов должны привлекаться специалисты разного профиля, в совокупности обеспечивающие всесторонний анализ ОЭИ;
  • труд и опыт экспертов высшей квалификации (ведущих специалистов в своей области) необходимо использовать только для принятия глобальных решений;
  • работа по экспертизе ОЭИ должна быть разделена на основную и подготовительную; всю подготовительную работу могут осуществлять специалисты более низкой квалификации;

Для рационализации схемы проведения экспертизы ОЭИ необходимо ее разбиение на этапы. Такое разбиение позволит упростить организацию экспертизы, поскольку на каждом этапе можно задействовать специалистов, необходимых лишь для проведения данного этапа. На определенном этапе экспертизы необходимо задействовать параллельно несколько экспериментальных площадок. При проведении экспертизы общение между специалистами разных экспериментальных площадок нежелательно.

Экспертиза ОЭИ осуществляется в испытательных лабораториях. Организационно-штатная структура испытательной лаборатории должна включать несколько групп специалистов, взаимодействующих между собой в рамках единой технологической цепочки оценки качества ОЭИ.

Координирующая группа должна осуществлять планирование, организацию проведения экспертизы, а также заниматься сбором результатов экспертизы и их оформлением.

Экспертный совет должен состоять из экспертов высшей квалификации и заниматься отбором из представленных ОЭИ тех, которые имеют шанс пройти экспертизу, выбраковкой ОЭИ с заведомо неудовлетворительным качеством, для которых дальнейшее тестирование нецелесообразно, а также выносить окончательное решение о качестве ОЭИ на основании данных, получаемых с экспериментальных площадок и от групп тестирования.

На экспериментальных площадках должна проходить детальная проверка на соответствие характеристик ОЭИ допустимым параметрам качества. К такой проверке необходимо привлекать ведущих специалистов по профилю исследуемого ОЭИ, опытных методистов и педагогов. Данный этап экспертизы предусматривает постановку педагогического эксперимента.

Группам тестирования поручается проведение тех проверок, которые нецелесообразно выносить на экспериментальные площадки.

Центральная роль в процедуре экспертизы ОЭИ отводится экспертному совету. На разных этапах в экспертизе принимают участие группа планирования, организационного обеспечения и оформления результатов испытаний ОЭИ, группа подготовки оборудования и контрольных испытаний, установки ОЭИ и предварительной проверки его работоспособности, группа тестирования.

В состав специалистов, исследующих ОЭИ на экспериментальных площадках, входят группы испытаний психолого-педагогических характеристик и группы испытаний эргономических характеристик.

Экспериментальные площадки работают независимо друг от друга.


Группа планирования и организационного обеспечения занимается такими вопросами, как:

  • работа с клиентами (прием ОЭИ на экспертизу, проверка правильности оформления документации, регистрация ОЭИ, прошедших испытание, оформление и выдача сертификатов на ОЭИ, успешно прошедших экспертизу);
  • подготовка и техническая поддержка работы экспертного совета (подготовка ОЭИ к экспертизе, подготовка сопроводительной документации, оформление протоколов работы экспертного совета, подготовка результатов испытаний в группах испытаний и на экспериментальных площадках);
  • координация работы испытательной лаборатории (осуществление и контроль работы технологической цепочки проведения экспертизы, передача программных средств и всей сопутствующей документации на экспериментальные площадки, сбор и систематизация результатов испытаний на экспериментальных площадках, контроль качества испытаний и соблюдения сроков их проведения).

Требования к организации комплексной экспертизы ОЭИ предполагают подход, включающий экспертизу технических, педагогических, психолого-педагогических и эргономических аспектов создания и эксплуатации ОЭИ. Итоговое заключение по качеству ОЭИ должно основываться на результатах всех указанных экспертиз.

В ходе технической экспертизы проводится проверка работоспособности ОЭИ на компьютерной технике трех различных конфигураций. Первая конфигурация должна совпадать с заявленными в ОЭИ минимальными системными требованиями. Последующие две конфигурации должны быть не ниже первой. Рекомендуется использование компьютерной техники с различными операционными системами, процессорами, объемами памяти и т.д.


Проверка ОЭИ производится специалистом-экспертом. В ходе технической экспертизы выявляются:

  • возможность нормального функционирования ОЭИ в требуемых средах, в локальном и в сетевом режиме;
  • корректность использования современных средств мультимедиа и телекоммуникационных технологий;
  • надежность, устойчивость в работоспособности, гетерогенность, устойчивость к дефектам;
  • наличие и качество защиты от несанкционированных действий;
  • простота, надежность и полнота инсталляции и деинсталляции.

В ходе педагогической экспертизы проводится позиционирование ОЭИ по типу информационного ресурса, оценка содержания и сценария ОЭИ, соответствия педагогическим принципам, использования специально разработанных педагогических методик применения и методической поддержки.

Проверка ОЭИ производится специалистом-экспертом на компьютерной технике с конфигурацией не ниже заявленных в ОЭИ минимальных системных требований. В ходе проверки выявляются:

  • область применения ОЭИ, наиболее целесообразные цели использования ОЭИ в учебном процессе;
  • соответствие ОЭИ комплексу дидактических и методических требований;
  • педагогическая целесообразность применения ОЭИ;
  • методическая состоятельность;
  • степень соответствия аналогичным ОЭИ.

В ходе психолого-педагогической экспертизы проводится оценка раскрытия и полноты основных свойств ОЭИ, способствующих достижению педагогического эффекта, повышению результативности образования, оценка соответствия электронного издания психологическим принципам и требованиям (возрастным особенностям и интересам обучаемого, использования развивающих компонент в обучении, способов активизации познавательной активности), оценка соответствия принципам вариативности образования.

Проверка ОЭИ производится специалистом-экспертом на компьютерной технике с конфигурацией не ниже заявленных в ОЭИ минимальных системных требований. В ходе проверки выявляются:

  • соответствие психолого-педагогическим требованиям;
  • возможный возраст учащихся, на обучение которых рассчитано ОЭИ,
  • соответствие психолого-педагогическому потенциалу обучаемых;
  • возможность вариативности обучения.

В ходе эргономической экспертизы проводится оценка соответствия ОЭИ сопутствующей документации, качества интерфейсных компонент ОЭИ, соответствия эргономическим, эстетическим и здоровьесберегающим требованиям.

Проверку ОЭИ целесообразно проводить на экспериментальных площадках. Это связано с необходимостью проведения большого числа измерений, проверкой результатов измерений, испытанием ОЭИ в условиях реального учебного процесса. Поскольку эргономические характеристики качества не затрагивают содержания учебного материала, специфику методики преподавания предмета, то привлечение дополнительных специалистов к экспертизе не требуется.

Возглавлять группу эргономических испытаний должен эксперт высокой квалификации, который одновременно является и членом основного экспертного совета. Целесообразно, чтобы им был тот же самый человек, что и в группе испытаний психолого-педагогических характеристик.


В ходе проверки выявляются:

  • степень соответствия ОЭИ методическому руководству и сопутствующей документации;
  • временные режимы работы ОЭИ, соответствие ОЭИ здоровьесберегающим требованиям;
  • характеристики общей визуальной среды на экране монитора, цветовые характеристики, характеристики пространственного размещения информации;
  • характеристики организации буквенно-цифровой символики и знаков на экране монитора;
  • характеристики организации диалога (доступность для учащихся, время реакции на ответ или управляющее воздействие, число вариантов и правдоподобность ответов в вопросах типа “меню”, наличие инструкции или подсказки);
  • характеристики звукового сопровождения (комфортность восприятия звуковой информации, удобство настройки звуковых характеристик, степень засоренности и оптимальность темпа звукового сопровождения);
  • степень эстетичности ОЭИ.

Кроме вышеуказанных технологических этапов экспертизы ОЭИ соответствующей стандартной экспертной проверке должен быть подвергнут персонал, занимающийся разработкой и внедрением данного вида ОЭИ.