Диагностика компетенций (как это делается)

Продолжаем разговор о технологиях.
Статистика сервера компетенций cmp4.ru (4-я версия программного продукта)Очень коротко обрисуем методику, позволяющую снизить субъективность в оценке компетенций.

Мы развивали ее  несколько лет, провели десятки внедрений на разных аудиториях.

Наш подход к оценке компетенций следует таким условиям:

1. Компетенция должна проявляться в действии. Все прочие оценки (тесты, анкеты и т.п.) – это вспомогательные инструменты. Главное – компетенцию надо проявить.

Отсюда простой вывод – если человек проявил компетенции – это можно наблюдать и описывать, как отдельное событие.
И у нас появляется первая информационная сущность – событие (прецедент).

2. Разумеется, в любом действии человек проявляет множество компетенций, и в каждом прецеденте может быть больше двух участников (если это не публикация личного онлайнового отчета), и содержание прецедента может быть таким, что там будет и две и двадцать две компетенции отмечено.

3. Компетенции нельзя оценивать "на месте события". Таким образом мы теряем возможность независимой оценки, теряем прозрачность оценки и сводим все к традиционным "баллам" – только уже не за знания, а за компетенции.

4. Как следствие из "3″ – у нас появляется новая роль – наблюдатель. Не оценщик. Наблюдатель. Увидел – записал – внес в базу.

5. Раз у нас события фиксируются наблюдателями – а оцениваются кем-либо еще – значит, нужен онлайновый инструмент – сервер прецедентов. Место, куда наблюдатели записывают события – чтобы их потом оценили эксперты.  Компетенции, замечу, присваивать событиям тоже могут эксперты. Каждый – свои.

6.  И вот у нас вроде бы получилась страшно сложная и дорогая конструкция. Куча новых ролей – наблюдатели, эксперты. Какая-то база событий. Но давайте посмотрим, как это работает – и какие кусочки этой мозаики могут заменить или удешевить традиционные подходы в оценке. И да, не забывайте еще, что традиционная система оценки не устраивает заказчиков. И государство, верховная власть которого вопиет о нужде в подходах к оценке, и родителей, которые просто не понимают, что получает их чадо как в школе, так и в ВУЗе, в виде компетенций.

(т.е, родители понимают все про социальные связи и формальные знания.. Но так же понимают, что студент-выпускник сегодня – это на порядок более слабый специалист, чем 30 лет назад)

Разумеется, оценка компетенций всегда была и останется субъективной процедурой, поскольку понятие компетенции субъективно само по себе.

В любой процедуре оценки компетенции есть что-то от соревнований по фигурному катанию.

Эту проблему субъективности мы решили несколькими методами, легко поддающимися трансляции

Прецедентное право.

Мы решили, что если нельзя избавиться от субъективности в оценке компетенций, то надо фиксировать не только оценки, но и описывать те события, за которые выставлены оценки.

Событие описывается в жестко оговоренном формате: действие, результаты, участники, свидетели,  набор компетенций, который проявлялся, оценка каждого участника события по каждой компетенции.

Эти описания фиксируются в системе учета. Мы разработали и проверили в действии несколько процедур сбора описаний и последующих анализа и оценки событий. Система показала себя работающей.

Больше экспертов, хороших и разных. Больше систем оценок.

Раз каждый эксперт субъективен – пусть будет как можно больше оценок. Главное, чтобы каждый эксперт объяснил, за что именно он ставит оценку. Если это прецедент, описанный наблюдателем – эксперт присваивает ему набор компетенций.  Если эксперту набора прецедентов недостаточно – он добавляет свои описания.

Пользуясь обычными фильтрами, можно затем выбирать разные группы экспертов по одному и тому же человеку исмотреть – как меняется его профиль компетенций в зависимости от состава оценивавших.

Этим методом мы сразу выявляем и необъективных экспертов и "завышенные" или "заниженные" результаты.

Используя сравнение профиля компетенций в зависимости от примененных систем оценки (ассессмент, оценка по достижениям, оценка 360), мы получаем еще один инструмент отбора по компетенциям.

Пообщавшись с разными работодателями, мы пришли к тому, что у всех разные представления о корректности процедур съема компетенций. Кто-то доверяет результативной модели. Кто-то – ассессменту, но не всякому, а кто-то – оценке 360. Привести всех к общему знаменателю невозможно. Поэтому лучше использовать все возможные модели и дать работодателям (а вернее – конечному пользователю результатов) возможность самому для себя выбирать референтный набор систем, прецедентов и экспертов.

А для того, чтобы сопоставить разные модели компетенций – мы вводим в систему функционал  пересчета, чтобы можно было конвертировать например модель компетенций школьную – в модель ВУЗа. А модель ВУЗа – в модель отраслевого работодателя.

Статистика и прозрачность – наше все

Главная проблема существующих механизмов оценки компетенций – в непрозрачности результатов. Обычно заказчик (ВУЗ или компания) получает на руки готовые аналитические заключения по каждому сотруднику. В ситуации учебного процесса важнее и для учителя и для студента понимать, за что именно и на каком основании были получены оценки. Нужна прозрачность всего процесса оценки для всех участников.

Дополнительным эффектом от этого метода становится возможность быстро сопоставлять разные наборы мероприятий и прецедентов и их влияние на профиль компетенций.

Еще один эффект – возможность накопления исследовательской статистики изменений профилей компетенций по разным выборкам студентов в зависимости от использованных учебных технологий. Таким образом можно оценивать качество различных УМК.

Ограничения

Первое, самое серьезное – стоимость оценки.

Мы проверяли возможность совмещения традиционных учебных процессов с процессами оценки.

Учитель (лектор, ведущий семинара) не в состоянии добавить к повседневной деятельности процедуру фиксации прецедентов.

Кроме того, традиционная учебная практика не ориентирована на проявление и фиксацию компетенций, а лишь на ЗУНы.

В отличие от традиционной оценки ЗУНов (тоже страдающей субъективностью, но более поддающейся нормированию), оценка компетенций требует различных дополнительных организационных и энергетических затрат от всех участников. Это ресурсоемкая процедура, и ее внедрение можно оправдать только реальным, объективным повышением качества учебного процесса.

На практике оценочная сессия на 200 человек проводится за 2-3 недели, 15 наблюдателями и неограниченным числом экспертов.

Второе ограничение – транслируемость.

Для массового внедрения процедур оценки компетенций недостаточно описания технологий и выпуска методических указаний по проведению подобных мероприятий.

Любые процедуры оценки (ассессмент-центры, 360, результативные экспертные) требуют дополнительной подготовки персонала. Это социальная практика, а любые социальные взаимодействия передаются только через показ и повторение.

Кроме того, для снижения стоимости процедуры требуется высокая плотность прецедентов на единицу времени, и прецеденты должны быть различного качества. Только так можно в короткий срок собрать достаточное  число экспертных оценок для создания индивидуальных профилей компетенций.

Решения

Высокую плотность и разнообразие прецедентов можно получить, проводя для оцениваемых ролевые игры с многоплановыми сценариями. Метаигры. Эта технология помимо оценки работает и как развивающая, поскольку участники не ограничены жесткими рамками в своих действиях по решению игровых задач.

Наиболее качественно ролевые игры развивают наборы социальных компетенций.

Профессиональные компетентности можно оценивать с помощью разных производственных моделей. Например, оценка  профильных компетентностей инженеров– эксплуатационщиков ядерного реактора потребует адекватного технического обеспечения и участия экспертов. Игровая технология в этом случае поможет сделать процесс более живым и снизит субъективность.

Для технологического моделирования сегодня существует множество недорогих решений,  начиная от 3d-фрезеров заканчивая радио-конструкторами.

Ролевые игры эффективнее деловых игр, поскольку моделируют не только производственные функции, но и социальные процессы. Поэтому прецеденты в ролевых играх точнее выявляют компетенции участников.

Внедрение  оценочных процедур, программного обеспечения и технологий ролевого моделирования происходит этапами. Сначала в ВУЗе  создается заинтересованная группа актива. Затем мы ее обучаем в том числе и через совместную организацию процедур оценки. Затем мы консультируем специалистов удаленно, при необходимости присылая команду для поддержки.

Еще более эффективным в рассуждении трансляции (и менее затратным) является участие в подобном комплексе нескольких ВУЗов, как это было организованно Солингом в Метаигре-2008, где приняли участие представители 5 ВУЗов страны.

Пример

Проиллюстрируем на примере, как происходит создание оценки компетенций в нашем варианте решений.

Ситуация:

Ролевая игра на территории МГИМО, "Эпидемия ретро-вирусов".

Выборка из  перечня событий:

Группа биологов и управляющий лабораторией сумели

А) договориться с банком о выделении денег на финальное исследование вакцины

Б) договориться с представителем фармацевтического производства о выпуске промышленной партии

В) организовали сбыт продукции в розничную сеть города

Г) не смогли договориться с оптовыми производителями о продаже крупных партий вакцины

В этом наборе событий участвовали несколько групп ролей:

Основные (для этой группы событий):

Лаборатория (2 разработчика, 2 технолога, 1 менеджер, 1 аналитик), Банк (управляющий, кредитный эксперт, охранник), Фарм-фабрика (директор, главный технолог, руководитель сбытового отдела).

Дополнительные роли (для этой группы событий)

Служба скорой помощи (3 человека), Полиция (4 человека), Торговый дом "Ашан" (5 человек),  Строительная компания Миракс (владельцы района, где расположена лаборатория), Муниципалитет, представитель федеральной власти, Городское телевидение.

Фоновые события, заданные сценарием: Выборы мэра, Эпидемия, Валютный кризис.

В ролевой игре дополнительно к функциональным моделям для всех групп добавляются а)социальные связи и сценарии, б) игровые модели, позволяющие в рамках игры вести действия, связанные не только с основной деятельностью. Например, ученый-исследователь может действовать в игре еще и как журналист,  а руководитель лаборатории – метить на пост мэра города.

Прецеденты с А по Г – зафиксированы экспертами во время игры.  После игры прецеденты фиксируют, описывают  результаты,  участников и их вклад в результативность, свидетелей, в ходе обсуждения между экспертами событиям ставятся в соответствие различные наборы компетенций.

Затем прецедент вносится в систему учета секретарями. Секретари добавляют к описанию событий детали, обзванивая экспертов и свидетелей.

Затем событие могут оценивать участники и свидетели (по модели 360).

Практика показывает, что прецедент, описанный таким образом, создает  от 1 до 7 оценок для каждого участника (от 1 до 5-7 человек). Т.е, один прецедент в среднем дает от 1 до 50 оценок.

После игры участники создают свои отчеты и обсуждают различные игровые ситуации в режиме онлайнового форума. Возникающие в ходе этой деятельности прецеденты используются для экспертных оценок компетенций, которые сложно выявить в ходе игровой активности. В основном, это аналитические и стратегические группы компетенций.

Практика показала, что для создания профиля, отражающего состояние компетенций, необходимо не менее 30 оценок на человека. Таким образом, с одной игры для оценки 150 человек достаточно зафиксировать 50 крупных прецедентов, влияющих на общих ход игры, с участием 5-7 человек.

Один наблюдатель за игру (за 4 часа) фиксирует около 10 индивидуальных прецедентов (на 1-2 участников) и 3-5 крупных, с возможностью разноплановых оценок по группе 5-7 участников. С учетом перекрестных наблюдений, на игру на 150 человек достаточно 15 наблюдателей-экспертов.

Далее в систему по такой же схеме вносятся оценки других мероприятий, не обязательно игровых, на которых целенаправленно фиксировались прецеденты.

В итоге у каждого участника сформировался профиль компетенций, который доступен им для последующего анализа и выработки рекомендаций – что именно надо развивать далее и за счет каких действий (ролей, учебных курсов)

6 Comments

  • Супер!
    Сидел, читал, и аж разрывает от интереса к предлагаемой диагностике компетенций
    в отличие от ежедневной тошноты в родном Универе от одной большой "бесполезнятины"….

    • Спасибо, нам тоже нравится =) Можете кинуть линк своей профессуре – мы с удовольствием пообщаемся.

  • 1. "студент-выпускник сегодня – это на порядок более слабый специалист, чем 30 лет назад"- это трёп.
    2. Понятие компетенции весьма раплывчато и измерять его субъективными оценками – создавать корминые места для любителей халявы.
    3. Есть образовательный стандарт гсударственный или корпоративный, есть база знания для обучения. Есть тест Тьюринга для проверки искуственного интеллекта путём сравнения с интелектом эксперта. Остаётся методами формальной логики знания испытуемого сравнить с изученной базой знаний
    (это ани-Тьюринг) и получите понятный для всех механизм оценки знания, объективный и неподкупный.
    4. В Университете "Дубна" с 2001 года используется квантово-виртуальный метод компьютерного обучения. Процесс обучения алгоритмично связан с контролем усвоения знаний, режим экзамена использует ту же базу знаний, что и режим обучения, автоматически ведётся протокол и счёт баллов . каждый ответ. Оценивается хнание студентов и качество учебных модулей, учебного процесса.

  • А не будет ли игровая модель социальной реальности (игровая симуляция производственной деятельности) со временем всё дальше и дальше отдаляться от самой реальности (деятельности)? Ну, то есть, есть ли гарантии, что тот образ, которым руководствуются разработчики той или иной игры, является качественным прототипом мира, а не их высокоинтеллектуальным бредом?

  • Компетенция без компетентности приводит к эмуляции этой компетенции, за счёт деградации этики и использования психологических практик прикрытия животного примитивизма управленцев психологов!
    Обычно, такие управленцы конечно убеждённые атеисты! Это особый вид атеизма, который основывается НЕ на понимании основ начально-школьной физики, но на основе психологии подавления воли, уровня высшего учебного заведения!

Яндекс.Метрика