Оценка эффективности обучения. Модели и инструменты оценки тренинга
В прошлой статье «Оценка результатов обучения. 5 принципов оценки результативности тренинга Кайзен.» мы рассмотрели принципы самой оценки, рассказали что нужно учитывать, оценивая эффективность тренинга. Но не показали Вам как это делать, какие модели и инструменты оценки могут быть в вашем распоряжении. Этой статьей постараемся восполнить этот пробел.
Некоторые модели и инструменты оценки тренинга
Киркпатрик: самая известная и чаще всего используемая модель оценки эффективности обучения
- Уровень 1 – Реакция
- Уровень 2 – Усвоение
- Уровень 3 – Поведение
- Уровень 4 – Бизнес-результатФиллипс: следующая по степени известности модель.
Аналогична модели Киркпатрика, но имеет несколько дополнительных и жизненно важных уровней.
- Уровень 1 – Уровень реакции и эмоциональной удовлетворенности участников
- Уровень 2 – Учебные результаты
- Уровень 3 — Применение результатов тренинга на рабочем месте
- Уровень 4 – Бизнес-результаты тренинга
- Уровень 5 – Возврат на инвестиции
- Неосязаемые выгоды
Самая известная формула описания финансовых выгод тренинга.
Возврат на инвестиции = Чистая выгода от обучения х 100 разделить на затраты на тренинг = ROI (в процентах).
Альтернатива оценке улучшений вследствие мероприятий.
Эта формула сравнивает годовую материальную выгоду от мероприятия с затратами на мероприятие в пропорции.
Коэффициент рентабельности = Выгоды от обучения, разделенные на затраты на обучение .
Альтернатива «листочкам счастья»?
Нас часто спрашивают, есть ли альтернатива вот этому: «Хорошо ли прошел тренинг?». Многие признают, что ценность анкет обратной связи невелика и свидетельствует только о том, что участниками опыт обучения воспринят как позитивный. Приводим очень простую альтернативу, которую клиенты находят весьма ценной.
Ближе к концу тренинга разместите на стене три больших пустых листа. Озаглавьте их следующим образом: «Что Вам понравилось?», «Что могло бы сделать тренинг еще более ценным?», «Что Вы будете делать иначе в результате тренинга?»
Обработайте полученную информацию и доведите ее заказчику соответствующим образом (см. «Богатство и разнообразие»).
Может ли эффект тренинга быть изолирован от других факторов?
В обсуждении оценки с клиентами этот вопрос возникает регулярно. Думаю, что это технически возможно, но если вы хотите абсолютно изолировать эффект обучения от других событий и действий, которые, хотите вы того или нет, происходят и предпринимаются одновременно с обучением, то это потребует значительного времени и инвестиций. Есть фаты, что стратегия оценки сама по себе может существенно повлиять на валидность ROI. Добавьте сюда такие эффекты, как Хоторн и Пигмалион, и я не думаю, что найдется организация, которая согласится «вбухивать» значительные средства в детальные исследования этой сложной области.
Естественно, если необходимость все-таки возникнет, у нас есть инструменты это сделать. Вот несколько наших самых любимых инструментов.
Отберите минимум две группы и соберите данные об уровне развиваемых тренингом компетенций в обеих группах. Одна группа (экспериментальная) будет участвовать в тренинге, вторая – нет.
Исполнений обеими группами своих рабочих обязанностей изменяется и оценивается. Данные обрабатываются и сопоставляются, и таким образом оценивается разница в уровне исполнения в обеих группах. Этот подход – существенный шаг вперед на пути к изоляции эффектов тренинга, т.к. здесь важно именно сравнение двух групп, а не просто констатация повышения производительности труда.
Это процесс, в котором информация в хронометрическом порядке используется для прогнозирования будущего уровня исполнения. Действительный уровень исполнения, замеряемый после тренинга, наносится на график рядом с прогнозируемым уровнем. Несмотря на то, что это наука неточная и не проекцию тренда может влиять множество факторов, это ценный инструмент, если он является частью детальной стратегии. Полезен он своей простотой, малой времязатратностью и дешевизной.
Другие инструменты сбора информации об эффективности обучения на различных уровнях
- Интервью с линейными менеджерами
- Обратная связь 360 градусов
- Прогнозирование
- Интервью с участниками
- Опрос клиентов
- Планирование действий
- Коучинг «равный – равному»
- Опрос сотрудников
- Наблюдение на рабочем месте
- Письменные опросы линейных менеджеров
- Письменные опросы участников
- Кейс-стади
- Бизнес-игры
- Тесты на проверку знаний участников
Источник
Девять основных моделей оценки эффективности обучения
Оценку эффективности тренинга следует начать с Ключевых вопросов. Некоторые из них сформулированы Фредом Нихолсом (Fred Nichols) в начале 1990-х гг., проверены временем и остаются актуальными по сей день.
«Оценивать? Оценивать что? Эффективность тренинга? Что вы понимаете под тренингом? Что именно вы хотите оценить? Какой-нибудь конкретный курс обучения? Слушателей? Тренеров? Тренинговый отдел? Или тренинги в целом?»
«Кроме того, почему вы хотите оценить эффективность тренинга? Хотим ли мы проверить его эффективность, т. е. узнать, работает ли он? Если так, то какое эффект должен дать тренинг? Изменить модели поведения? Изменить отношение? Улучшить эффективность работы?»
«Какова продуктивность тренинга? Сколько времени тратится на подготовку и организацию тренинга? Можно ли это время сократить? Можем ли мы провести этот тренинг на рабочих местах или заменить его вовсе другим видом помощи в работе?»
«Каковы затраты на проведение тренинга? Стоит ли он этих денег? Кто считает, что он стоит? На каком основании они так считают? Что мы пытаемся узнать? От кого мы получаем эту информацию?»
В оценке эффективности тренинга можно выделить два разных аспекта:
1.оценивание самого процесса тренинга или механизмов повышения эффективности тренинга
2.оценивание конечного продукта или результата тренинга.
Кажется, что Для разных людей оценка эффективности тренинга означает разные вещи, отсюда некоторая запутанность вопроса. По ключевым вопросам видно, что ответы на них и смысл ответов зависит от того, кто задает вопрос и почему.
Для акционеров и руководителей компаний показателем потребности провести оценку эффективности тренинга являются ответы на следующие вопросы: «поможет ли тренинг решить мою проблему и/или достичь поставленных целей?» и «стоит ли тренинг таких денег или мне следует вложить свои деньги в другое мероприятие?». Конечным вопросом будет: «Стоило ли это того?»
Для тренеров оценивание эффективности тренинга будет заключаться в ответе на другие вопросы, например, такие: «Был ли тренинг эффективным?» и «Достигнуты ли поставленные цели?»
Для сотрудника компании оценивающими вопросами будут: «Поможет ли мне этот тренинг лучше/быстрее выполнять работу?», «Окажет ли он влияние на развитие моей карьеры?», «Что я здесь делаю?» и «Зачем это мне?»
Не кажется ли вам, что оценка эффективности должна родиться в ходе обсуждения, в котором участвуют все три категории?
Киркпатрик
Если строить систему оценки по вопросам только для одной группы из трех, то, очевидно, что другим двум группам будет невероятно трудно ответить на те же ключевые вопросы.
Для каждой группы должны быть свои соответствующие вопросы. Самый первый обратился к этой проблеме Дональд Киркпатрик в конце 1950-х годах, он сформулировал ныне известные 4 уровня.
Уровень 1 – Реакция – какова реакция обучаемого на само обучение?
Уровень 2 – Обучение – что обучаемый усвоил в процессе тренинга?
Уровень 3 – Поведение – как сильно изменилось поведение обучаемого после прохождения обучения?– речь идет о применении полученных навыков и знаний на рабочем месте.
Уровень 4 – Результаты – насколько увеличилась эффективность компании как следствие прохождения обучения?
Возврат на инвестиции (ROI)
Четвёртый уровень Киркпатрика не дает ответ на вопрос, стоил ли того тренинг. Как считает Наталья Толстая, сертифицрованный специалист по ROI Methodology, модель Киркпатрика хорошо разработана теоретически, это полноценная научная работа, но сам автор никогда не участвовал в практической оценке эффективности. Недостаток опыта внедрения модели привел к отсутствию в ней конкретных шагов и стандратов оценки.
В 1991 году Джек Филипс (Jack Phillips) добавил в Систему качественно новый 5-й уровень с названием Возврат на инвестиции (ROI). Вопрос, который задается на этом уровне: оправдал ли тренинг вложенные в него средства? Пятый уровень, прежде всего, подразумевает, что человек, производящий оценку эффективности тренинга, должен оценить конечный результат работы компании, а также иметь навыки для оценки затрат и прибыли компании. Такая дополненная модель особенно нравится акционерам и руководителям. Проблема в том, что многие тренинги, которые Кажутся полезными для сотрудников, не проходят испытание ROI.
Команда Джека Филипса активно внедряет технологию ROI и имеет богатый практический опыт бизнес-кейсов.
Другие модели оценки программ обучения выделились из того, что уже было разработано. Они нацелены
На оценку тренинга вначале,
После внесения изменений,
На оценку той ситуации, в которой проводится тренинг или в которой такой тренинг необходим,
На оценку результата тренинга и самого процесса обучения.
Целевой Подход Тайлера (Tyler’s Objectives Approach)
Тайлер полагает, что одной из главных проблем в области образования является то, что образовательные программы «Определяют свои цели нечетко». Под «целями» он имеет в виду задачи обучения. Этот целевой подход лежит в основе того, что предложил Тайлер. Его процесс оценки состоит из следующих шагов:
1.Постановка обширных целей и задач.
2.Классификация этих целей и задач.
3.Определение целей и задач в терминах поведения.
4.Поиск ситуаций, в которых можно проверить, насколько цели достигнуты.
5.Разработка или отбор техник оценивания.
6.Собирание данных, касающихся эффективности обучения.
7.Сравнение данных об эффективности обучения с данными об эффективности достижения желаемых моделей поведения.
Различие в эффективности должны вести к внесению изменений в программу, затем цикл оценивания повторяется. Это очень напоминает Уровень 3 модели Киркпатрика, только гораздо подробнее. Полагают, что оценивание непосредственно тренинга/обучения начинается где-то между шагами 3 и 5. Если возможно, проведите предварительное оценивание по пункту 1-3. На шаге 7 вы сможете сравнить модели поведения после проведения мероприятия с теми, которых вы бы хотели добиться обучением, а не с теми, которые были до обучения.
Однако поведенческие цели и задачи в рамках этой модели кажутся практически не связанными с результатами, влияющими на эффективность обучения в терминах ROI (возврат на инвестиции). О влиянии на модели поведения других факторов, таких как культура, структура, цели и т. д. у Тайлера ничего не сказано.
Прикладная теория Поля Кирнса (Paul Kearns)
Поль Кирнс стремится упростить некоторые вещи и сделать их более практичными. Кирнс полагает: Какую бы изюминку ни содержал ваш процесс оценки, наиболее важным аспектом являются те вопросы, которые вы задаете. Кроме того, он считает, что в процессе оценки должна быть установлена некая исходная линия (т. е. которая поможет достоверно сравнить эффективность тренинга «до» и «после» проведения оценки); что некоторые тренинговые мероприятия должны быть из ряда здравоохранения и безопасности, как это предписано законодательством; что некоторые тренинги являются роскошью для компании и их отсутствие не принесет никакого вреда компании, команде или отдельному человеку не зависимо от профессии и эффективности работы; и что другие тренинги лишь доказывают, что их главной задачей является увеличивать эффективность компании.
Модель Скривенса (Scriven’s Focus On Outcomes)
Модель Скривенса, нацеленная на результат, Требует внешнего оценщика, который не должен быть осведомлен о поставленных перед обучением целях и задачах. Он должен определить стоимость и ценность программы обучения на основе результатов.
С одной стороны, это удобно, особенно когда акцент ставится на эффективности работы компании – проверить эффективность программы проще тогда, когда перед глазами эффективность отдельного сотрудника или эффективность достижения поставленных целей. Но в этом случае могут возникнуть проблемы с необъективностью оценщика, а также с определением степени подробности проводимой оценки. Эта модель по определению не может предсказать результаты обучения и также не может использоваться для расчета коэффициента ROI, так как она практически не имеет отношение к определению корневых причин низкой эффективности или нежелательных моделей поведения.
Модель Стафлебима CIPP (Stufflebeam)
Аббревиатура расшифровывается следующим образом: Context evaluation (Контекстное оценивание), Input evaluation (Оценивание на входе), Process evaluation (Оценивание процесса) и Product evaluation (Оценивание продукта).
Модель Стафлебима CIPP известна как системная модель. Она состоит из четырех основных компонентов:
Контекст – определяется цель, преследуемая аудиторией, а также определяются потребности, которые должны быть удовлетворены.
Вход – определяются ресурсы, возможные альтернативные стратегии, а также определяется самый простой способ удовлетворить потребности, установленные выше.
Процесс – оценивается, насколько хорошо выполняется разработанный план.
Продукт – оцениваются полученные результаты, проверяется, были ли достигнуты цели, вносятся поправки: как следует разрабатывать план в следующий раз.
Интересно, что эта модель изучает и сам процесс, и его результат. Однако оценивание вероятных результатов непосредственно перед обучением не проводится, следовательно, модель не годится для оценки ROI без дальнейшей доработки.
В отличие от моделей Филипса и Киркпатрика в рамках данной модели требуется взглянуть на эффективность процесса, а это скорее относится к «валидизации», чтобы не путать с «оцениванием», т. е. акцент ставится на результате.
Похожа на модель Стафлебима: Content evaluation (Оценивание контента), Input evaluation (Оценивание на входе), Reaction evaluation (Оценивание реакции), Outcome evaluation (Оценивание результата).
Модель CIRO, разработанная Бердом, охватывает несколько уровней модели Киркпатрика, а именно Уровень 1 и спорный Уровень 4 в том случае, если результаты обучения выражены в терминах коммерческого эффекта. Основными компонентами являются Контент, Вход, Реакция и Результат. Во многих отношениях эта модель очень похожа на модель CIPP и, как мне кажется, точно так же грешит недостатком деталей и рекомендации по тому, как использовать каждый из четырех основных компонентов.
Можно доказать, что Модели CIPP и CIRO следуют за Киркпатриком и Филипсом в использовании контрольных групп и предварительных оценок способов улучшения тренинга экспертами В соответствующей области для того, чтобы при повторении процесса обучения дать ответ на вопросы ценности тренинга и правильного использования ограниченных ресурсов.
Натуралистический подход Губа (Guba’s Naturalistic Approach)
Данный подход основывается на взаимном сотрудничестве заинтересованных лиц и на априорном доверии к качеству тренинга.
Модель V Брюса Аарона (Bruce Aaron’s V Model).
Основанием для нее служит тот же подход, который используется в области информационных технологий при разработке программного обеспечения.
Представьте Букву латинского алфавита «V». Ее левая сторона символизирует анализ и разработку. Проходя ее сверху вниз, вы определяете свои «бизнес-потребности» (уровень 1), затем «требования к работе оборудования» (уровень 2) и «требования к эффективности работы сотрудников» (уровень 3). В самой нижней точке, где соединяются левая и правая половины, вы находите «результирующую эффективность». Правая сторона буквы символизирует измерение и оценку. Двигаясь сверху вниз, вы определяете «коэффициент возврата на инвестиции (ROI)/бизнес-результаты» (уровень 1). Двигаясь по ней сверху вниз, вы придете к «состоянию оборудования» (уровень 2) capability status’, а затем «влияние человеческого фактора» (уровень 3).
Продумывается связь между всеми элементами модели и парными элементами с разных сторон буквы-модели, стоящих на одном уровне. Фактически, Речь идет о симбиозе анализа и разработки, измерения и оценки. Модель V разработана для оценки ROI, тем не менее, это не очевидно, что ROI и оценка могут быть спрогнозированы до внедрения решения; ценность модели становится спорной, даже в том случае, если использование модели после проведения мероприятия прояснит некоторые детали.
Источник
