Способы анализа эффективности обучения

Способы анализа эффективности обучения

В прошлой статье « Как оценить изменения HR-показателей? » мы разбирали пример оценки эффективности обучения всех секретарей при отсутствии прочих факторов, влияющих на скорость печати.

В этой статье мы разберем на примере, как измерить результаты, если вы обучили часть сотрудников, и в процессе обучения установили эргономичные клавиатуры, которые также могли повлиять на скорость печати.

Для начала необходимо составить перечень требований к обучению по каждому уровню модели Киркпатрика. Я подробно рассказывала об этой модели в статье « HR-метрики в обучении. Часть 2 ».

В результате мы определяем бизнес-метрики, которые покажут прогресс обучения. В нашем примере этими метриками будут скорость печати и количество ошибок при наборе. Для простоты понимания мы проанализируем только скорость печати.

1) Метод парных выборок сравнивает бизнес-метрики «До» и «После» обучения по каждому сотруднику (подробно описан в статье « Как оценить изменения HR-показателей? »). Он применяется при отсутствии влияния других, кроме обучения, факторов на изменение бизнес-метрик. В случае обучения секретарей методу слепой печати данный метод не подойдет из-за возможного влияния эргономичной клавиатуры.

2) Метод экспериментальных и контрольных групп обычно используют в медицине, но в управлении персоналом тоже будет эффективным.

Проведем претест скорости печати всех секретарей компании и запишем результаты в таблицу.

Разделим сотрудников на две группы: в экспериментальную группу (далее — Группа 1) войдут секретари, которых мы отправим на обучение, а в контрольную группу (далее — Группа 2) войдут сотрудники, которые обучаться не будут.

Численность групп может быть неравной. Группа 1 и Группа 2 должны формироваться таким образом, чтобы различия в скорости печати в них были минимальными.

Медиана скорости Группы 1 – 193 символа в минуту, а медиана скорости Группы 2 – 196 символов в минуту.

После этого проводим обучение методу слепой печати Группы 1 и повторно замерим скорости печати для обеих групп. Результаты вносим в таблицу.

Если изменения скорости печати в Группе 1 статистически значимо отличаются от результатов Группы 2, делаем вывод, что обучение повлияло на результаты.

Для оценки статистической значимости (то есть определения, насколько полученные результаты являются результатом обучения, а не погрешностью) нам понадобится знание статистических критериев. Данные критерии мы подробно разбираем в курсе « HR-статистика ».

В итоге мы получим такую диаграмму.

В примере разберем базовый уровень оценки статистической значимости и сравним распределение показателей по группам с помощью «Ящика с усами». Этот вид диаграммы мы разбирали в статье « Как оценить изменения HR-показателей? ».

Мы видим, что зеленый и фиолетовый «Ящики» Группы 1 не перекрывают друг друга, то есть первый квартиль зеленого «Ящика» Группы 1 находится выше третьего квартиля фиолетового «Ящика» Группы 1. Мы делаем вывод, что результаты Группы 1 после обучения существенно выросли.

При этом медиана и третий квартиль зеленого «Ящика» Группы 2 выросли незначительно относительно фиолетового. Считаем медиану изменений результатов претеста и теста Группы 2. Получаем 4%. Так как Группа 2 не обучалась, но эргономичные клавиатуры были установлены всем секретарям, мы можем сделать второй вывод, что использование клавиатур увеличило скорость печати Группы 2 в среднем на 4%, что является незначительным ростом показателя.

Возможно, затраты на приобретение клавиатур были неэффективны, но для точной проверки данной гипотезы требуется изучение дополнительных факторов, например: количество ошибок при печати или утомляемость запястья при печати.

Считаем медиану изменений результатов претеста и теста Группы 1. Получаем 31%. Делаем вывод, что обучение методу слепой печати увеличивает скорость в среднем на 31% плюс-минус погрешность. Так как медиана изменений результатов претеста и теста Группы 2 составляет лишь 4% (влияние эргономичной клавиатуры), мы можем сделать вывод об эффективности обучения методу слепой печати.

Для проверки устойчивости результатов требуется измерить показатели в обеих группах через месяц после обучения Группы 1 и сравнить результаты.

Мы проанализировали показатель «скорость печати». В рабочей ситуации после этого нам нужно было бы проанализировать таким же способом показатель «количество ошибок при печати».

Источник

Оценка качества и эффективности обучения персонала

«Кадровик. Кадровый менеджмент», 2010, N 12

ОЦЕНКА КАЧЕСТВА И ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ ПЕРСОНАЛА

Финансирование программ обучения и развития персонала на многих предприятиях осуществляется по остаточному принципу, что во многом связано с отсутствием у кадровых менеджеров и внешних поставщиков обучения инструментов оценки качества и эффективности обучения. В статье предлагаются такие инструменты.

Методический подход к оценке качества

и эффективности обучения

Для оценки качества системы обучения предлагается использовать метод экспертных оценок, где оценка качества осуществляется специалистом-экспертом. Целью сбора информации, необходимой для измерения показателей эффективности обучения, является установление воздействия обучения на уровень знаний сотрудников и то, как это проявляется на итоговых финансовых показателях организации.

Качество обучения сотрудников определяется с помощью критериев результативности обучения (табл. 1).

Критерии результативности обучения

Удовлетворенность
обученного сотрудника

Определяется с помощью анкетирования, после
чего проводятся анализ и расчет эффективности
по данному критерию, выявляются причины
неудовлетворенности и делаются выводы

Приобретение обучающимся
необходимых знаний,
навыков и умений

Для оценки данного критерия используется
специальная форма отчета по обучению, с
помощью которой определяется степень
развитости необходимых знаний, навыков и
умений

Эффективность внесенных
предложений по
усовершенствованию
профессиональной
деятельности

С учетом полученных знаний обученный сотрудник
выносит на рассмотрение руководства свои
предложения по улучшению деятельности как
самого сотрудника, так и организации в целом,
которые в дальнейшем оцениваются с точки
зрения эффективности

Эффективность деятельности
сотрудника, прошедшего
обучение

Оценивается эффективность, выраженная в:
— повышении норм выработки;
— росте производительности;
— сокращении времени на выполнение работ/
проектов;
— сокращении финансовых затрат на выполнение
проекта;
— увеличении объема продаж и т. д.

Удовлетворенность
руководителя результатами
обучения

Примерно через месяц для оценки заполняется
специальная анкета результативности обучения

Для измерения (мониторинга) показателей (критериев) обучения применяются следующие методы:

— экспертный, т. е. оценка со стороны экспертов на основании анкеты или выполнения контрольно-тестового задания оцениваемым сотрудником. Экспертами могут выступать: руководители, ответственные должностные лица, наблюдательные советы, общественные организации, аудиторы, потребители;

— расчетный (статистический), т. е. математическая обработка массива данных.

После проведения анализа полученных данных делаются выводы о качестве обучения сотрудников организации с дальнейшим расчетом эффективности обучения.

Словарь управления персоналом. Под качеством обучения персонала понимается благоприятное воздействие обучения на уровень знаний сотрудников; эффективность обучения персонала — это то, как отражаются полученные знания на итоговых финансовых показателях организации.

Организация вкладывает деньги в обучение своих сотрудников для того, чтобы провести определенные изменения: повысить производительность труда, снизить издержки, освоить новую продукцию, внедрить новое оборудование и технологии и т. п. Поэтому необходимо оценить влияние результатов обучения на деятельность всей организации.

Такую форму оценки можно осуществить, используя следующие показатели: увеличение продаж, рост прибыли, сокращение издержек, увеличение доли рынка, повышение качества; снижение процента брака, количества рекламаций или жалоб клиентов, текучести кадров, числа конфликтов; повышение удовлетворенности сотрудников; формирование новых эффективных команд и т. д.

Сбор такого рода информации требует серьезной аналитической работы, времени, финансовых ресурсов и скоординированных усилий многих подразделений компании. Поэтому мы считаем, что оценка данного показателя может проводиться 1 раз в год.

Вопрос возврата инвестиций в обучение является одним из самых важных в процессе развития системы обучения персонала для малых и средних организаций, ведь если организация инвестирует средства в обучение своего персонала, то результат может и должен быть измерим.

Именно поэтому следует остановиться на проблеме оценки эффективности инвестиций в обучение, которую мы разделили на две составляющие:

1. Оценка факторов эффективности инвестиционных вложений в обучение работников.

2. Измерение показателей эффективности обучения персонала для организации.

Оценка эффективности инвестиционных вложений

в обучение работников

На эффективность инвестиционных вложений в обучение работников влияют следующие факторы.

1. Соотношение стоимости обучения и рыночной оценки организации, следующей за этапом обучения. В соответствии с базовыми моделями теории человеческого капитала инвестиции в образование целесообразны, если поток будущих доходов (R) не меньше совокупных затрат на обучение (C) (или норма доходности инвестиций в образование не менее рыночной ставки процента).

W — W W — W ┌ ┐ W — W

N 1 0 1 0 │ 1 │ 1 0

t=1 t i │ t│ t ─> бесконечность i

(1 — i ) t │ (1 + i ) │ t

где W, W — заработная плата соответственно до и после обучения;

R >= C, где W > W — прирост заработной платы в результате

i — рыночная ставка процента в год t.

Допустим, что затраты на обучение высокого уровня составляют C,

а затраты более низкого уровня — C ; C > C. Тогда:

а) условием невыгодности получения обучения более высокого уровня будет

превышение затрат на обучение в течение T лет над будущими доходами:

б) условием выгодности получения обучения более низкого уровня будет

превышение будущих доходов над затратами на обучение в течение T лет:

T x C W — W > iT x C . (4)

Это неравенство объясняет сложившуюся в практике тенденцию более

высокой оплаты труда специалистам высшей квалификации. Затраты на их

обучение C выше затрат на обучение технического персонала C.

2. Сумма превышения дохода (заработной платы) специалиста высшей квалификации над специалистом более низкой квалификации. Этот тезис основывается на том, что различия в заработной плате отражают различия вклада в деятельность организации. «Денежный доход от образования» выявляется как разность в пожизненных заработках тех, кто имеет неодинаковое образование. В издержки образования помимо непосредственных расходов на обучение включают и так называемый упущенный доход. Это тот потенциальный заработок, который человек мог бы получить, если бы работал, а не учился. То есть потерянные заработки измеряют ценность времени учащегося, затраченного на формирование его человеческого капитала. На долю недополученного дохода, по оценкам экспертов, приходится обычно больше, чем на долю прямых издержек на образование.

3. Степень узости специализации программы обучения. По опыту Мирового банка в сфере образовательных инвестиций, узость специализации обратно пропорциональна ее эффективности.

4. Уровень внутренней эффективности. Внутренняя эффективность показывает соотношение между затратами на обучение и его качеством. Для повышения данной эффективности необходимы качественный выбор критериев подготовки преподавателей, совершенствование учебных программ. Полученные в процессе обучения знания и навыки должны быть востребованы в процессе дальнейшей работы сотрудника.

Итак, обучение сотрудников является важнейшим фактором, влияющим на дальнейшую трудовую деятельность работника, его заработную плату, на его отношение к работе, на производительность и эффективность труда. Вложения в обучение в равной степени важны как для сотрудника, так и для самой организации, поскольку трудовая деятельность сотрудников, обладающих необходимыми для организации знаниями и умениями, отличается более высоким качеством и эффективностью.

Измерение показателей эффективности обучения

Успех обучения будет определяться той добавочной стоимостью, которую оно принесет организации. Измерение показателей эффективности обучения для организации будет проводиться в двух различных плоскостях (табл. 2).

Показатели эффективности обучения персонала

Возврат на знания (ROK)

Подразделения, принимающие
участие в расчете
эффективности обучения

Экономический отдел;
отдел маркетинга;
непосредственно;
подразделения
менеджер по персоналу

Менеджер по персоналу

Желаемые конечные
результаты, позволяющие
принять решения выбора
показателя расчета
эффективности обучения
персонала

Увеличение объема
товаров/услуг;
сокращение затрат;
повышение степени
удовлетворенности
клиентов;
усовершенствованное
качество продукции и
услуг;
улучшение показателей
своевременности
доставки продукции/
оказания услуг;
повышение
производительности
труда;
улучшение показателей
безопасности труда;
повышение степени
удовлетворенности
сотрудников, улучшение
их морального
состояния;
сокращение текучести
кадров

Сокращение числа
поставщиков
образовательных услуг;
уменьшение показателя
стоимости часа
обучения;
повышение мотивации
сотрудников, их
лояльности к
организации;
оптимизация времени
обучения;
сокращение времени
цикла от выявления
потребности до
проведения обучения;
уменьшение времени
отрыва обучающихся от
работы

Показатели измерения
эффективности обучения

1. Уровень внедрения.
2. Уровень компетенции.
3. Уровень
удовлетворения

Показатели времени и
затрат

1. Возврат на знания (ROK — return on knowledge).

2. Возврат на инвестиции (ROI — return on investment) — показатель окупаемости инвестиций, отношение полученной прибыли к вложенным средствам. С его помощью оценивается эффективность вложения инвестиций через непрерывную оптимизацию затрат и совершенствование тактики ведения обучения.

Целью сбора информации, необходимой для измерения показателей эффективности обучения, является установление воздействия обучения на уровень знаний сотрудников и то, как это проявляется на итоговых финансовых показателях организации.

Для того чтобы гарантировать действенность ROK и ROI, их нужно внедрять на ранних этапах формирования системы обучения. Измеряемые ими показатели также должны быть определены заранее и скорректированы по мере их использования. Сбор необходимой информации должен протекать непрерывно в соответствии с четко сформулированными правилами.

Расчет показателя «Возврат на знания» — ROK

Измерение эффективности обучения ROK относится к той части улучшения результатов деятельности, которые могут быть отнесены на счет непосредственно обучения, например показатель прибыли на инвестиции в обучение. Существуют два основных способа достижения прибыли на инвестированный капитал: увеличить доходы или сократить затраты. В идеале следовало бы отдельно измерить как доходы, так и затраты, связанные с обучением. Но на практике получить такие данные редко представляется возможным.

Чтобы преодолеть эту трудность, на практике целесообразно использовать связующие показатели, которые можно условно разделить на две категории: метрика конечных результатов и прогнозируемая метрика. При помощи первой можно отразить действительные итоговые финансовые результаты, достигнутые благодаря обучающей интервенции. Но, в силу того что установить прямую связь между инвестициями в обучение и показателями деятельности организации практически невозможно, эта метрика мало пригодна для представления отчетных данных. Вторая метрика делает возможным получение количественных данных, способствующих достижению желаемых конечных результатов. Эта метрика более процессно-ориентированная и направлена на определение средств достижения целей.

Измерить ROK можно при помощи показателей, связывающих показатели эффективности деятельности организации и обучения, ими являются:

1. Уровень использования. Это объективные показатели, позволяющие измерить количество работников, прошедших обучение, и распространение ими полученных знаний в организации. К данным показателям относятся:

— коэффициент использования полученных знаний и навыков (К ):

где Ч — количество сотрудников, применивших полученные знания и

навыки в работе или передавших их своим коллегам;

Ч — общее количество сотрудников, прошедших обучение;

— коэффициент соответствия тем учебной программы основным планируемым

направлениям обучения, соответствующим стратегическим целям и задачам

где Т — количество тем, соответствующих стратегическим целям и

Т — общее количество тем учебной программы;

— коэффициент производительности труда управленческого персонала:

где П — производительность после обучения;

П — производительность до обучения;

— коэффициент внедрения новаций в организации после обучения (К ):

где Н — число новаций, внедренных после прохождения обучения;

Н — общее число внедренных новаций в организации.

2. Уровень компетенции. Этот показатель позволяет измерить изменения

ключевых компетенций сотрудников, прошедших обучение. К данным показателям

— коэффициент изменения общего балла ключевых компетенций (К ):

где Ч — количество сотрудников, балльная оценка ключевых компетенций

которых стала выше после прохождения обучения;

Ч — общее количество сотрудников, прошедших обучение.

Измерение данного показателя проводится по результатам годовой оценки сотрудников на основе профиля должности, описывающего необходимые ключевые компетенции, требуемые для выполнения трудовой деятельности.

В результате очередной годовой оценки персонала, следующей после прохождения обучения, выполняется сравнение балльных показателей (например, 5-балльная шкала) сотрудников, прошедших обучение. Далее рассчитывается разница между общим баллом по ключевым компетенциям до и после прохождения обучения.

3. Уровень удовлетворения. Этот субъективный показатель (конвертируемый в балльное выражение) позволяет измерить уровень удовлетворения сотрудников от пройденного обучения. С этой целью менеджер по персоналу проводит анализ анкет с дальнейшим расчетом эффективности по данному показателю.

Выявляются причины неудовлетворенности с целью улучшения следующих программ обучения.

Если при определении трех связующих показателей наблюдаются положительный результат и динамика, то можно говорить об эффективности программы обучения персонала и ее положительном влиянии на показатели эффективности деятельности всей организации.

Расчет показателя «Возврат на инвестиции» — ROI

Методы измерения эффективности обучения персонала ROI используют для решения следующих задач:

— сокращение числа поставщиков образовательных услуг в процессе принятия обоснованных решений по выбору обучающих организаций и программ обучения посредством сравнения их эффективности;

— уменьшение показателя стоимости часа обучения;

— повышение мотивации сотрудников и их лояльности к организации;

— оптимизация времени обучения;

— сокращение времени цикла от выявления потребности до проведения обучения;

— уменьшение времени отрыва обучающихся от работы;

— количественное выражение улучшения результативности и качества работы в результате обучения сотрудников;

— выражение в денежном эквиваленте ценности проведенного обучения;

— определение возврата на инвестиции в обучение персонала.

Однако следует отметить, что процедура вычисления ROI довольно трудоемка. Из-за трудности расчета ROI данный показатель рекомендуется измерять лишь в случае удовлетворения следующих показателей:

— большая продолжительность обучающей программы;

— важность программы для достижения стратегических целей и задач организации;

— обозримость программы (этапность);

— большая целевая аудитория;

— высокая степень заинтересованности лиц, принимающих решения.

ROI рассчитывается по формуле:

((Доход от обучения — Затраты) / Затраты) x 100%. (10)

Затраты на обучение оцениваются финансовыми и временными показателями:

— стоимостное выражение затрат на обучение согласно фактической смете;

— стоимостное выражение затрат на обучение согласно личной карточке учета расходов на обучение;

— количество сотрудников, прошедших обучение;

— количество человеко-дней обучения (произведение числа работников на число учебных дней).

При сравнительном анализе эффективности различных программ обучения, различных категорий персонала за различные периоды времени выявляются несоответствия процесса обучения, устанавливаются причины отклонений и разрабатываются корректирующие действия.

Для оценки эффективности системы обучения в целом можно использовать следующую формулу:

Kоб = L x N x V x E / N x Z, (11)

где L — продолжительность воздействия программ обучения на производительность труда и другие факторы результативности;

N — число обученных сотрудников;

V — стоимостная оценка различия в результативности труда лучших и средних работников, выполняющих одинаковую работу;

E — коэффициент, характеризующий эффект обучения работников (рост результативности, выраженный в долях);

Z — затраты на обучение одного работника.

Помимо оценки эффективности обучения руководством организации и менеджером по персоналу необходимо, чтобы сотрудники организации, а также обучающая организация-партнер также оценили прошедшее обучение.

Для этого были разработаны анкета для сотрудников и форма отчета обучающей организации о проведенном обучении сотрудников.

Служба управления персоналом производит обработку представленных показателей и заполненных форм, а затем формулирует общее заключение, которое представляется руководству организации.

Таким образом, оценка качества и эффективности обучения позволяет не только проанализировать процесс обучения персонала, но и разработать практические рекомендации по дальнейшему совершенствованию формирования системы обучения управленческого персонала по основным составляющим ее элементам.

1. Варламова Е. Как и зачем обучают персонал // Кадровое дело. 2005. N 2. С. 41 — 47.

2. Магура М. И., Курбатова М. Б. Обучение персонала как конкурентное преимущество. М.: Интел-Синтез, 2004. С. 6 — 45.

3. Сидоров В. А. Образование и подготовка кадров в условиях новой технической реконструкции. М.: Высш. шк., 2004.

Источник