Оценка отдачи для бизнеса от проведения центра оценки
Центр оценки получил широкое распространение с момента своего появления. Основные причины этого – строгий научный подход в основе его конструирования и проведения, а также высокая точность прогнозов успешности участников. В социальных науках основным критерием качества измерительного инструмента считают валидность. Поскольку центр оценки является таким инструментом, он нуждается в проверке. Множество исследований валидности центров оценки проводилось разными группами специалистов. Информацию об этом можно найти в исчерпывающем обзоре, сделанном Мартином Кляйнманном[4].
Валидность метода центра оценки доказана в ряде исследований, однако, как читатель сможет увидеть в главах, посвященных описанию метода, он допускает большое разнообразие и дает много свободы тем, кто создает и проводит центры оценки. При проведении центров оценки мы можем использовать разные задания для измерения схожих параметров и схожие задания для измерения различных параметров, позволяющих сделать достоверный прогноз эффективности выполнения оцениваемым сотрудником работы. Кроме того, мы можем влиять на ход проведения центра оценки множеством способов.
Степень стандартизации центра оценки гораздо ниже, чем, например, у психологических тестов. Именно в этом преимущество метода: мы можем максимально адаптировать его под конкретные задачи. Но в этом же кроется и его слабость: в процессе создания и проведения центра оценки легко нарушить принципы, по которым он должен строиться. Для того, чтобы у пользователей и разработчиков центров оценки были ориентиры, в ряде стран мира созданы стандарты разработки и проведения центров оценки[5]. В РФ такие стандарты так же разработаны ведущими поставщиками, представителями академического сообщества, в том числе автором этой главы. Эти стандарты призваны обеспечить максимально возможное качество каждой конкретной реализации центра оценки. Стандарт РФ можно найти в журнале «Организационная психология» № 2 от 2013 года[6].
На практике доказать или опровергнуть валидность конкретной реализации центра оценки крайне трудно и дорого, т. к. это потребует создания условий, не совпадающих или даже противоречащих задачам бизнеса. Например, в классическом исследовании валидности центров оценки, проведенном в AT&T в середине прошлого века ни кандидатам, ни руководителям результаты оценки не сообщались в течение нескольких лет после оценки, судьбу каждого участника отслеживали в течение 15 лет и более и т. д. Смоделировать такую ситуацию в реальных проектах не представляется возможным.
Однако оценивать пользу и отдачу для бизнеса от применения центра оценки необходимо. Особенно это актуально в случае оценки большого количества сотрудников, требующей существенного вложения ресурсов компании.
Для проектов, связанных с обучением и развитием, технологии оценки эффективности предложили Дж. Филлипс[7] и Д. Киркпатрик[8]. По приведенным ссылкам вы найдёте исчерпывающую информацию об этих технологиях. Мы предлагаем использовать подход Дж. Филлипса для оценки отдачи от вложения в центр оценки.
Цели центра оценки:
1. Определить, насколько участник соответствует требованиям, и принять решение об отборе/назначении на должность участника.
2. Разработать план развития участника.
3. Мотивировать участника развивать свои компетенции.
Для центра развития, как одной из ветвей эволюции центра оценки, цели звучат так:
1. Разработать план развития участника.
2. Мотивировать участника развивать свои компетенции.
3. Сформировать нужное поведение.
Для того, чтобы оценить отдачу от вложений в центр оценки, в соответствии с подходом Филлипса, необходимо ставить цели и измерять результаты на 5 уровнях. В нашей адаптации для центров оценки вы можете ознакомиться с ними на следующей странице.
Изначально методология ROI Дж. Филлипса была разработана для планирования и оценки отдачи от обучающих проектов. Центр оценки не решает задачи обучения, но оценить отдачу от его применения можно с помощью ROI подхода. Одна из особенностей ЦО – более четко сформулированные требования к качеству проведения. Она дает нам возможность ввести еще один уровень оценки: уровень 0 – качество реализации центра оценки.
Ниже в Табл. 2 более подробно описано, как применять ROI методологию Дж. Филлипса к планированию и измерению отдачи от центра оценки для бизнеса.
В практике применения ROI методологии далеко не всегда планирование и измерение происходят на всех уровнях. По данным ROI Institute™ только 4 % компаний, которые они исследовали, оценивают все уровни вплоть до пятого. Большинство ограничивается более низкими уровнями оценки отдачи от проектов, связанных с развитием персонала. Основные причины – трудоемкость процесса оценки и его методическая сложность. Однако это не означает, что инвестиции в оценку ROI не оправданы.
Ценность подхода в том, что, даже начав планировать и измерять отдачу с 3-го или 4-го уровня, мы повышаем ценность проекта для бизнеса. ROI методология – это, в первую очередь, инструмент, позволяющий управлять отдачей для бизнеса, и лишь во вторую – инструмент оценки результатов проекта.
Планирование проекта в логике ROI дает специалистам в области управления персоналом дополнительные аргументы в пользу проведения центра оценки или центра развития, что важно при продаже проекта руководству компании.
ROI методология для центров оценки
В таблице 2 мы предлагаем адаптированную для центров оценки ROI методологию.
Таблица 2. Планирование и оценка отдачи от центра оценки
Уровень 0. Качество реализации центра оценки
Центр оценки предъявляет высокие требования к использующим его специалистам. Для того, чтобы качественно реализовать центр оценки, все специалисты должны быть обучены, точно знать порядок своих действий и уметь реализовывать каждый этап центра оценки.
В этой книге и в многочисленных работах, посвященным центрам оценки, изложены основы технологии проведения ЦО, которой необходимо следовать, чтобы создать и качественно провести центр оценки. Минимальные требования, которым должны соответствовать конкретные реализации центра оценки, изложены в Российском стандарте ЦО, с которым вы можете ознакомится по ссылке http://orgpsyjournal.hse.ru/data/2014/02/27/1329796277/OrgPsy_2013-2_8–32.pdf.
Стандарты разрабатываются на основе лучших практик в этой области, нарушение стандартов центра оценки подвергает риску или делает невозможным получение качественных и достоверных результатов. Для того, чтобы быть уверенными в качестве реализации центра оценки, необходимо проверять его на соответствие принятым стандартам.
Уровень 1. Реакция участников
Впечатление, которое остается у участников центра оценки, оказывает существенное влияние на то, насколько они будут согласны с выводами по результатам оценки и готовы следовать полученным рекомендациям.
Более того, зачастую отношение участников к полученным результатам и процессу оценки влияет на то, будут ли эти результаты использованы компанией в дальнейшем, и будет ли еще применяться центр оценки в этой компании. Это особенно актуально, если в оценке участвуют руководители высокого уровня. Поэтому важно целенаправленно формировать у всех участников центра оценки конструктивное отношение к процессу оценки и к полученному результату.
Обычно участники центра оценки испытывают высокое напряжение, когда узнают, что их будут оценивать. Основной источник этого напряжения – неопределенность и неуверенность в том, какие решения со стороны компании последуют в отношении участников по результатам оценки. В связи с этим, информирование участников о предстоящей оценке имеет большое значение для формирования отношения к центру оценки и его результатам. Для этого нужно ясно и полно сообщить участникам, зачем эта оценка делается и что по ее результатам будет предпринято компанией.
Существенное влияние на формирование отношения участников к оценке оказывает поведение ведущего, особенно в самом начале.
Важно, чтобы ведущий:
1. Вел себя и выглядел в соответствии с деловым этикетом, принятым в компании.
2. Действовал и говорил в соответствии с принятыми в компании нормами поведения, особенностями организационной культуры.
3. Был одинаково нейтрален и дружелюбен по отношению к каждому участнику.
4. Дал участникам понять, что ведущий на их стороне в рамках отведенной ему роли.
5. Предоставлял исчерпывающие ответы на вопросы. При этом не давал участникам информацию о «правильном» или «ожидаемом» поведении.
6. Подчеркнул важность центра оценки для каждого из участников и для компании, еще раз озвучил цель центра оценки.
Сам процесс оценивания сильно влияет на впечатление и отношение к результатам, которые будут получены. Основная задача – создать впечатление, что участники в ходе центра оценки занимаются не менее, а то и более важным и серьезным делом, нежели их повседневная работа.
В процессе оценки такое впечатление можно создать за счет:
1. Подбора заданий, моделирующих работу участников: ситуации и проблемы, с которыми они работают в ходе центра оценки, должны восприниматься ими как реалистичные и релевантные целям оценки.
2. Деловой и уверенной манеры поведения ведущего.
3. Точных и однозначно понимаемых инструкций.
4. Отсутствия оценки участников в ходе и по результатам выполнения заданий.
5. Ясных и полных ответов на вопросы о том, что участники должны делать в каждом из заданий.
Наиболее существенное влияние на отношение участника к центру оценки оказывает обратная связь по его результатам. Сам по себе результат оценки вызывает позитивные или негативные эмоции участника. Поэтому мы хотели бы обратить внимание на то, что цель «сформировать конструктивное отношение к процессу и результату оценки» НЕ ДОЛЖНА влиять на сами результаты оценки и как-либо искажать их!»
Задача состоит в том, чтобы участник принял результаты оценки такими, какими они были получены, и был готов на их основе принимать и реализовывать решения относительно своего личного, профессионального и карьерного развития в соответствии с целью, сформулированной заказчиком центра оценки.
Чтобы обратная связь по результатам центра оценки решала эту задачу, важно:
1. При подготовке отчета и обратной связи соблюдать баланс позитивных и корректирующих высказываний. В тексте отчета и при обратной связи делать акцент на возможных для развития особенностях участника.
2. В процессе подачи обратной связи вести открытый диалог, создавать атмосферу доверия, удерживать эмоциональный контакт в течение всего разговора.
3. Выстраивать процесс обратной связи так, чтобы он был максимально полезен для участника, и сообщать ему, что этот разговор направлен на то, чтобы участник вынес максимум полезного для себя из этой оценки.
4. Давать возможность участнику повлиять на итоговый текст рекомендаций в той мере, в которой автор отчета готов согласиться с изменениями. Важно, чтобы обратную связь давал тот, кто подготовил отчет.
Контроль реакции и отношения участников к прошедшему центру оценки проводится с помощью опроса его участников. Опрос лучше делать анонимным. В ходе такого опроса можно проверить:
1. Насколько для них участие в центре оценки было полезным.
2. В какой мере участник согласен с полученными рекомендациями и готов им следовать.
3. Насколько понятны были задания.
4. В какой мере задания были похожи на задачи, решаемые на рабочем месте.
5. Насколько участникам, с их точки зрения, удалось проявить свои лучшие стороны в ходе выполнения заданий.
6. Насколько было удобно работать (удобство материалов, рабочего пространства).
После завершения проекта у участников можно узнать в ходе интервью следующее:
7. Как участники относятся к поведению и действиям ведущего.
8. Насколько процесс обратной связи был комфортным для участника.
Опрос такого рода нужно проводить через 2–3 недели после завершения подачи участникам обратной связи. К этому моменту первые эмоциональные реакции на результаты оценки стихнут, и участник сможет более спокойно и обоснованно высказать свое мнение. В конце книги мы приводим пример бланка опроса.
Большое значение для успеха проекта имеет отношение заказчика ЦО к процессу его проведения и полученным результатам. Руководитель центра оценки должен уделить особое внимание формированию позитивного отношения к полученным результатам. Именно с этой целью руководителей зачастую включают в состав экспертов-наблюдателей. Важно обсудить с заказчиком полученные результаты и помочь ему принять решения на их основе.
Уровень 2. Цели воздействия на участников ЦО и заказчика ЦО
Любой центр оценки влияет на дальнейшее поведение, действия и решения его участников. Важно, чтобы это влияние было подчинено бизнес цели центра оценки, т. е. мы должны организовывать воздействие на участников, исходя из этой цели. Цели воздействия обычно лежат в трех областях:
♦ участники понимают, что они могут, а что – нет в настоящее время. Осознают, что смогут в будущем;
♦ участники хотят использовать свои возможности и увеличивать их;
♦ участники знают, как увеличить свои возможности.
На этом уровне нужно убедиться, что заказчик ЦО по итогам оценки:
♦ знает критичные для него факты об особенностях потенциала участников;
♦ доверяет результатам оценки;
♦ знает, как использовать результаты ЦО;
♦ готов учитывать результаты ЦО при принятии кадровых решений.
Задача центра оценки на этом уровне – дать участникам и заказчику обоснованную информацию об уровне развития компетенций и создать мотивацию у участников развивать их в соответствии с требованиями компании.
На успех решения этой задачи больше всего влияют обоснованность полученных результатов и доверие к ним, сформированное в процессе проведения центра оценки.
Обоснованность результатов достигается за счет точного соблюдения технологии проведения центра оценки, приведения фактов поведения участника в качестве подтверждения оценки, логичных выводов и интерпретации поведения.
Не менее важно добиться верного понимания участником и заказчиком оценок, сделанных выводов и полученных рекомендаций. Для этого отчеты и обратная связь должны даваться на понятном для участника языке, необходимо избегать специальных терминов. Следует разъяснять выводы и интерпретации, приводить примеры из протокола наблюдения за поведением участника в ходе центра оценки. Отдельный вопрос, который требует прояснения на этапе планирования центра оценки: к чему именно нужно мотивировать участников, получивших те или иные оценки. Для этого на старте принципиально прояснить ожидания руководства (заказчика) от каждого конкретного участника и потенциальные возможности для его роста в компании. Необходимо хорошо разобраться в этих ожиданиях и ограничениях до встречи с сотрудниками. Это позволит выстроить беседу так, чтобы сотрудник их понял и захотел им соответствовать.
В практике компаний, увы, часто возникают ситуации, когда на старте проекта не до конца ясно, как будут использоваться результаты оценки. Соответственно, нет возможности открыто обсуждать это с участниками. В этом случае трудно планировать центр оценки в целом и оценивать отдачу от результатов. Мы рекомендуем обязательно проработать эти вопросы перед началом работ по оценке.
Контроль достижения целей воздействия (уровень 2 по Дж. Филлипсу) проводится с помощью опроса участников. В ходе опроса нужно выяснить:
♦ насколько участнику ясно, что ему нужно делать в дальнейшем;
♦ насколько он хочет это делать;
♦ насколько точно участник понимает, чего именно от него ждет компания.
Такой опрос может проводиться через 2–3 недели после получения участником обратной связи вместе с опросом об отношении участника к центру оценки.
Уровень 3. Цели применения
Результаты центра оценки имеют несколько «адресатов» и используются разными способами:
Все эти варианты применения работают на то, чтобы участник центра оценки наилучшим образом использовал свои компетенции на рабочем месте и развивал компетенции в нужном компании направлении.
Если сгруппировать способы применения, характерные для всех пользователей, то цели применения центра оценки для компании в целом будут звучать так:
♦ участникам оценки найдена наиболее подходящая работа;
♦ участники прилагают усилия по развитию компетенций в нужном компании направлении.
Результатом применения центра оценки на этом уровне являются решения о назначениях и планы развития участников оценки. Планы развития, в свою очередь, должны быть реализованы. Если после проведения центра оценки нет таких решений и/или реализованных планов развития, значит отдачи от центра оценки на этом уровне и уровнях 4 и 5 – нет.
Полноценно оценить отдачу от применения центра оценки можно только после того, как на его основе были приняты и реализованы решения (см. табл. 3).
Таблица 3. Примеры решений по результатам центра оценки
Уровень 4. Цель бизнеса
Руководители, которые заказывают оценку сотрудников, обычно задают вопросы такого рода: «На кого я могу рассчитывать в будущем? Кому можно поручить ответственную работу? Кто из моих людей может делать…? Кого из подчиненных стоит продвигать?» и т. п.
Запрос бизнеса, на который дает ответ центр оценки: обеспечьте компанию сотрудниками, которые имеют достаточный уровень развития компетенций, чтобы хорошо выполнять свою работу. На этот запрос ответ дает не только центр оценки, но и ряд смежных процессов, поддерживаемых функцией управления персоналом: привлечение кандидатов, адаптация, удержание, обучение и развитие, управление эффективностью (Performance management).
Привлечение обеспечивает приток внешних или внутренних кандидатов. Оценка, в том числе с помощью центров оценки, позволяет выбрать подходящих кандидатов. Обучение и развитие, в том числе с помощью центров развития, направлены на изменение уровня развития компетенций сотрудников в соответствии с требованиями компании.
Таким образом, для того, чтобы измерить отдачу от центра оценки на этом уровне, нужно решить две задачи:
1. Оценить, как повлияли принятые на основе проведённого центра оценки решения и действия по развитию компетенций на достижение целей должностной позиции.
2. Определить, в какой мере на достигнутый результат повлияли именно эти решения и действия (а не другие, напр., сопутствующие HR-процессы или какие-либо иные обстоятельства).
Первая задача решается с помощью сравнения плановой результативности сотрудника на должности с фактической. Это можно делать с помощью принятой в компании системы постановки целей и контроля их достижения.
Вторая задача более сложная. В подходе Дж. Филлипса она названа изоляцией эффекта от оказанного воздействия (в данном случае, от принятых решений и реализации планов по развитию компетенций).
Наиболее применимы для изоляции эффектов центра оценки, особенно если речь идет о руководящих позициях, два метода:
♦ Экспертная оценка руководителя
♦ Сравнение с прогнозом
Экспертная оценка
Экспертная оценка руководителя и оценка самого сотрудника строится по следующему алгоритму:
1. Формирование списка факторов, влияющих на результат.
2. Оценка влияния каждого фактора.
3. Оценка уверенности эксперта в данных оценках.
Ниже приведен пример экспертной оценки и обработки ее результатов:
Прочитайте факторы, которые повлияли на выполнение плана продаж торговыми представителями, дополните список, если считаете нужным. Оцените, насколько повлиял каждый из факторов на выполнение плана продаж (см. табл. 4). Сумма всех процентов должна равняться 100 %.
Таблица 4. Пример расчета влияния факторов на бизнес результат
Оцените, насколько вы уверены в этом распределении: 60 %
Рассчитаем влияние решений на основе центра оценки для данного примера:
Влияние решения о назначение на должность = 15 %*60 % = 9 % Влияние реализации индивидуального плана развития = 5 %*60 % = 3 %
Суммарная доля эффекта центра оценки = 9 %+3 % = 11 %
Сравнение с прогнозом
На основе предыдущего опыта работы и собранной статистики продаж известно, что торговый представитель в течение первого года работы в должности реализует план продаж в среднем на 85 %. Это происходит из-за того, что первые 3 месяца он знакомится с ассортиментом и нарабатывает контакты с клиентами.
Через год после того, как по результатам центра оценки было принято решение о найме сотрудника, он выполнил план продаж на 97 %.
Суммарная доля эффекта центра оценки = 97 %-85 % = 12%
Уровень 5. Финансовая цель
Вариантов расчета финансовой отдачи от применения центров оценки существует множество, чаще всего, они основаны на имеющейся в компании статистике эффективности деятельности на должностной позиции. Например, в работе Кляйнмана приводится способ расчета, предложенный Кронбахом и Глезером (Cronbach&Gleser, 1965).
Формула для расчета экономической эффективности методов ассессмент-центра
U = NE * T * SDy * rxyzx – K * NB
U – увеличение прибыли благодаря проведению ассессмент-центра (например, в евро);
Ne – количество людей, нанятых и отобранных при помощи ассессмент– центра (т. е. положительно оцененных);
Т – продолжительность работы отобранных сотрудников в фирме (в годах);
SDy – стандартное отклонение критерия успешности, выраженное в денежных единицах, выражает существующие в организации различия между успешными и неуспешными менеджерами в прибыли, которую они приносят фирме (напр., в евро);
r – коэффициент критериальной валидности ассессмент-центра; zx – среднее стандартизированное значение тестового показателя для лиц, прошедших ассессмент-центр;
К – затраты на оценку претендента в ассессмент-центре;
NB – количество претендентов, участвующих в ассессмент-центре.
Оценка отдачи для бизнеса 39 от проведения ЦО
Величина дохода (в евро) от проведения ассессмент-центра положительно связана с количеством людей, нанятых в организацию, сроком пребывания этих людей в организации, большим разбросом достижений в профессии, величиной коэффициентов валидности, а также величиной производительности отобранных, на которую могут влиять предварительный отбор и введение жестких критических показателей тестов. Чтобы определить конечную прибыль, из показателя дохода необходимо вычесть затраты на разработку и проведение центра оценки (K * NB).
Очевидно, что далеко не везде есть статистика прибыли, приносимой сотрудником на должностной позиции. К сожалению, этот способ расчета не применим для абсолютного большинства компаний РФ, особенно если учесть скорость происходящих изменений в экономике и компаниях.
Предлагаемый нами подход, основанный на ROI методологии Дж. Филлипса, позволяет оценить отдачу от инвестиции более точно и обоснованно, и, что наиболее важно, он более применим на практике для компаний в РФ.
На предыдущем уровне оценки мы рассмотрели, как определить эффект от центра оценки на бизнес-показатели.
Затем эта доля эффекта используется для оценки в денежном выражении эффекта от принятых решений на основе центра оценки.
Прибыль от продаж, которые осуществил торговый представитель, = 1000000 р.
Вклад в прибыль от принятия решения о назначении сотрудника на должность = 1000000 р. * 11 % = 110000 р.
Для расчета ROI нужно сложить сумму вкладов от всех принятых решений по результатам конкретного центра оценки. Затем рассчитать все затраты на проведение центра оценки, включая затраты на организацию (аренда помещения, командировочные расходы и пр.).
Отдача от инвестиций в центр оценки:
ROI = 100 %*(вклад в прибыль-суммарные затраты)/суммарные затраты.
Допустим, в нашем примере было оценено 10 кандидатов, из них принято на должность торгового представителя четверо.
Таблица 5. Оценка вклада в прибыль от назначений на позицию по итогам ЦО
Суммарные затраты = 10 чел. *30000 р. = 300000 р.
ROI = 100 % *(453000-300000)/300000 = 51 %
Таким образом, отдача от инвестиции в центр оценки для отбора торговых представителей составила 51 %.
В большинстве случаев центр оценки проводится для руководящих должностей, для них оценить вклад в прибыль и долю влияния центра оценки может быть несколько сложнее. Но и отдача от верного решения о назначение на руководящую должность обычно выше, чем от решения о найме торгового представителя.