Проблемы экспертных оценок

Риски оценки

Виды рисков подразделяются по следующим этапам или шагам алгоритма оценки.

Первый и второй этапы. Мотивация проведения оценки и определение целей и задач оценки:

– потенциальные заказчики могут ничего не знать об оценке и не видеть от нее пользы для себя;

– предполагаемые заказчики хотят работать с людьми, имеющими опыт проведения оценки, а данный опыт можно приобрести, только проводя оценку: образуется «замкнутый круг» для оценщика и приобретения опыта;

– заказчик хочет проводить оценку, но не знает точно, для чего она ему нужна;

– оценка заказывается для «третьей стороны»;

– мотивы проведения оценки – политические, но скрытые;

– заказчик оценки и руководство оцениваемой программы – разные структуры, при этом между ними есть конфликт интересов;

– заказчик устанавливает ограничения, которые делают невозможным качественное выполнение задания;

– задание оценки не соответствует ресурсным возможностям проекта;

– задание содержит вопросы, на которые невозможно получить ответ в определенных заказчиком рамках (например, объем необходимых работ не соответствует выделенным ресурсам – временным, финансовым, административным).

Третий этап. Планирование оценки:

– оценщика включают в уже сформированную команду. В результате ему приходится делать то, под чем он «не подписывался», но контракт уже заключен;

– бывает трудно заранее сказать, хватит ли источников информации для ответа на вопросы задания;

– заказчик настаивает на конкретной структуре оценки, не соответствующей заданию, необоснованно вмешивается в процесс планирования.

Четвертый этап. Сбор данных – начало оценочных работ:

– возникают организационные проблемы (невозможно организовать встречи, нет места для проведения интервью и фокус-групп, у специалистов администрации нет времени, графики встреч срываются);

– оцениваемая программа плохо написана: текст отличается небрежностью, нет четкой структуры, отсутствуют логика и причинно-следственная связь между элементами программы, не предусмотрены мониторинг и оценка программы;

– система реализации программы при отсутствии системы контроля выполнения отличается сложностью и запутанностью;

– источники информации недоступны;

– выбираются неправильные источники информации (теряется время на беседы с неинформированными людьми, при этом не замечаются действительно информированные);

– каждый последующий источник информации не добавляет новой информации к уже имеющейся;

– заказчик желает жестко контролировать процесс сбора данных;

– присутствует негативный эмоциональный фон: высокая социальная напряженность, конфликтная ситуация между администрацией и другими структурами, а также внутри администрации, проведение оценки в преддверии выборов;

– оценщик негативно воспринимается местными специалистами;

– оценщик предвзято (негативно или позитивно) относится к программе, заказчику, объекту оценки);

– отсутствует информация. Данные отличаются низкой степенью достоверности. Данные из разных источников сильно различаются;

– информации слишком много, приходится выбирать между источниками информации.

Пятый этап. Анализ полученных данных:

– данные, факты, мнения резко противоречат друг другу;

– отдельные данные не вписываются в общую картину;

– недостаток данных обнаруживается, когда этап их сбора уже завершился;

– низкая квалификация оценщика;

– имеются важные, но не проверенные данные, на которые нельзя ссылаться;

– «внутренние» специалисты являются заинтересованной стороной;

– разные оценщики представляют разноформатные и противоречивые данные;

– анализ данных проводит только один оценщик из всех, принимающих участие в проекте.

Шестой этап. Подготовка отчета:

– мало времени на подготовку отчета;

– необходимо соблюдать конфиденциальность, а также иметь в виду, о чем и как можно писать отчет и как он повлияет в будущем на все заинтересованные стороны;

– неправильно выбран «жанр» отчета, например обилие критики при отсутствии рекомендаций;

– отчет подготавливается параллельно со сбором и анализом данных;

– заказчик активно вмешивается в процесс подготовки отчета;

– оценщик не знает, кто конкретно будет читать отчет.

Седьмой этап. Использование результатов оценки:

– отчет не доходит до клиента или доходит с опозданием;

– заказчик не согласен с выводами оценки;

– результаты оценки в значительной степени отличаются от тех, которые ожидал получить заказчик;

– заказчик задает дополнительные, вне рамок задания, вопросы;

– заказчик пренебрегает результатами оценки при принятии управленческих решений;

– нет обратной связи с заказчиком оценки;

– результаты оценки сознательно/несознательно неправильно интерпретируются заказчиком.

Этика проведения оценки

Результаты оценки могут существенным образом повлиять на инсайдерские отношения, спровоцировать изменения в ПиП, изменить финансирование, информационные потоки. Поэтому оценщику всегда необходимо руководствоваться определенным этическим кодексом при проведении оценочных работ и представлении итогов по оценке. Это особенно актуально при проведении внешней оценки, когда группа по оценке формируется из специалистов-аутсайдеров. В этом случае оценщик оценивает не только деятельность по программе, но и качество управления в целом, беря на себя при этом большую, в том числе политическую, ответственность.

Приступая к работе, профессиональный оценщик обязуется соблюдать определенные правила взаимодействия с заказчиком, исполнителями ПиП и всеми другими заинтересованными сторонами, даже если эти правила не оговорены в контракте:

1. Основой оценки программ может быть только точная и достоверная информация.

3. Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки.

4. Специалисты по оценке программ уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности.

5. Специалисты по оценке имеют профессиональные обязанности, определяющиеся общественными интересами и общественным благом.

Типичные ошибки оценщика

Обобщение опыта оценочных практик в различных сферах управления позволяет выделить 6 типичных ошибок оценщика.

1. Оценщик считает себя главным лицом, принимающим решения, и, следовательно, основным пользователем информации.

2. В качестве целевой аудитории следует выбирать не разнородные и пассивные группы, а конкретных лиц, которые чувствуют ответственность за результаты оценки и ее применение.

3. Оценщик ориентируется на решения, а не на ответственных за принятие решения лиц. Другими словами, его внимание концентрируется на том, как исправить имеющиеся недостатки, а не на том, кто реально может изменить действующий порядок осуществления ПиП.

4. В качестве основного заинтересованного лица при проведении оценки рассматривается финансирующая сторона. Это не всегда так, поскольку заинтересованной стороной может быть тот, кто отвечает за реализацию проекта.

5. Пользователь результатов оценки определяется только после того, как результаты получены. Если оценщик с самого начала не контактирует с руководителями ПиП, они могут отрицательно отнестись ко всему проекту оценки.

6. Оценщик занимает позицию невмешательства, отказываясь выступать посредником между различными заинтересованными сторонами для выработки согласованного списка вопросов оценки.

В методических рекомендациях Российского общества оценщиков (РОО) выделены ошибки, которые наиболее часто встречаются в отчетах об оценке. Обратим внимание на так называемые «общие методологические ошибки»:

– отсутствие аргументированного обоснования отказа от применения неиспользованных подходов к оценке;

– несоответствие состава оцениваемого объекта и/или оценочных прав на него содержанию договора на оценку;

– несоответствие вида определяемой в отчете стоимости цели оценки и/или виду стоимости, предусмотренному действующим законодательством;

– в отчете не находит отражения результат, полученный при применении хотя бы одного из подходов, используемых в процессе оценки;

– описание объекта оценки не позволяет пользователю отчета составить представление о количественных и качественных характеристиках объекта;

– имеются формальные ошибки (арифметического счета, несовпадение цифр и прописей стоимостных показателей, различного рода несоответствия) и др.

Кроме общих ошибок могут быть типичные ошибки при оценке в конкретных сферах управленческой деятельности. Так, к типичным ошибкам оценки бизнеса относятся:

– отсутствие анализа отрасли и позиционирование предприятия на рынке;

– некачественный анализ финансового состояния предприятия или его отсутствие;

– отказ от выбора компаний-аналогов и их описания для использования в предполагаемых расчетах;

– несоответствие ставки дисконтирования выбранной модели денежного потока (для собственного или всего инвестированного капитала);

– отсутствие необходимых скидок при оценке миноритарных пакетов, когда речь идет об акционерных обществах;

– рассогласование подсчетов итоговой стоимости, полученных в рамках различных подходов, для пакетов акций с разной степенью контроля;

– отсутствие корректировки величины избыточных активов при их наличии.

Оценка и мониторинг: различия и взаимосвязь

Мониторинг – это процесс текущего измерения и учета важнейших показателей деятельности в реализации ПиП и их результатов. Он дает информацию о ходе реализации ПиП.

Мониторинг и оценка являются сопутствующими, но не одновременными процедурами. Проведение мониторинга предваряет проведение оценки и служит основанием для нее.

С аналитической точки зрения мониторинг намного проще, чем оценка, так как основан на имеющихся текущих, количественных данных, регулярно получаемых по ходу выполнения программы. Оценка же предполагает более глубокий, качественный анализ информации о ПиП, основанный на мнении экспертов.

Различия между мониторингом и оценкой:

Внешняя и внутренняя оценка: преимущества и недостатки

Внутренней оценкой (или самооценкой) принято называть те проекты, в которых заказчик оценки берет на себя роль оценщика, оценивает результаты своих проектов собственными силами. Соответственно внешней оценкой называются проекты, когда руководители программы (проекта) приглашают для проведения оценки «внешние», сторонние и независимые структуры. Выбор того или другого варианта определяется каждый раз индивидуально, в зависимости от задания оценки, характера оцениваемого объекта, кадровых и финансовых ресурсов.

Оба вида оценки имеют преимущества и недостатки, которые необходимо учитывать при ее планировании:

Регулярные публичные индексы (экспертные оценки) и их применение в менеджменте (по направлению)

Наиболее устоявшимися и получившими широкое распространение в управленческой деятельности стали экспертные оценки в сфере финансового менеджмента. Современная финансовая сфера и успешный финансовый менеджмент немыслимы вне мира оценок и сравнений, представляющих собой индексы, рейтинги и «барометры» («плюс» огромный комплекс частных методик, моделей, расчетов и прочего, используемых публичными экспертными практиками). Приоритетное развитие оценочных практик в финансовой сфере связано, как минимум, с двумя причинами. Первая из них заключается в том, что финансы являются производными инструментами реальной экономики и могут быть использованы как индикаторы для анализа происходящих в ней событий. Вторая причина связана с «виртуализацией» самих финансовых инструментов, которые предоставляют возможность «зарабатывать», и, точнее, перераспределять с помощью управления финансами реальные денежные потоки таким образом, что это дает высокие доходы владельцам финансовых инструментов, до поры до времени, не оказывая влияния на реальный сектор. Таким образом, два свойства финансов – способность давать информацию о том, что происходит в реальном секторе, и возможность зарабатывать на спекуляции финансовыми инструментами – вызвали общественный спрос на сами оценки ситуации в финансовой сфере и привлекали «лучшие умы» из сфер экономики, математики и статистики, что способствовало развитию практики использования экспертных оценок в финансовом менеджменте более значительно, чем где-либо еще.

На сегодняшний день можно выделить целый ряд оправдавших себя экспертных оценочных практик в области финансовой деятельности, которые, во-первых, получили общественное признание и стали публичными, во-вторых, их влияние вышло за границы собственно финансовой сферы и имеет политическое значение. Речь идет прежде всего о мировых финансовых агентствах Standard & Poor’s, Moody’s Investor Service, Fitch IBCA, а также Bloomberg и других, которые присваивают рейтинги не только финансовым инструментам, используемым в той или иной стране, т. е. ценным бумагам, банкам, но и целым государствам. Существует даже так называемый «суверенный кредитный рейтинг» страны.

Успешные экспертные практики финансового мира стали распространяться на другие сферы управления, особенно с высокими денежными затратами, которые должны нести инвесторы в условиях неопределенности, где требуется принятие компетентных решений. Это такие сферы, как политика, туризм, образование, а также расширяющиеся сферы государственного влияния в экономике – поддержка малого бизнеса, инновационное развитие и НИОКР и пр.

Регулярные публичные рейтинги (экспертные оценки) и их применение в менеджменте (по направлению)

1) Кредитный рейтинг мировых финансовых агентств.

Известным в мировой практике рейтингом следует считать официальное заключение об оценке деятельности государства, банка, компании или иной организации, выданное специальным агентством по рейтингу. Кредитный рейтинг есть косвенная характеристика вероятности того, что инвестору своевременно и полностью будут уплачены проценты и возвращена сумма вложенных средств. Рейтинг – это характеристика риска. Следовательно, главная цель официальных рейтингов – представить информацию инвесторам. Инвесторы, ориентируясь на рейтинги, могут строить свою инвестиционную стратегию, ограничивая инвестиции рейтингом определенного уровня.

2) Суверенный рейтинг страны. Суверенные рейтинги – это особый вид кредитных рейтингов, которые отражают мнение рейтинговой службы относительно будущей способности и готовности суверенных правительств своевременно и в полном объеме выполнять свои долговые обязательства.

3) Дистанционный рейтинг стратегичности. Рейтинг стратегичности (РС), или стратегический профиль компании формируется на базе британско-германо-российской метамодели стратегического управления. Публикуемые базовый и отраслевые рейтинги стратегичности «50–100 наиболее стратегичных компаний» опираются в основном на официальную и открытую информацию о деятельности фирм (данные федеральных и региональных органов власти, корпоративных сайтов, СМИ, российских и международных рейтинговых агентств).

4) Внутренние рейтинги корпораций. Методика рейтингов применяется и для менее глобальных практик, чем мировые и страновые. Так, например, в рамках отдельной корпорации может применяться рейтинг для оценки и сопоставления заявок на участие в конкурсах.