Метод экспертных оценок

Сущность метода в отборе оценочных критериев ИТ. Способы оценки ИТ предполагают наличие разработанной методологии:

а) шаги по оценке ИТ;

б) критерии оценки ИТ;

в) способы сравнения оценочных параметров ИТ;

г) способ оценки результатов сравнения ИТ.

Введем понятие «характеристические признаки ИТ».

Характеристические признаки это совокупность критериев качества ИТ и аттестационных характеристик, определяющих класс, состав обеспечения, конструктивные средства, реализующие ИТ, и временно–стоимостные характеристики. Т.о. характеристический признак это свойство системы данного класса, присущее ей и только ей. Т.o. выполняется оценка внутри класса систем, т.е. внутри класса ИТ.

Критерии качества ИТ:

1) сложность;

2) надежность;

3) универсальность;

4) информативность;

5) иерархичность.

При оценке ИТ по каждому одиночному критерию трудно получить объективную оценку, так как все критерии взаимосвязаны. Поэтому требуется давать относительную оценку важности каждого критерия. Для оценки важности критериев качества применяется экспертный подход. При этом каждому критерию присваивается определенный вес в зависимости от его значимости при оценке ИТ. Оценки, данные всеми экспертами каждому i–му критерию, усредняются и выводится средний вес для каждого i–го критерия на множестве оценок всех экспертов.

Технология экспертного подхода оценки ИТ:

- выбрать систему оценочных характеристик ИТ;

- расставить по заранее определенной бальной или числовой системе оценки характеристикам ИТ;

- усреднить оценки каждой i–ой характеристики, выставленные участниками (экспертами);

- полученный вектор весов вычислить. Это будет общий вес ИТ или интегрированный показатель качества ИТ как системы.

Таким образом, ИТ можно будет сравнивать между собой по полученным общим весам, а не только по оценкам отдельных характеристик.

Пусть существует набор характеристик (параметров), с помощью которых (зная их метрическое значение) можно определить рейтинг системы на множестве однотипных (сходных) систем, (в нашем случае ИТ):

Х= {х_i}^m₁ – множество характеристических признаков (параметров);

S= {S_j}ⁿ₁ – множество систем, ИТ.

Требуется определить вес W _j системы å _j , то есть вес j–ой системы в рамках данного класса, исходя из значений параметров, определяющих совокупность свойств системы.

Пример1: дадим оценку состояния конкретного человека Х в момент времени t_i на множестве других людей, оценивая значения параметров х1¸х8.

X = <здоровье, жилище, работа, общественное положение, материальное положение, успех у противоположного пола, семейное положение, хобби>=<x1,x2,x3,x4,x5,x6, x7, x8>

Определим W – вес, или рейтинг, конкретной системы на множестве систем в рамках данного класса, т.е. конкретного человека.

Для этого указываются веса w_i от 1 до 10 для x_i; далее, согласно весам w_i упорядочивается вектор Х по убыванию w_i. Задаются значения числовых характеристик x_i – от 1 до 5 (пятибалльная система) и вычисляется вес «система – “человек”» на t_i момент по формуле:

W=( x_iw_i)/180

Алгоритм определения W для человека в t_i момент времени:

1. Заполнить таблицу 1.

Таблица 1

здесь:

х_i – числовое значение параметра на момент времени t_i по по пятибалльной системе (графа 4);

w_i – значимость (вес) параметра х_i (графа 3).

2. Эксперт упорядочивает параметры х_i по их значимости w_i для системы–“человек”.

3. Оценка параметра х_i в момент времени t_i от 1 до 5

4. Вычисление по формуле W= ( х_iw_i )/180

5. Определение “состояния” системы по технологии:

Если W> 0.9 – Отличное;

Если W> 0.7 – Хорошее;

Если W> 0.5 – Посредственное;

Если W< 0.5 – Плохое.

Пример2: подход к оценке важности очередных работ (планирование этапов работ).

Дано: параметры х_i системы – “планирование”:

х = {х₁,х₂,х₃}– характеристические признаки системы, где:

х₁ – важность, по четырехбалльной системе: {1,2,3,4}, (B);

х₂ – срочность, по трехбалльной системе: {1,2,3}, (C);

х₃ – плановость {0,1,2}, (П)

Кроме x₃ задается x₄ = {Dt_j} – интервалы времени плановых работ.

Таким образом дано: x = {B, C, П}, x₄ = {Dt_j} и {r_j} – множество работ.

Требуется: упорядочить по интервалу времени Dtj характеристические признаки х_i и получить на выходе упорядоченный план работ, т.е. <rj>.

Для каждого интервала времени Dt_j и работы r_j рассчитывается ее приоритет по формуле:

W(r_j) = В х С + П , т.е.

W(rj) = x1 x2 + x3

Алгоритм

1. Заполняется таблица 2 вида:

Таблица 2

Здесь:

В – Важность, С – Срочность, П – Плановость;

<r_j> – план работ, упорядоченный на интервале времени (t_j).

2. Заполнить графы 2 и 3; где 3 – наименование нупорядоченных работ, 2 – время;

3. Для каждой работы проставить значения характеристик В,С,П по балльной соответствующей системе;

4. Вычислить W(r_j) для каждой j–ой работы (графа 3 и 8);

5. Упорядочить полученный вектор числовых значений W(r_j) по убыванию на множестве {(Dt_j)} интервалов времени, соответственно упорядочивается множество работ {t_j} (графа 3) и результат – план работ <r_j> (графа 7).

Такие методы оценки субъективны, так как все критерии качества взаимосвязаны и задаются на уровне одного эксперта.

Следовательно, результат оценки значимости каждой работы при планировании субъективен. Поэтому для того, чтобы абстрагироваться от влияния субъективных факторов в оценке важности работ, необходимо формализовать экспертный подход. Известны 3 метода наиболее простых по применимости и понятных:

1. Метод оценки относительной важности системы (метод численных оценок);

2. Метод оценки относительной важности системы (балльный метод);

3. Метод Черчмена–Акофа.