Основы экспертной оценки показателей качества. Критерии согласия.

Методы экспертных оценок — организационные, логические и математико-статистические процедуры, направленные на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выбора рациональных решений.

Экспертные оценки являются важным средством при проектировании автоматизированных систем управления. Особенно велика их роль при отсутствии возможности получения количественных оценок и решений иными путями, что типично для начальных этапов разработки автоматизированных систем управления. На этих этапах перед разработчиками возникают три группы проблем:

исследование объекта управления (выявление факторов, в наибольшей степени влияющих на показатели качества функционирования объекта, построение математической модели, описывающей функционирование объекта, и т. п.);

формирование требований к проектируемой системе (выбор показателей качества функционирования системы, функциональной структуры системы, способов ее реализации и т. д.);

планирование разработки системы (определение очередности разработки задач, выбор исполнителей и т. д.).

Часто наиболее экономичным (а иногда и единственно возможным) способом получения информации, необходимой для решения перечисленных выше задач, является специально организованный опрос специалистов (экспертов) с последующей обработкой сведений, содержащихся в высказанных экспертами мнениях и оценках.

Основные этапы методов экспертных оценок:

* формулирование задачи, подлежащей решению;

* формирование группы экспертов;

* выбор метода опроса;

* обработка результатов опроса.

Остановимся кратко на каждом из них.

Формулирование задачи, подлежащей решению. Получение экспертных оценок, как правило, является этапом решения конкретной задачи проектирования, на котором извлекается информация, необходимая для принятия решений при проектировании. Непосредственными целями экспертных оценок могут являться, например, следующие:

составление перечня показателей качества функционирования конкретной системы, перечня задач, подсистем, вариантов построения системы и т. п.;

определение коэффициентов важности показателей (задач, подсистем, вариантов и т. п.), включенных в перечень;

упорядочение показателей (задач, подсистем и т. п.) по важности (или в общем случае упорядочение объектов по степени выраженности определенного признака), эта процедура называется ранжированием показателей;

оценка количественных значений параметров моделей (например, интервалов времени совершения определенного события при планировании работ).

На основе полученной экспертной информации могут решаться такие задачи, как выбор показателей качества функционирования системы, определение очередности разработки задач и т. п.

Для сбора и обработки экспертных оценок обычно создается рабочая группа, в задачи которой входят формирование группы экспертов, выбор метода опроса, проведение опроса и обработка его результатов (ГОСТ 23554.0—79).

Формирование группы экспертов. Достоверность результатов экспертной оценки зависит от числа экспертов в группе, долевого состава различных специалистов, характеристик экспертов. При подборе экспертов необходимо учитывать их компетентность, заинтересованность в результатах исследования, деловитость, объективность (ГОСТ 23554.0—79). Существуют методы получения количественной оценки степени компетентности предполагаемых экспертов [7, 19, 35]. Эти методы основаны на специальных тестах, взаимооценках экспертов или их самооценках. По этим оценкам рассчитываются коэффициенты компетентности экспертов, которые могут быть использованы на этапе формирования экспертной группы и этапе обработки результатов опроса [35, 58].

Выбор метода опроса. Существующие методы опроса можно разделить на индивидуальные (анкетирование, интервьюирование) и групповые (метод комиссий, «мозговая атака»), очные (интервьюирование, метод комиссий) и заочные (анкетирование). Каждый из методов имеет преимущества и недостатки. Основной недостаток индивидуальных методов — отсутствие взаимодействия между экспертами, что приводит к плохой согласованности оценок. Групповые методы дают, как правило, хорошую согласованность, но могут приводить к смещению оценок из-за отсутствия анонимности, влияния лидера на окончательные решения и по другим причинам. Хорошие результаты получаются при использовании индивидуального опроса в виде анкетирования, дающего возможность анонимного взаимодействия экспертов при выработке решений. Такое взаимодействие обеспечивается применением метода ДЕЛЬФЫ, который предусматривает проведение нескольких туров анкетирования (обычно 2—4 тура) и включает в себя ознакомление экспертов с аргументацией в пользу крайних мнений (например, при оценке коэффициентов важности — это мнения экспертов, чьи оценки ниже и выше оценок 75% специалистов, входящих в экспертную группу [7, 19]).

Обработка результатов опроса. Способ обработки зависит от метода экспертного оценивания. Различают следующие методы экспертных оценок: ранжирование, парные сравнения, непосредственное оценивание. Обработку результатов опроса проводят в два этапа: обобщение информации, полученной от экспертов для составления коллективного мнения: проверка согласованности мнений экспертов.

Ранжирование— расположение объектов (показателей, подсистем, задач) в порядке убывания или возрастания какого-либо свойства, присущего этим объектам (например, расположение подсистем АСУ в порядке убывания их значения для повышения качества функционирования предприятия и т. п.).

№39 Последовательные планы выборочного контроля по количественному признаку (ГОСТ Р 50779.76-99)

Определение параметров для последовательного плана выборочного контроля

В настоящем приложении приведены процедуры, позволяющие определить значения параметров h_A, h_R и g для последовательного плана выборочного контроля с заданными риском поставщика и риском потребителя. Эти процедуры применяют также для определения параметров по комбинациям уровней качества для риска поставщика и риска потребителя, не приведенных в таблице 1 настоящего стандарта.

Процедуры данного приложения применяют только для одностороннего допуска.

В случае задания двусторонних пределов поля допуска, данные процедуры должны применяться для каждого предела в отдельности.