Взаимооценка экспертов (коллективная взаимная оценка)

Взаимная оценка представляет собой среднее значение оценки эксперта из оценок, назначенных всеми другими экспертами. Здесь может быть два пути.

Первый путь таков, когда каждый эксперт назначает количественную оценку своему коллеге. Затем определяется средняя оценка по каждому эксперту.

Такой подход основан на обстоятельстве того, что существует непосредственная связь между компетенцией специалиста и усредненной оценкой, которую он получает от своих коллег по работе. Метод оправдан при не большом количестве экспертов (n < 15 человек) или, если в рассматриваемом коллективе не существует групп, которые специально предусматривают искусственное формирование завышенных приоритетов одних и занижение других членов этого коллектива.

Второй путь, при большом количестве экспертов (n ³ 15), предусматривает следующие процедуры:

1. Каждый эксперт формирует всех экспертов, допустим в 3 группы, и назначает им уровни квалификации: выше средней, средней и ниже средней.

2. Затем эксперт ранжирует экспертов каждой подгруппы (от 1 до m), где m - число экспертов в подгруппе, значение которого должно быть не более 50% от общего состава группы.

3. Каждому эксперту присваивается оценка с учетом назначенного диапазона изменения оценок в рассматриваемой подгруппе (в рамках 1 .10, с точностью до 1,0 или 0,5 балла).

4. На основе полученных оценок формируется матрица и определяется средняя оценка по каждому эксперту.

(2.2)

где средняя взаимная оценка i-го эксперта;

- оценка, представленная i-му эксперту j-ым;

n - число экспертов, оценивающих i-го эксперта. Если какой-то эксперт плохо знает кого-то из своих коллег, то он может сделать прочерк, поэтому считают, что в любом случае при экспертизе должно быть n ³ 0,5 n.

Расчеты выполняют в табличной и матричной форме. Ниже приведен пример заполнения анкеты и определения взаимной оценки одним из экспертов.

Таблица 2.1.

Взаимная оценка качества условной экспертной комиссии в количестве 8 человек.