Методы получения качественных экспертных оценок

Иногда специфика объектов экспертного оценивания тако­ва, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную инфор­мацию.

В этих случаях нередко существенно более оправданным является использование методов качественной оценки объек­тов экспертизы.

Бывают также ситуации, когда характер экспертной инфор­мации таков, что количественные оценки в привычном смыс­ле практически невозможны. Примеры таких ситуаций приво­дились выше.

Поэтому далее мы приведем описание методов, которые могут быть использованы именно для получения качественных оценок объектов или показателей, их характеризующих.

1. Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и принятым к использованию клас­сам, категориям, уровням, сортам и т. д. (далее — классы).

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объ­екты, заранее не определены. Может быть заранее не опреде­лено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь по­сле завершения процедуры классификации.

Если эксперту необходимо отнести каждый из альтернатив­ных вариантов к одному из заранее установленных классов, то наиболее распространена процедура последовательного предъ­явления эксперту альтернативных вариантов.

В соответствии с имеющейся у него информацией об оце­ниваемом объекте и используемой им оценочной системе экс­перт определяет, к какому из классов оцениваемый объект принадлежит.

После завершения процедуры последовательного предъяв­ления оцениваемых альтернативных вариантов эксперту может быть предъявлен результат его оценки в виде распределения всех оцененных им альтернативных вариантов по классам.

На этом этапе эксперту, как правило, предоставляется воз­можность, исходя из общего результата классификации, внести коррективы в данные им оценки.

Если проводится коллективная экспертиза, то результаты экспертной классификации, указанные каждым из экспертов, обрабатываются с целью получения результирующей коллективной экспертной оценки.

В зависимости от целей экспертизы может возникнуть не­обходимость отнесения альтернативных вариантов к упорядоченным классам. Скажем, необходимо отнести оцениваемые объекты к соответствующим категориям, причем так, чтобы более предпочти­тельные объекты были отнесены к более предпочтительным категориям. Естественно, это отражается на процедуре экспертной классификации. Но главное, чтобы эксперт однозначно пони­мал поставленную перед ним задачу.

Если число классов, на которое должны быть разбиты аль­тернативные варианты, заранее не оговаривается, то целесооб­разно использование следующей процедуры.

Эксперту предъявляется пара альтернативных вариантов и предлагается определить, относятся ли они к одному классу или к разным.

После этого эксперту последовательно предлагаются оце­ниваемые альтернативные варианты и выясняется, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного альтерна­тивного варианта образовать новый класс.

Процедура завершается после того, как эксперту будут предъявлены все альтернативные варианты.

Метод парных сравнении

Метод парных сравнений является одним из наиболее распространенных методов оценки сравнительной предпочти­тельности альтернативных вариантов.

При методе парных сравнений эксперту последовательно предлагаются пары альтернативных вариантов, из которых он должен указать более предпочтительный.

Если эксперт относительно какой-либо пары объектов за­трудняется это сделать, он вправе посчитать сравниваемые альтернативные варианты равноценными либо несравнимыми. После последовательного предъявления эксперту всех пар альтернативных вариантов определяется их сравнительная предпочтительность по оценкам данного эксперта.

В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые аль­тернативные варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству.

Еслиэксперт признал некоторые альтернативные варианты несопоставимыми, то в результате будет получено лишь их частичное упорядочение.

Впрактике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок эксперта. В этих случаях необходимо проведение специального анализа результатов экспертизы.

Отметим также, что при достаточно большом числе оцени­ваемых альтернативных вариантов процедура парного сравнения всех возможных их пар становится трудоемкой для экс­перта. В этом случае целесообразно применение соответству­ющих модификаций метода парных сравнений.

Например, если предположить непротиворечивость оценок эксперта, то практически достаточно однократного предъявле­ния каждого альтернативного варианта в паре с каким-либо другим.

3. Ранжирование альтернативных вариантов

Достаточно распространенной процедурой является также непосредственное ранжирование экспертом по предпочтитель­ности оцениваемых альтернативных вариантов.

В этом методе эксперту предъявляются отобранные для сравнительнойоценки альтернативные варианты, но жела­тельно не более 20—30 для их упорядочения по предпочти­тельности.

Если альтернативных вариантов больше, то целесообразно использование соответствующих модификаций метода ранжи­рования.

Например, ранжированию альтернативных вариантов мо­жет предшествовать их разбиение на упорядоченные по пред­почтению классы с помощью метода экспертной классифика­ции.

Ранжирование сравниваемых объектов эксперт может осу­ществлять различными способами. Приведем два из них.

В соответствии с первым эксперту предъявляется весь набор альтернативных вариантов, и он указывает среди них наи­более предпочтительный. Затем эксперт указывает наиболее предпочтительный альтернативный вариант среди оставшихся и т.д., пока все оцениваемые альтернативные варианты не будутим проранжированы.

При втором способе эксперту первоначально предъявляют­ся два альтернативных варианта или больше, которые ему предлагается упорядочить по предпочтениям.

Если эксперту первоначально предлагается несколько аль­тернативных вариантов для упорядочения по предпочтениям то он на этом этапе может воспользоваться первым способом ранжирования.

После проведения первоначального ранжирования экспер­ту последовательно предлагаются новые, еще не оцененные им альтернативные варианты. Эксперт должен определить место вновь предъявленного альтернативного варианта среди проранжированных ранее.

Процедура завершается после предъявления и оценки по­следнего альтернативного варианта.

Метод векторов предпочтений

Этот метод чаше используется при необходимости получе­ния коллективного экспертного ранжирования. Эксперту предъявляется весь набор оцениваемых альтернативных вари­антов и предлагается для каждого альтернативного варианта указать, сколько, по его мнению, других альтернативных вари­антов превосходит данный.

Эта информация представляется в виде вектора, первая компонента которого — число альтернативных вариантов, ко­торые превосходят первый, вторая компонента — число аль­тернативных вариантов, которые превосходят второй, и т. д.

Если оценивается 10 альтернативных вариантов, то вектор предпочтений может выглядеть так: (3. 7. 0. 4, 8, 6, 1, 9, 5, 2).

Если в векторе предпочтений каждое число встречается ровно один раз, то экспертом указано строгое ранжирование альтернативных вариантов по предпочтениям.

В противном случае полученный результат не является строгим ранжированием и отражает затруднения эксперта при оценке сравнительной предпочтительности отдельных альтер­нативных вариантов.

Метод векторов предпочтений отличается сравнительной нетрудоемкостью и может использоваться с учетом характера экспертизы.

Этот метод может быть применен и в случае, когда у экс­перта имеются затруднения при использовании других мето­дов оценки сравнительной предпочтительности альтернативных вариантов.

При коллективной экспертизе, проводимой с использованием метода векторов предпочтений, целесообразно рассчи­тать результирующее коллективное ранжирование, отражаю­щее коллективную точку зрения всех экспертов [3].