Распространен довольно примитивный подход т. н. "квалиметрии", согласно
которому объект всегда можно оценить одним числом. Оценивать человека одним
числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые
рьяные квалиметристы рассматривают книгу или картину как эквивалент числа -
ее "рыночной стоимости".

Каждый объект можно оценивать по многим показателям качества. Например,
легковой автомобиль можно оценивать по таким показателям:

расход бензина на 100 км пути (в среднем);

надежность (средняя стоимость ремонта за год);

быстрота набора скорости 100 км/час после начала движения; максимальная
достигаемая скорость;

длительность сохранения в салоне положительной температуры при низкой
наружной температуре ( - 50 градусов по Цельсию) и выключенном двигателе;

вес, и т.д.

Можно ли свести оценки по этим показателям вместе? Определяющей является
конкретная ситуация, для которой выбирается автомашина. Максимально
достигаемая скорость важна для гонщика, но, как нам представляется, не
имеет большого практического значения для водителя рядовой частной машины.
Для такого водителя важнее расход бензина и надежность. Для машин различных
служб государственного управления надежность важнее, чем для частника, а
расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция
салона, а для южных районов - нет.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами.
Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного
показателя качества - например, в виде линейной функции от перечисленных
переменных - не могут дать объективных выводов. Альтернативой единственному
обобщенному показателю является математический аппарат типа
многокритериальной оптимизации - множества Парето и т.д. (см., например,
[11]).

В некоторых случаях все-таки можно глобально сравнить объекты - например, с
помощью тех же экспертов получить упорядочение рассматриваемых объектов -
изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных
показателях так, чтобы упорядочение с помощью линейной функции возможно
точнее соответствовало глобальному упорядочению. Наоборот, в подобных
случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов.
Эта простая идея до сих пор не стала очевидной для отдельных составителей
методик по проведению экспертных опросов и анализу их результатов. Они
упорно стараются заставить экспертов делать то, что они выполнить не в
состоянии - указывать веса, с которыми отдельные показатели качества должны
входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить
объекты или проекты в целом, но не могут вычленить вклад отдельных
факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти
ответы не несут в себе надежной информации о реальности...