Я уже отмечал, что достоверность, придаваемая оценкам средств с помощью моделей, должна зависеть от того, насколько хорошо эти модели отражают реальность. Значит, сами модели по возможности необходимо оценивать до того, как они будут использованы для оценки средств. Наиболее эффективны для этой цели статистические методы. Следовательно, плановики должны достаточно хорошо знать такие методы. Если это условие не выполняется, не может быть уверенности в надежности моделей, используемых в оценке средств.

Недостатки, которые могут быть свойственны моделям, в точности такие же, как и для решений. Это неудивительно, поскольку модель, используемая для оценки средств, — это модель решения. Следует напомнить, что причинами подобных недостатков могут быть:

1) упущение релевантных и/или включение нерелевантных переменных;

2) неудачный контроль за подконтрольной переменной;

3) упущение релевантных и/или включение нерелевантных ограничений;

4) некорректная формулировка связи между переменными и возможными результатами.

Построение модели — это обобщение процесса формулирования альтернативных средств. (Следовательно, все, что говорилось о творчестве в связи с формулированием средств, в равной степени применимо и к построению моделей решения.) Средства определяют контролируемые переменные модели. Модель также отражает среду, в которой эти средства будут использоваться, и указывает, как изменения в любой переменной — контролируемой или неконтролируемой — влияют на результат.

Модели могут быть испытаны либо на ретроспективу (по отношению к прошлым характеристикам), либо на перспективу (по отношению к будущим характеристикам). Испытанием на ретроспективу достигается очевидная экономия времени. При таком испытании необходимо найти или восстановить значения контролируемых, неконтролируемых, а также результирующих переменных, которые вырабатываются моделью, и повторять этот процесс для каждой выборки периодов, на которых должна быть испытана модель. Затем значения контролируемых и неконтролируемых переменных вводятся в модель и вырабатываются оценки результирующей переменной. Сравнение в общем случае принимает форму проверки гипотез, в которых средняя разница между характеристиками, выдаваемыми моделью, и действительными должна быть равна нулю. Кроме того, оценивается также достоверность оценок — т. е. их дисперсия около действительной характеристики. Хорошая модель вырабатывает несмещенные и достоверные оценки результата: средняя ошибка равна нулю и ошибки распределены около действительной характеристики в узком диапазоне.

Восстановить прошлые значения релевантных переменных не всегда просто. Например, может потребоваться узнать изменения как удовлетворенного, так и неудовлетворенного спроса на товар за какой-то период, а учет при этом показывает лишь продажи или отгрузки (удовлетворенный спрос), не регистрируя суммы неудовлетворенного спроса. Как правило, затруднительно или невозможно определить, сколько еще продукции могло бы быть продано если бы не был исчерпан ее запас.

При испытании модели на ретроспективу чрезвычайно важно, чтобы исследуемые периоды давали такое же разнообразие ситуаций, которое вероятно в будущем. Чем больше вероятность того, что будущее отличается от прошлого, тем менее показательным является испытание на ретроспективу. Испытание на перспективу использует ту же самую логику, что и на ретроспективу, но значения релевантных переменных рассматриваются по отношению к будущим периодам. В испытаниях и того и другого типа чрезвычайно важно, чтобы оценки действительных результатов, с которыми проводится сопоставление, были совершенно независимы от модели, в противном случае испытание бессмысленно.

В ряде случаев нельзя испытать модель ни на ретроспективу, ни на перспективу. Тогда остается возможность оценить ее частично с помощью анализа чувствительности.

Такой анализ состоит в том, чтобы определить, какие ошибки в оценках значений параметров модели приведут к тому, что средство, ранее рекомендованное моделью как наилучшее, окажется менее удовлетворительным, чем какое-либо из альтернативных ему. К сожалению, в анализ чувствительности результата можно включить лишь небольшое число переменных. Если величина ошибки, указанная анализом чувствительности, представляется небольшой, то модель с известной уверенностью может быть использована для оценки средств, в противном случае ее нельзя использовать.

Очень важно, чтобы возможность проверки модели учитывалась при ее построении. Модель, которую нельзя испытать (а многие из них именно таковы), — это не более чем догадка. Ее использование — акт чистой веры, не имеющий ничего общего с наукой.

Управляющие и плановики, которых обслуживают ученые — специалисты по управлению, часто не понимают технических аспектов моделей, построенных этими учеными, или оценочных процедур, применяемых к моделям. Однако у первых всегда есть возможность уяснить логику модели и оценочных процедур, если они настаивают, чтобы вторые обеспечили им такое понимание. Ученый, который не может раскрыть эту логику на обычном языке, сам не понимает ее.

Управляющие обычно столь же чувствительны к качеству выполняемых для них исследований, как ученые — к качеству процесса принятия решений, используемого теми, кто управляет наукой. Такие ученые не должны впадать в ошибку, предполагая, что управляющие не могут отличить хорошее исследование от плохого, поскольку сами не являются исследователями. С таким же успехом можно утверждать, что тот, кто не кладет яиц, не может отличить хорошее яйцо от плохого.