Распознанный текст

Г.Б. Клейнер С.А. Смоляк

Saticrmoc

Приниипы и MeTOObI построения

nomen (1) К.А»

РОССИЙСКАЯ АКАДЕМИЯ НАУК ЦЕНТРАЛЬНЫЙ ЭКОНОМИКО-МАТЕМАТИЧЕСКИЙ ИНСТИТУТ

Г.Б. Клейнер С. А. Смоляк

Принципы и методы построения

ae

MOCKBA «HAYKA» 2900

УДК 519.2 ББК 22.172 К 48

Издание осуществлено при финансовой поддержке

Российского гуманитарного научного фонда (РГНФ) проект № 99-02-16042

Клейнер Г.Б., Смоляк С.А.

Эконометрические зависимости: принципы и методы построения. — М.: Наука, 2000. - 104 с.

ISBN 5-02-008348-8

Как установить зависимость между показателями экономических объектов, используя теоретическую информацию и данные об их наблюдаемых значениях? Можно сказать, что для этого существуют метод наименьших квадратов и другие методы, о которых говорится во всех учебниках по статистике. Между тем все не так просто.

Авторы книги — известные специалисты в области математического моделирования экономических объектов — предлагают использовать для построения экономико-статистических зависимостей принцип максимальной согласованности. Он позволяет полнее учесть разнородную исходную информацию о виде зависимости, результатах наблюдений и характере их ошибок и дает возможность решать многие задачи, недоступные обычным статистическим методам.

Для широкого круга экономистов, математиков, статистиков.

Посети АК

Научное издание

Клейнер Георгий Борисович Смоляк Сергей Абрамович

ЭКОНОМЕТРИЧЕСКИЕ ЗАВИСИМОСТИ: принципы и методы построения

Зав. редакцией Р.С. Головина. Редактор В.С. Баковецкая `

Художник Г.М. Коровина. Художественный редактор В.Ю. Яковлев Технический редактор Е.Н. Ларкина. Корректор В.М. Ракитина

Набор и верстка выполнены в издательстве на компьютерной технике ЛР № 020297 от 23.06.1997

Подписано к печати 02.12.99 Формат 60 X 90 1/16. Гарнитура Таймс. Печать офсетная Усл.печ.л. 6,5. Усл.кр.-отт. 6,9. Уч.-изд.л. 6,6. Тираж 700 экз. Тип. зак. 690

Издательство "Наука" 117864 ГСП-7, Москва Б-485, Профсоюзная ул., 90

Санкт-Петербургская типография "Наука" 199034, Санкт-Петербург В-34, 9-я линия, 12

ISBN 5-02-008348-8 © Издательство "Наука", 2000

Вычисления человека стали делаться все более акробатическими, математика перешла границы своего первоначального состояния и фактически превратилась в естественную часть мира, к которому она первоначально была лишь приложима. Вместо того, чтобы числа основывались на определенных явлениях, которым они соответствовали, ибо сами мы соответствовали понятной нам системе, весь мир постепенно стал основываться на числах, и, кажется, никого не удивляет тот факт, что сеть, некогда покрывавшая мир снаружи, превратилась в скелет, заключенный внутри.

В.В. Набоков

Одна из привлекательных особенностей экономической теории состоит в том, что с ее помощью всегда можно согласовать не только две, но и три различных точки зрения.

Р. Брейли, С. Майерс

ВВЕДЕНИЕ

Автор, разумеется, не уверен, что и эта книга не содержит какого-нибудь абсурда.

В. Тутубалин

Задача построения математической модели зависимости между экономическими показателями одного объекта или группы объектов рассматривается в рамках таких научных направлений, как регрессионный анализ [1, 2], детерминированный анализ показателей [3], теория производственных функций [4, 5] и др. Речь идет о построении ("отыскании", "оценивании", "восстановлении", "идентификации" и т.п. — Tepмины меняются в зависимости от дисциплины, в которой ставится данная задача!) функции У =ДХ,, ..., X,), отражающей зависимость "объясняемого" (результирующего, зависимого) показателя 7 некоторого экономического процесса P, протекающего на данном объекте, от "объясняющих" (независимых, экзогенных, предикторных) показателей Х,...., Х„ этого процесса, согласованной с исходной информацией и отвечающей целям исследования объекта. Желая подчеркнуть, что исходная информация включает в себя не только теоретические представления о протекании исследуемого процесса, но и "фактические данные" о наблюдениях за этим процессом, такие зависимости можно назвать "статистическими", а применительно к экономическим процессам — эконометрическими. Для каждого из перечисленных направлений характерны свои подходы и сферы предполагаемого использования, ба-

1 Термин "построение" нельзя считать однозначным, ибо под "построением зависимости" нередко понимается процедура, в которой вид зависимости между переменными выводится из некоторых более общих теоретических предпосылок. Типичным примером является построение квадратичной зависимости пройденного пути от "времени в предположении постоянства ускорения.

зирующиеся на определенных предпосылках относительно процесса Р, характера измерения или наблюдения показателей У, Х,,...Х„ и связей между ними [6]. Различна также и трактовка самой построенной тем или иным способом зависимости f(X),..., Хи).

Настоящая работа посвящена в основном теоретическим проблемам построения экономических зависимостей, достаточно хорошо согласованных с исходной информацией (с учетом ее характера и степени неопределенности). При этом неоднородность исходной информации обусловливает и многообразие постановок задач построения зависимостей. В данной работе мы пытаемся систематизировать известные и классифицировать возможные (нетрадиционные) варианты таких постаHOBOK, а также сопоставить результаты решения сходных задач в разных постановках. Это позволяет не только рассмотреть различные трактовки самого понятия о зависимости между характеристиками объектов, но и сформулировать некоторые общие принципы их практического оценивания. Особое внимание мы уделяем проблеме получения оптимальных (максимально согласованных с имеющейся информацией) оценок зависимости, что на практике сводится к оптимизации некоторых "критериев качества модели". Более широкие постановки задачи при этом в одних случаях проиводят к новым критериям, а в других — к новым интерпретациям известных критериев оценивания параметров моделей. При этом иногда выясняется, что различные системы предпосылок, принимаемые при исследовании процессов, приводят к одинаковым или сходным критериям оценивания.

Четыре раздела книги посвящены соответственно определениям исходных понятий, принципам оценивания зависимостей, различным трактовкам понятия неопределенности и некоторым моделям оценки параметрических и непараметрических зависимостей, выходящих за рамки простых иллюстративных примеров.

Обобщая накопленный авторами опыт, книга тем не менее не предназначена к использованию в качестве учебного пособия. Для правильного понимания излагаемых вопросов требуется определенная математическая подготовка, включая теорию вероятностей (однако поверхностное знакомство с ее основами здесь может только помешать). Но главным требованием к нашим будущим читателям является их способность и готовность изменить свои устоявшиеся представления о тех зависимостях, с которыми они имеют дело, и о тех методах, которыми они пользуются при их построении. Представляется, что наличие таких качеств не зависит ни от сферы деятельности, ни от уровня подготовки специалиста, ни от наличия у него ученой степени. Поэтому, если попытаться определить, кому же предназначена эта книга, лучшим ответом будет: "тем, кто всерьез интересуется проблемой построения статистических зависимостей".

Ряд положений данной работы мы обсуждали с нашими коллегами по Центральному экономико-математическому институту РАН. Всем им, а в особенности академику В.Л. Макарову и доктору физикоматематических наук С.А. Айвазяну — наша искренняя благодарность.

1. ОСНОВНЫЕ ПОНЯТИЯ

Если вам непонятно какое-то слово в техническом тексте, не обращайте на него внимания. Текст полностью сохраняет смысл и без него.

Закон Купера

1.1. Объекты и их характеристики

В практике экономических исследований проблема построения моделей зависимостей возникает обычно в следующем контексте [1, 7, 8 и др.]. Имеется некоторая группа экономических объектов или совокупность состояний одного и того же объекта — "генеральная совокупность" (иногда она именуется "предметной областью", а в теории измерений [9] для обозначения множества исследуемых объектов с учетом имеющейся на нем структуры отношений используется термин "эмпирическая область"). Относительно каждого объекта группы имеется определенная информация, характеризующая в различных аспектах его назначение, состояние, структуру или функции. В частности, имеется и информация, позволяющая считать некоторые из характеристик объекта зависимыми. Ставится задача: на основе всей имеющейся информации оценить (построить, восстановить) точно или приближенно эту зависимость. Процесс (и результат) такой оценки мы будем называть моделированием или оценкой.

Корректная постановка задач оценки зависимостей требует точного определения понятий "объект", "показатель," наблюдение", "точность" и др. Однако это можно сделать, взяв за основу какие-то другие первичные понятия. Мы объявляем первичными (не определяемыми через другие) в первую очередь понятия "генеральной совокупности" и "свойства". Определения понятий "объект", "характеристика", "показатель" даются ниже, "наблюдение" и " точность" — в п. 1.2.

Генеральная совокупность (ГС) 2 рассматривается далее как MHOжество, элементами которого являются объекты ©, в каком-то смысле однородные (например, предприятия, отрасли, рынки, жители города, технологические процессы). Под @, как говорилось, может рассматриваться и определенное состояние реального объекта. Обычно имеют дело с конечной ГС, наблюдая ее отдельные объекты W, (обычно f — номер объекта или момента времени, в который объект наблюдается). "Правильное", адекватное целям исследования определение ГС (точнее, решение вопроса об отнесении конкретного объекта к ГС) является самостоятельной и не всегда тривиальной задачей. Так, было

5

бы ошибочным отнести завод к числу машиностроительных только потому, что это слово присутствует в его названии. Поэтому в ситуации, когда возможны грубые ошибки из-за неверного формирования ГС (см. п. 1.3), возникает задача выявления и учета таких ошибок, рассматриваемая в п. 4.3.

Объекты могут обладать различными свойствами. Примерами свойств являются "мощность", "возраст", "стабильность" и др. Обычно исследуются какие-то определенные свойства объектов, поэтому группировка объектов по одинаковым или близким свойствам во многом зависит от целей исследования. В этой части авторы частично разделяют, хотя и считают "экстремистской", точку зрения, высказанную еще в конце прошлого века, о том, что "объединение отдельных явлений в совокупности диктуется не особенностями материала, а целями изучения — теми точками зрения, с которыми статистик подступает к исследуемым явлениям" [10. С. 77-78]. Кроме целевых аспектов в основе каждого наблюдения лежит еще и некоторое априорное представление об объекте и возможных его свойствах (иначе просто было бы неясно, "за чем следует наблюдать" или к какому объекту относить полученную в ходе наблюдения информацию). Поэтому четкое определение ГС порой затруднительно.

Некоторым свойствам даны такие определения, в соответствии с которыми свойство может быть охарактеризовано (представлено) числом или другим математическим объектом (математической конструкцией) — парой чисел, булевой переменной, функцией и т.д. Подобные свойства будем называть характеристиками.

Характеристика объектов из ©, выражаемая с помощью элементов некоторого множества У, тем самым, является отображением © —> У или функцией, заданной на множестве © и принимающей значения из множества У (далее мы несколько уточним это определение). Пространство всех подобных характеристик (измеримых отображений О —> И) будем обозначать через M(V). Если У = В - числовая прямая, то такие (числовые) характеристики объектов будем называть показателями.

Объекты, имеющие хотя бы одну несовпадающую характеристику, следует считать различными. Тем самым различными объектами будут не только завод и столовая, но и "завод в 1995 г." и "завод в 1996 г.". Однако во многих случаях завод и столовая могут быть отнесены к разным ГС, тогда как "завод в 1995 г." и "завод в 1996 г." - к одной ГС (хотя неясно, можно ли отнести к этой же ГС и "завод в 1896 г.").

Анализируя значения фиксированной характеристики для разных объектов ГС, исследователь часто делает вывод об их близости или, наоборот, отдаленности. В подобных случаях У является топологическим пространством. При этом появляется возможность говорить о сходимости некоторой последовательности характеристик к определенному пределу. Однако одного только наличия топологии в пространстве У, как правило, недостаточно. В ряде случаев исследователю нужно ко-

6

личественно оценить различия между характеристиками различных объектов (или между истинным и рассчитанным значением характеристики объекта). Для этого на множестве значений характеристик У часто вводится понятие расстояния. Тогда мы назовем множество У метризуемым и будем считать его подмножеством некоторого метрического пространства, а расстояние между точками Х и Y из V обозначать через р(Х, У).

Метрика на множестве У естественно порождает "равномерную" метрику и в пространстве М(У) соответствующих характеристик — при этом расстояние (мы будем обозначать его той же буквой р) между характеристиками Х(®) и Y(¢) определяется как максимально возможное для объектов ГС расстояние? между значениями этих характеристик по

всем объектам 2: р((Х, У) = sup p(X(), Y(@)). Близкими в этом смысле @eQ

(по крайней мере для совокупности стабильно работающих предприятий) являются показатели среднегодовой и среднесписочной численности работников предприятия.

1.2. Наблюдения, измерения, оценки

В основе формирования информационной базы построения статистических зависимостей лежат такие ключевые понятия прикладной статистики, как наблюдение, измерение и оценка. В различных работах даются разные определения этих понятий. Для уточнения и формулировки используемых в данной работе определений примем некоторое соглашение: условимся, что под словами "реально выполнимая процедура" будем понимать некоторые действия, выполнение которых априорно не кажется никому невозможным. Если речь идет об исследовании формы поверхности Юпитера, то будем считать, что это реально выполнимая процедура.

Под наблюдением теперь будем понимать реально выполнимую процедуру сбора и фиксации информации об объекте. Измерение (характеристики) - это также реально выполнимая процедура, позволяющая однозначно и точно определить значение этой характеристики в заданных условиях. Характеристика, допускающая измерение, называется измеримой. Оценкой характеристики? объекта называется некоторое значение (другой или той же самой) измеримой характеристики этого объекта. При этом оценка может принадлежать тому же

2 Иные метрики в пространстве M(V), ориентированные не на максимальное, а на "среднее" расстояние, по-видимому, в общем случае будут неестественны, поскольку на © (а это множество обычно либо конечно, либо счетно) априорно не предполагается существование какой-либо меры, необходимой для исчисления "среднего расстояния" между его объектами (да и ввести такую меру довольно затруднительно).

3 Правильнее было бы говорить об оценке не самой характеристики, а ее значения. Однако там, где это не искажает содержания высказывания, мы будем говорить просто "характеристика".

множеству У, что и оцениваемая характеристика (далее мы в основном рассматриваем именно такие, точечные оценки), но может и не принадлежать ему.

Таким образом, в отличие от наблюдения, результатом которого может быть любая информация о характеристике объекта, реультатом измерения должна быть точная информация об этой характеристике. При этом сама характеристика рассматривается как объективно присущая объекту, независимо от того, можно ли как-нибудь ее измерить. Это позволяет трактовать значения характеристик как "истинные", разумеется, имея в виду, что истинное для одних условий значение может стать ошибочным для других.

По отношению к наблюдению можно говорить о целях и результатах. Целью наблюдения в общем случае является получение информации относительно некоторого набора Х,, ..., Х„ характеристик объекта. Мы будем считать, что этот набор конечен, и в отдельных случаях рассматривать его как одну (векторную, обозначаемую жирным шрифтом) характеристику Х.

Результатом наблюдения Н также является некоторая (измеримая) характеристика объекта. В статистике обычно считается, что результатом наблюдения показателя является точное или приближенное значение этого же показателя, а потому само наблюдение есть процедура его (точного или неточного) измерения. Такая трактовка представляется слишком узкой. Во-первых, процедуры измерения целесообразно рассматривать как точные, используя для неточных измерений термин "оценка". Во-вторых, результаты наблюдения могут и не являться измерениями каких-либо характеристик. Наконец, если наблюдение проводится с целью оценки значения какой-либо характеристики из M(V), то результатом наблюдения может и не быть элемент множества У (см. ниже примеры 1.5-1.11). С этих позиций наблюдение удобно трактовать более широко — как процедуру получения и фиксации какой-либо информации об объекте. При этом получаемая информация — результат наблюдения - является измеримой функцией Ha множестве объектов Q = {0}. В частности, наблюдением характеристики является ее оценка. Если результатом наблюдения является истинное значение характеристики, такое наблюдение назовем точным.

Измеримость характеристики мы связываем с реальной выполнимостью процедуры измерения. При этом понятие "реальной выполнимости" мы считаем первичным, определяемым в каждой конкретной задаче на содержательном уровне (это не исключает, разумеется, построения каких-либо теорий "практической измеримости"). Вопрос о том, какие процедуры считать измерениями, а какие — нет (какие значения характеристики, полученные путем применения этой процедуры, считать точными, а какие — неточными), нетривиален. Ответ на него зависит и от структуры множества У, и от формы представления результатов измерения, и от знаний и опыта исследователя. Приведем несколько примеров.

8

Пример 1.1. Основные фонды любого предприятия подразделяются на активные и пассивные. "Активность" конкретного средства труда, относящегося к основным фондам, определяется тем самым принадлежностью его к одному из двух указанных видов. Измерением будет только такая процедура, которая "правильно" отнесет наблюдаемый объект основных фондов к тому или иному виду. №

Пример 1.2. Для определения стоимости строительства объекта строительными предприятиями составляется смета. Сильно огрубляя порядок сметного ценообразования, можно сказать, что в смете определяется состав и объем всех необходимых работ и рассчитывается (с помощью специальных нормативов) сметная стоимость каждой из них в отдельности, а затем — всех вместе. Точно определение сметной стоимости означает, что в смете отражены все необходимые работы, причем объем и стоимость каждой из них указаны точно. Однако обычно в процессе строительства с учетом выясняемых на месте конкретных условий строительства объемы указанных в смете работ уточняются, одновременно выявляется необходимость выполнения дополнительных ("пропущенных в смете") работ. Поэтому точно определить сметную стоимость строительства на этапе разработки проекта невозможно (равно как и вообще любое измерение показателей, относящихся к неопределенному будущему), однако это становится невозможным после завершения строительства на базе так называемой "исполнительной сметы", куда внесены все дополнения и уточнения. №

Таким образом, понятие реальной выполнимости процедуры измерения является определенной идеализацией, оправданной и практически полезной в ситуациях, когда ошибки измерения достаточно малы. С другой стороны, есть и "принципиально неизмеримые" (хотя и допускающие оценку) характеристики. К ним в первую очередь относятся вероятности тех или иных событий (например, стихийных бедствий или отказов оборудования). Неизмеримы, по нашему мнению, функции полезности экономических субъектов, платежеспособный спрос на продукцию, предельные затраты и ряд других характеристик экономических процессов и явлений, явно фигурирующих в разных экономико-математических моделях. Неизмеримыми в определенном смысле можно считать и такие физические характеристики объектов, точное измерение которых осуществляется методами разрушающего контроля (скажем, точно измерить предельную нагрузку, которую может выдержать данный мост, можно только, разрушив его), поскольку после проведенного измерения объект измерения перестает существовать. Неизмеримые показатели уместно называть параметрами. Это не противоречит обычной трактовке параметров как коэффициентов в подлежащих определению зависимостях: подобные задачи представляют интерес только тогда, когда входящие в них параметры неизмеримы, т.е. не могут быть однозначно и точно определены.

Неизмеримость характеристики, конечно, затрудняет получение информации о ней, но не мешает ее оценивать, например, измеряя вместо

9

нее заменяющие, в каком-то смысле близкие характеристики. Такая процедура, при которой непосредственно не измеримая характеристика заменяется другой (индикатором), значения которой можно непосредственно измерить, называется индикацией [11]. Иными словами, при этом способе оценки вместо измерения того, что нужно измерять, измеряется то, что реально можно измерить (это аналогично поиску утерянной вещи не в том месте, где она потеряна, а под ближайшим фонарем). У одной характеристики может быть несколько индикаторов. Так, индикаторами изменения физических объемов поизводства промышленной продукции может быть не только объем продаж, скорректированный на индекс цен, но и объем потребления электроэнергии — это два "принципиально разных" индикатора, дающих обычно разные оценки. Другой способ оценки состоит в использовании иных методов и процедур измерения, т.е. в переходе от реально невыполнимых к реально выполнимым процедурам. В этом случае результат оценки может отличаться от истинного значения характеристики за счет "несовершенства измерительных приборов (или методов)". Необходимость в оценивании может возникнуть и при использоваии, казалось бы, точных данных статистической отчетности при анализе рядов динамики, например, если в анализируемом периоде изменяются правила ("технология") составления статистической отчетности. При этом "стыковка" данных разных лет осуществляется путем введения соответствудщих корректирующих коэффициентов, оценивающих влияние фактора смены методологии. Другим примером изменения "технологии" измерений может быть рост числа зарегистрированных нарушений трудовой дисциплины на предприятии с приходом нового директора и соответственным ужесточением требований к дисциплине [11]. Приведем примеры оценок ряда показателей.

Пример 1.3. Многие дискретные и непрерывные модели содержат такую характеристику предприятия, как средняя за период численность персонала. По своему смыслу за период Т (например, 3a год) она должна определяться как среднее из численности работников по дням отчетного периода. В отчетности такого показателя нет, но хорошей его оценкой может быть индикатор среднесписочной численности (для месяца — полусумма численностей на начало и конец месяца, для года — среднее арифметическое из среднесписочных численностей по месяцам). №

Пример 1.4. По большой группе предприятий за 1980-1995 гг. наблюдается ряд показателей, в том числе стоимость основных средств на конец года, содержащаяся в годовом балансе. Выяснилось, что по одному из предприятий данные об этом показателе за 1989 г. отсутствуют. Однако, как видно из показателей других предприятий группы, стоимость основных средств на конец 1989 г. близка к полусумме значений этой стоимости за 1988 и 1990 г. Применив этот способ к данному предприятию, получим разумную оценку "пропущенной" характеристики. м

Проведенное в наших определениях разграничение понятий "наблюдения" и "измерения" обусловлено разнообразием форм информа-

10

ции, получаемой в результате наблюдений. Как уже говорилось, при наблюдении характеристики из М(У) результат наблюдения может выражаться элементом не множества У, а некоторого более широкого "пространства наблюдений" W (иногда в таких случаях говорят об оценке одних характеристик по результатам измерения других; задачами такого рода занимается геометрия - так, задача 46 в [12] сводится к оценке площади выпуклой фигуры по длинам ее проекций на четыре прямые). Приведем ряд примеров.

Пример 1.5. Четыре эксперта дают обоснованные экспертные оценки значению некоторого показателя. Здесь наблюдением следует считать всю процедуру сбора и фиксации экспертной информации, однако это — неоднозначное наблюдение, ибо его результатом являются четыре числа, а не одно. Аналогичная ситуация возникает, когда для одного и того же показателя в разных формах отчетности предприятия приводятся разные (хотя и близкие) значения, либо когда результаты наблюдений даются не числами, а интервалами их изменения. Элементами пространства W здесь удобно считать произвольные (конечные или бесконечные) подмножества числовой оси. М

Пример 1.6. Пусть по данным измерительного прибора высота объекта (измеримая характеристика, показатель) определена в 25 смс точностью до 1 см. Результатом такого наблюдения является уже не число, а пара чисел (25 и 1). М

Пример 1.7. Количество L жителей города, предпочитающих эскимо другим видам мороженого, оценивалось по данным выборочных опросов. С учетом возможных ошибок такого метода социологи говорят, что число L лежит в таких-то пределах с вероятностью 90%, в таких-то пределах - с вероятностью 80% и т.д. (в математической статистике в этой ситуации вместо вероятности говорят о степени или уровне доверия, однако различие в данном случае несущественно). При этом результатом наблюдения оказывается не число, а распределение вероятностей (степени доверия). М

1.3. Ошибки наблюдений

Ясно, что наблюдения характеристики производятся с целью ее оценки, и обратно — любая оценка является результатом какого-то наблюдения. Однако произвольная оценка может нести мало информации о нужной характеристике или вообще не нести никакой информации о ней. В этой связи можно говорить об ошибках наблюдения, понимая под ними несоответствия между наблюдаемыми значениями характеристик и их истинными значениями. Под данную трактовку подпадают и ошибки регистрации, возникающие при искажении (умышленном или неумышленном) результата наблюдения при его фиксации. Примерами здесь могут служить неверное считывание показаний регистрирующего прибора, запись числа не в ту клетку анали-

11

тической таблицы или неправильная установка десятичной запятой при записи этого числа.

Если некоторая процедура наблюдения позволяет достаточно точно оценить характеристику любого объекта совокупности, такую процедуру естественно рассматривать как достаточно точную. Отметим, что точность процедуры зависит:

1) от состава ГС. Если рассматривать одни и те же наблюдаемые объекты как элементы разных ГС, то один и тот же метод наблюдения будет охарактеризован разной точностью. Так, метод установления среднегодовой стоимости основных средств как полусуммы значений этой стоимости на начало и конец года будет достаточно точным в годы, когда темпы инфляции невысоки, но может давать большие ошибки в периоды высокой инфляции;

2) от состава наблюдаемых объектов (если наблюдается лишь часть объектов ГС). Поэтому, например, нельзя дать однозначную оценку точности методов выборочных социологических обследований населения — в лучшем случае можно лишь сказать, в скольких процентах случаев эти обследования давали такую-то ошибку.

Некоторые характеристики объектов, например, длину или массу, нельзя измерить абсолютно точно, хотя имеется возможность повышать точность измерений. Для идеализированного описания подобных характеристик удобно ввести следующее определение. Характеристика Х называется асимптотически измеримой, если существует сходящаяся к ней в топологии пространства M(W) последовательность оценок Н* > Х при k > ®°. Включение в рассмотрение асимптотически измеримых характеристик расширяет круг как инструментов, так и объектов экономических исследований.

Основная причина ошибок наблюдения — невозможность (теоретическая или практическая) измерения характеристики, т.е. применения "приложенной к ее определению" методики измерения. При таком подходе ошибки рассматриваются как "неизбежное зло", а во главу угла ставится не "борьба" с ними и не стремление их элиминировать, а максимальное использование полученной в результате наблюдений информации для реализации поставленных при измерении целей. Некоторые технические и психологические аспекты проблемы возникновения ошибок и борьбы с ними, оставшиеся за пределами нашего исследования, проясняются в оригинальной работе [13].

В зависимости от формы проявления можно выделить два типа ошибок. Ошибки первого типа возникают, когда и сама характеристика, и результат ее наблюдения принадлежат одному и тому же множеству У (см. например 1.3). В том случае, когда результат реального наблюдения принадлежит не множеству У, а более широкому пространству И, можно говорить об ошибках второго типа. Примером является ситуация, когда результатом наблюдения показателя оказывается не число, а интервал на числовой прямой или вероятностное распределение (см. пример 1.7).

Ввиду их важности и распространенности следует указать три не

12

подпадающих под приведенное определение вида ошибок, часто встречающиеся в практике эконометрических исследований: ошибки классификации, ошибки спецификации и ошибки модели.

Ошибки классификации возникают, когда в состав ГС не включены объекты, которые на самом деле (т.е. в соответствии с имеющейся информацией) к ней относятся. Например, исследуется совокупность промышленных предприятий, однако в ГС и в число объектов наблюдения не включены предприятия промышленности строительных конструкций и деталей, которые обычно учитываются не по отрасли "Промышленность", а по отрасли "Строительство". Та же проблема возникает при формировании чистых отраслей в межотраслевом балансе.

Ошибки спецификации имеют место при неправильном отборе объектов (включении в ГС таких объектов, которые на самом деле к ней не относятся) или факторов, влияющих на исследуемую характеристику (объясняющих переменных). Такие ошибки (например, использование сводных данных по крупной строительной организации, включающей кирпичный завод и автобазу) часто обусловлены недостатками в теоретическом анализе рассматриваемых явлений.

Ошибки модели проявляются в неправильном выборе вида искомой зависимости (например, отыскивается линейная зависимость между характеристиками в то время, как на самом деле они связаны степенной зависимостью). По существу, здесь также идет речь об ошибках спецификации, однако специфицируется здесь не состав аргументов, а вид модели. Часто эти два вида ошибок тесно связаны между собой. В рамках нашего подхода указанные ошибки не являются ошибками наблюдения, а возникают на стадии, предшествующей обработке результатов наблюдений (при выборе ГС, совокупности исследуемых характеристик, теоретическом анализе зависимостей между ними).

Наблюдения, как правило, характеризуются неопределенностью, под которой мы понимаем неполноту или неточность информации о значениях наблюдаемой характеристики. При этом неполнота определяется по отношению к тому (порой неизвестному) объему информации, который позволяет полностью определить истинное значение характеристики, а неточность трактуется как расхождение между истинными и полученными в ходе наблюдения данными. Неопределенность присуща практически любым наблюдениям, но мера, степень и конкретные формы ее проявления могут быть различными. В то же время там, где неопределенность незначительна, оказывается полезной такая абстракция, как "отсутствие неопределенности" — детерминированность. Так, если измерение длины предмета производится каким-то измерительным прибором, мы не можем заранее сказать, что результатом измерения будет истинная длина этого предмета. Здесь можно утверждать лишь, что ошибка в измерении длины будет лежать в таких-то пределах. Результат измерения будет

13

детерминирован, если измерение производится точным прибором (скажем, детерминированным может быть измерение количества крупных предметов, находящихся в некотором помещении). При использовании экспертных оценок для измерения показателя неопределенность проявится в несовпадении этих оценок. Здесь трудно говорить о детерминированном результате измерения, хотя нечто близкое к нему возможно, когда многие независимые аспекты дают одну и ту же оценку чему-либо.

Мы определили неопределенность как неполноту и неточность информации. С этих позиций информацию о наблюдаемых характеристиках объектов можно разделить на четыре вида: полная и точная; неполная и точная; полная и неточная; неполная и неточная. Различие между этими видами информации проиллюстрируем на примере наблюдения объема реализованной профильной продукции хлебозавода:

® полная и точная. Так будет при точном измерении физических объемов реализованного количества буханок хлеба различных сортов;

® неполная и точная. Этот случай имеет место при точном измерении только общего объема реализованного хлеба (без разбивки по сортам);

® полная и неточная. Этот случай имеет место, когда объемы реализации разных сортов хлеба измерялись, но измерения произведены неточно;

® неполная и неточная. Этот случай имеет место при неточном измерении общего объема реализации хлебопродукции (без разбивки по сортам).

Заметим теперь, что истинное значение характеристики, в отличие от результата его наблюдения, исследователю обычно неизвестно и потому трактуется как неопределенная (и часто неизмеримая в смысле п. 1.2) величина. Между тем моделирование взаимосвязи между характеристиками объекта и результатами наблюдений осуществляется с иных позиций: первые считаются определенными (хотя и неизвестными) величинами, тогда как вторые — неопределенными, значения которых могут быть различными в зависимости от условий и методики наблюдений. Другими словами, результат наблюдения трактуется как реализация неопределенной величины, одно из возможных ее значений. Сущность моделирования состоит при этом в формализации и учете неопределенного характера результатов наблюдений.

Таким образом, первичным является неопределенный характер результатов наблюдения, а вторичным — представление этих результатов в виде некоторой функции (например, суммы или произведения) от истинного значения измеряемой характеристики и ошибки наблюдения. С этих позиций целесообразно говорить об ошибке наблюдения только тогда, когда из характера неопределенности вытекает возможность соответствующего представления. Так, если

14

результат наблюдения — случайная величина, имеющая нормальное распределение, и ее средним является истинное значение наблюдаемой величины, вполне корректно говорить о наличии аддитивной нормально распределенной ошибки с нулевым средним. С другой стороны, если результат наблюдения имеет экспоненциальное распределение и его среднее значение совпадает с истинным значением наблюдаемой величины, разделение на "истинную часть" и ошибку становится искусственным и не упрощает анализа. Отметим, что в справоч-

нике [14] регрессия величины У по отношению к факторам Х,, ... , X, определяется как функция У = 8(Хь, ... , Хи) + ACY, Хь ...,Х,), где h(Y, Хь ... , Хи) рассматривается как поправочный член, так что и здесь

разделение моделируемой величины на "истинную часть" и "ошибку" выглядит произвольным. Поэтому мы будем. использовать понятие "ошибка наблюдения" только там, где результат наблюдения допускает естественное, т.е. объективно обусловленное ситуацией, разложение на “истинную часть" и ошибку.

Обратим внимание также на то, что само по себе признание какоголибо результата наблюдения неопределенным не несет никакой информации и может быть приложено к любой ситуации (поскольку даже точно измеренные, детерминированные показатели могут быть рассмотрены как частный случай неопределенных). Упоминание о неопределенности становится содержательным и требующим учета лишь тогда, когда конкретизирован ее вид (характер). Иными словами, неопределенность должна рассматриваться не как синоним отсутствия информации, а как указание на специфический вид имеющейся информации, не сводящийся к указанию конкретного численного знаачения той или иной характеристики. Сама по себе констатация факта наличия неопределенности, неточности или неполноты информации об условиях и результатах наблюдений не является основанием для принятия каких-либо модельных решений, подобные основания появляются лишь после и на основе конкретизации вида неопределенности и характера возможных ее проявлений. С этих позиций представляются некорректными, например, постановки задачи наилучшей оценки параметра в параметрической зависимости в условиях, когда результаты наблюдений являются неопределенными, но о "виде" этой неопределенности ничего не известно.

1.4. Зависимости между характеристиками объектов

Все объекты ГС предполагаются целостными, поэтому естественно, что любые их характеристики в общем случае должны быть взаимозависимыми — изменение одних должно как-то сказываться на изменении других. Однако в каждый данный момент времени характеристики данного объекта фиксированы, и говорить об их изменении и о влиянии этих изменений на другие характеристики объекта можно только, рассматривая объект как представи-

15

теля соответствующей ГС, только в рамках которой и имеет смысл соответствующая зависимость“.

Зависимости между характеристиками У иХ объекта моделируются обычно в виде функции У =КХ). "Стандартная" трактовка этого равенства означает, что каждому возможному значению Х отвечает единственное определенное значение У. При такой трактовке сама построенная зависимость, т.е. функция f, также может рассматриваться как характеристика, но уже не объекта, а всей ГС. Следовательно, к зависимостям применимы все понятия и определения, введенные и обсуждавшиеся в п. 1.2. В частности, можно говорить о генеральной совокупности зависимостей {f}, понимая под этим класс функций, объединенных какими-либо общими свойствами (например, свойством быть моделями одного и того же объекта или свойством линейности). Если функция }- полином, то его коэффициенты в свою очередь должны трактоваться как параметры, характеризующие ГС (а если предложена процедура их измерения, то и как показатели этой ГС). С этих позиций мы имеем дело с задачей возможно более точной оценки таких характеристик ГС, как функция {или ее параметры, по (обычно неполным и неточным) данным наблюдений отдельных объектов ГС. Соответственно мы можем говорить об "истинной" зависимости (в процессе оценки она рассматривается еще и как искомая) между показателями объекта и о рассчитанной зависимости, найденной в ходе решения задачи (оценку, полученную при использовании наилучших в каком-либо смысле методов, будем называть также "оптимальной").

Мы будем считать, что теоретический анализ, позволяющий выявить сам факт наличия зависимости, а в отдельных случаях — установить ее характер (вид, свойства), уже выполнен. Примеры такого анализа дает теория производственных функций [4, 6] или модели развития производства [15, 16]. Тем самым не ставится под сомнение ни отбор объясняемой и объясняющих переменных, ни существование искомой зависимости, ни характер (вид) этой зависимости, если он должным образом теоретически обоснован. Однако обычно установление зависимостей затрудняется:

® большим числом объясняющих переменных ("проклятие размерности");

® ошибками наблюдения переменных;

® неполной информацией о виде зависимости? (см. пример 1.8);

4 Помимо рассматриваемых в книге зависимостей между характеристиками одного объекта есть и такие, которые связывают характеристики одного объекта в разные моменты времени или разных объектов. Примером является зависимость стоимости акций данной фирмы от положения на финансовом рынке страны, измеряемого ожидаемой отдачей всего рыночного портфеля акций. Методы оценки таких зависимостей аналогичны.

5 Обычно содержательный анализ экономических процессов позволяет установить, что соответствующим зависимостям между показателями присущи какие-либо из следующих свойств: линейность (прямая пропорциональность), монотонность, унимодальность, выпуклость или вогнутость и т.п. Нередко теория указывает на сепа-

16

® ограниченностью количества наблюдений.

Поэтому обычно результаты оценки зависимостей носят приближенный характер.

Имеются различные постановки задач оценки зависимостей, и некоторым из них, казалось бы, отвечают иные, нестандартные трактовки понятия зависимости. Ниже мы рассмотрим ряд таких постановок и убедимся, что это не так.

1.5. Различные типы статистических зависимостей

1.5.1. "Точные" зависимости. Задача интерполяции

Обычно, говоря о неточности оценки статистической зависимости, имеют в виду влияние ошибок наблюдений. Во многих случаях это действительно так, однако некоторые проблемы принципиального характера выявляются уже на примере задачи интерполяции — оценки неизвестной функции Y = КХ) no Т заданным (без ошибок) точкам ее графика (X,, У), ... ‚ (Хт, Ут). Эта постановка задачи может рассматриваться как в определенном смысле "минимальная" — исходная информация об объекте представлена здесь только значениями функции в наблюдавиихся точках, наблюдения которых предполагаются точными. Искомая зависимость У =КХ) при этом "точная", отражает однозначное соответствие между Уих и потому трактуется стандартно. Отметим, что хотя задачи интерполяции часто встречаются в инженерной практике, в прикладной статистике им внимания не уделяется. Обычно это объясняется тем, что выявить функциональную зависимость между переменными можно, используя методы "детерминированного анализа". Между тем никаких общих, универсальных методов выявления детерминированных зависимостей не существует. Приведем два примера.

Пример 1.8. Несмотря на огромное количество точных данных, до сих пор неизвестно, какова зависимость простого числа от его порядкового номера.

Пример 1.9. Эффективность инвестиционного проекта часто рассчитывается по "закрытым" компьютерным программам ("КОМФАР" и др.). Зависимости показателей эффективности от нормы дисконта или темпа инфляции при этом устанавливаются вариантными расчетами — аналитические их выражения здесь неизвестны. м

Особенность задачи интерполяции в том, что ее решением может

рабельность зависимости, что сводит задачу к оценке нескольких функций от меньшего числа или даже от одной переменной. Наконец, довольно часто влияние всех или некоторых объясняющих переменных описывается линейными зависимостями, хотя это не всегда должным образом обосновывается, а иногда и противоречит результатам других исследований. Вообще, вопросам теоретического обоснования вида и характера зависимостей между экономическими характеристиками посвящено не так уж много работ, и эти вопросы заслуживают самостоятельного и более петального.рассмотрения,

быть любая функция, график которых проходит через все точки (X,, Y,), т.е. такая, для которой отклонения заданных (трактуемых как наблюдаемые) значений от "рассчитанных по результатам оценки" равны нулю. Такое решение задачи, однако, малопригодно в практических целях. Более содержательными и имеющими "разумные" решения оказываются постановки, в которых "минимальная" исходная информация дополняется требованиями к функции, вытекающими из предположений о ее характере (см. пи. 2.4 и 2.8). Мы видим, что даже в ситуации, когда известно о "точном" характере зависимости между переменными, "точно" восстановить ее не удается. Иными словами, "точный" характер искомой зависимости не противоречит приближенному характеру ее оценки.

1.5.2. Аппроксимированные зависимости

В ряде случаев зависимость Y = КХ) известна (например, в результате ранее проведенных исследований), однако из-за сложности восприятия или по иным причинам не отвечает в полной мере поставленным целям. В подобных ситуациях функцию КХ) нередко сознательно заменяют, аппроксимируют какой-то другой функцией 8(Х), чаще всего — параметрической. Аппроксимированная зависимость, строго говоря, уже не отражает влияния Х и У, или, точнее, отражает ее искаженно. При этом близость Гид в какой-либо метрике не гарантирует от ошибок (например, близкие в равномерной метрике функции могут сильно отличаться значениями точек экстремума или перегиба). Поэтому замена f Ha 8 допустима только, если функция g обладает нужными для аппроксимации свойствами и определенным образом согласована с имеющейся исходной информацией. Так, если точно известно, что У = 7, при Х =X,, то при аппроксимации должно соблюдаться равенство Y, = 9(X,). Сейчас аппроксимация зависимостей используется в основном при теоретических исследованиях (скажем, замена е* на 1 + x при малых х стала здесь уже обычной), поскольку с широким внедрением компьютеров необходимость упрощения расчетных формул становится все менее актуальной. В этой связи сфера практического применения аппроксимированных зависимостей представляется нам ограниченной и мы не будем далее их рассматривать.

1.5.3. Нормализованные и регрессионные зависимости

При отыскании зависимости У =КХ,, ...,Х,) обычно неявно принимается, что характеристика объекта У зависит только от характеристик (факторов) Х,, ..., Х„. Однако ввиду предположения о

целостности изучаемых объектов следует считать, что все характеристики экономических объектов взаимосвязаны, и потому априори на любой экономический показатель влияет обычно гораздо больше факторов, чем может быть учтено в математических моделях. Таким

18

образом, возникает необходимость разделения полного множества факторов на "существенные" Х,, ...‚ Х„, прямо учитываемые в модели, и "несущественные", "прочие" — Х„+1, Хи+2, ... влияние которых приходится игнорировать (если среди них окажется фактор, достаточно сильно влияющий на 7, можно говорить о неправильной спецификации модели). Но даже если влияние каждого из "прочих" факторов мало, совокупное их влияние на У может быть значительным — ошибка спецификации при этом лишь снижается, но не исчезает. Как же трактовать в этом случае установленную любым способом зависимость Y=f(X), ..., Х,)? Обычно говорят, что такая зависимость не "точная", а приближенная. На наш взгляд, такие зависимости правильнее было бы называть неполными, ибо они учитывают не полную, а сокращенную, ограниченную совокупность влияющих на У факторов. На практике используются два типа неполных зависимостей: нормализованные и регрессионные.

Нормализованные зависимости отражают влияние "существенных" факторов на У "прочих равных условиях", т.е. при стабильных значениях "прочих факторов". Но к каким именно значениям "прочих факторов" будут относиться полученные результаты? При использовании статистических методов обычно постулируется, что такими значениями должны быть "средние" в том или ином смысле этого слова. Таким образом, объясняемой переменной становится не истинный (он же — наблюдаемый) показатель, а "идеальный" — тот, который мог бы быть достигнут при данных значениях учитываемых факторов и средних (или "нормальных") значениях прочих. Получаемая при этом зависимость "идеального" Y от "реальных" X;, ..., Х„ может быть названа "нормализованной". Конечно, для ее практического построения хотелось бы и наблюдать эти "идеальные" значения У. Однако такой возможности нет, и исследователь вынужден заменить измерение индикацией, "очищая" наблюдаемые значения Y от влияния "прочих факторов" (сглаживание, ввод корректирующих коэффициентов и т.п.; см. также п. 4.5). При этом возникает серьезная проблема применения построенной зависимости, например, когда при прогнозе значения У будет сделана оговорка "при прочих средних условиях", строго говоря, обесценивающая весь прогноз в целом (поскольку прогнозные значения "прочих факторов" неизвестны и не обязаны совпадать со средними).

Мы видим, что искомую зависимость можно рассматривать как "обычную", такую зависимость 7’ = f(X;, ..., Х„), в которой наблюдения У "идеального" показателя У’ содержат дополнительную "ошибку корректировки". Подчеркнем еще раз, что этот вывод относится к той, обычно имеющей место на практике ситуации, когда влиянием совокупности прочих факторов на 7 нельзя пренебречь.

В общем случае "нормальные" значения прочих факторов могут отличаться от средних. Так, при анализе зависимости выпуска продукции от параметров технологического оборудования естественно исключить влияние возможных нарушений в технологии и организации

19

производства. Поэтому в построенной зависимости идеальный показа-

wet

тель У’ должен отразить объем выпуска при "нормальной", a отнюдь не "средней" технологии и организации производства, что предполагает использование специальных процедур "нормализации" ("приведения к нормальным условиям", "очистки от влияния возможных нарушений технологии и организации производства") наблюдаемых значений объемов выпуска.

Еще один способ "нормализации" приводит нас к регрессионным зависимостям.

Регрессионные зависимости. В ряде случаев влияние "прочих факторов" на объясняемую переменную формализуется путем ее представления как неопределенной величины. При этом вся совокупность “прочих факторов" X,41, Хл+2, ... агрегируется в один неопределенный фактор & ("ошибку наблюдения"), а задача сводится к установлению функции У =f(X,,..., X,,§) или входящих в нее параметров от наблюдаемых переменных Х; и ненаблюдаемой переменной &. Естественно, что при этом приходится вводить дополнительные предположения не только о виде зависимости У от &, но и о характере неопределенности &. Наиболее распространенной является вероятностная формализация, когда неопределенный фактор & трактуется как случайная величина (СВ) с неким стандартным (обычно — нормальным) распределением. Чаще всего здесь используетсяв [1, 2 и др.] модель аддитивной нормальной ошибки: У =КХЬ ... , Xn) +Ё, где & имеет нормальное распределение с нулевым средним и дисперсией 62(Х,, ... , Х„), которая в общем случае неизвестна и потому подлежит оценке наравне с "систематической" составляющей f(X), ... , Х„): последняя может трактоваться как математическое ожидание У при заданных X),...,X,. В "предельном" случае п = 0 модель У =а+ё отвечает хорошо изуенной задаче определения среднего значения (центра распределения). Несколько реже применяется аналогичная модель мультипликативной нормальной ошибки У = f(X), ... ‚ Хн)ев, которая сводится к предыдушей логарифмированием. Заметим, что в обоих случаях функции ДХ,, ..., X,) можно придать иной и в чем-то более простой смысл — это значение У, отвечающее нулевым (и в то же время средним) значениям неопределенного фактора &. Иными словами, функция ХХ, ...,Х,) отражает здесь значение У, "приведенное" к "нормальным" условиям, отвечающим & = 0. С этих позиций указанные типы регрессионных зависимостей можно одновременно считать и нормализованными.

В то же время нормализация путем приведения к случаю & = 0 может иногда вступать в противоречие с экономическим содержанием рассматриваемой характеристики объекта. Пусть, например, иссле-

6 При стандартной математико-статистической постановке задачи случайный фактор & не выделяется, а У рассматривается как CB, распределение которой зависит от

№: Ane

20

дуется зависимость продолжительности монтажных работ при строительстве небольших промышленных объектов от объемов этих работ. На подобном строительстве можно использовать и обычно используют башенные или самоходные стреловые краны. При "обычной" нормализации следовало бы выбрать какой-то тип крана (скажем, наиболее эффективный или наиболее распространенный) и "привести" к нему все наблюдаемые сроки выполнения работ. Если же этого не делать, отнеся тип крана к числу случайных факторов, полученная зависимость будет отвечать какому-то среднему между башенными и стреловыми типу крана, не существующему в природе, либо одновременному использованию тех и других кранов на одном объекте, что нерационально и обычно не делается.

Изложенная трактовка регрессионной зависимости несколько шире общепринятой: в статистике под ней поминают "только одну часть" модели аддитивной случайной ошибки, отражающую зависимость математического ожидания Y OT Xj, ..., Х„. При нашем же подходе составной частью регрессионной зависимости становится и функция o(X,, ..., Х„), отражающая "разброс ошибок", и, кроме Toro, допускаются иные виды неопределенности, не описываемые в терминах случайных величин (это обстоятельство будет рассмотрено в п. 3.3). Мы видим, что регрессионные зависимости вполне укладываются в общепринятую трактовку функциональных зависимостей, если только считать, что объясняемой переменной здесь является не истинное, а определенным образом нормализованное (приведенное к & = 0) значение объясняемой характеристики.

1.5.4. Структурные зависимости

Выше отмечалось, что значение ХХ) в регрессионной зависимости У =КХ) + & отражает определенным образом нормализованное значение У. Естественно, что это значение неизмеримо, а его оценка может осуществляться только на основе наблюдаемых значений Х и Y. В этой связи удобно разделить и обозначить по-разному измеряемые и неизмеримые переменные модели, после чего она примет следующий вид.

Каждый объект ГС характеризуется векторной измеримой характеристикой Х и скалярной неизмеримой характеристикой У, о которой известно, что она зависит OT Х и только от Х. Требуется оценить эту зависимость, исходя из результатов (X,, Y,) наблюдений некоторых объектов ГС. При этом наблюдаемые значения У, являются измеренными с ошибкой значениями V,, причем характер ошибки описывается моделью: У, = У, + &,. При такой трактовке неизмеримой является только одна характеристика У, тогда как Х предполагается измеримой. Между тем возможность наблюдать точные значения исследуемых характеристик имеется отнюдь не всегда. Гораздо чаще встречается ситуация, когда наблюдаемые показатели не вполне адекватно отражают нужные характеристики. При этом возникает более сложный тип зави-

21

симости — структурная зависимость.Типичной здесь являетя следующая постановка задачи.

Каждый объект ГС характеризуется двумя векторными и одной скалярной характеристиками X,U uV. Характеристика Х измерима, т.е. наблюдается точно, тогда как U иУ неизмеримы, т.е. результаты Уи их наблюдения содержат ошибки, например, случайные: У, = =U,+ А(Х, 0,) &, Z,=V, + b(X,, UE, где А - некоторая матрица, В — вектор, &, — вектор с независимыми компонентами, имеющими стандартное нормальное распределение, ® — знак скалярного произведения. В этой ситуации необходимо оценить зависимость У =КХ, 0) по peзультатам наблюдений X,, У, ий,. Естественно, что промежуточным этапом в решении такой задачи будет и оценка неизвестных зависимостей A(X,, U,) и b(X,, U,).

Идея замены множества "прочих факторов" одним "фактором Heопределенности", положенная в основу регрессионного анализа, допускает развитие в различных направлениях. В частности, в подобной ситуации не обязательно ограничиваться анализом зависимости математического ожидания объясняемой переменной Y от объясняющих, можно исследовать и аналогичные зависимости для дисперсии Y или иных ее вероятностных характеристик. Развивая эту идею дальше, мы приходим к задаче установления зависимости закона вероятностного распределения объясняемой переменной У от объясняющих переменных X1, ..., Хи. Такого рода зависимость также можно назвать "структурной", хотя этот термин используется в прикладной статистике для близких, но несколько иных моделей. Задачи оценки таких зависимостей намного сложнее, поскольку объектом оценки здесь являются вероятностные распределения.

По существу, рассматриваемые в статистике зависимости являются в большинстве своем структурными. Так, общая теория статистики рассматривает зависимость как "стохастическую (вероятностную) связь, при которой с изменением факторного признака меняется распределение единиц совокупности по результативному признаку" [17. С. 197]. На этом основании представляется, что структурные зависимости должны шире использоваться в экономических исследованиях.

2. ПРИНЦИПЫ ОПТИМАЛЬНОЙ ОЦЕНКИ ЗАВИСИМОСТЕЙ

Часто легче отстаивать принципы, чем жить по ним.

Эдлай Стивенсон

Обычно "качество" построенной статистической зависимости оценивается по тем или иным критериям. В конечном счете все эти критерии задаются априорно, однако между разными критериями есть принципиальные различия. Одни из них, как сумма квадратов отклонений, действительно, задаются априорно и непосредственно — это характерно для раздела прикладной статистики, известного под названием "анализ данных" [18, 19]. С другой стороны, такие критерии, как максимум правдоподобия, выводятся из существа рассматриваемых задач, хотя подобный вывод и нельзя считать математически строгим. В данном разделе мы рассмотрим различные критерии и покажем, что в целом второй, индуктивный путь построения критериев более плодотворен, а сфера его применения может быть существенно расширена.

2.1. Принцип минимального расстояния 2.1.1. Параметрический случай

Довольно часто теоретический анализ показывает, что искомые зависимости — параметрические, т.е. имеют вид известной функции У = Ф(Х, а) от (векторной) объясняющей переменной X и конечномерного вектора неизвестных параметров а. Примером такой зависимости является модель Кейнса-Голдсмита зависимости сбережений 5 от дохода 7: 5 = с(У-Ь), где с — предельная склонность к сбережениям, b — доход, отвечающий нулевым сбережениям. Весьма интересный пример содержательного анализа, приводящего к параметрическому виду зависимостей, можно найти в теории производственных функций [4—6].

Простейшая задача оценки отвечает ситуации, когда ошибки наблюдений отсутствуют и Ф - полином от Х с коэффициентами, образующими вектор а (задача полиномиальной интерполяции). Ее решение дается интерполяционной формулой Ньютона. "Подгонка" параметров под результаты наблюдений издавиа применялась в астрономии при описании движения планет. Со временем Птолемея предполагалось и

23

считалось законом, что планеты равномерно вращаются по окружностям вокруг Земли. Когда это пришло в противоречие с наблюдениями, закон уточнили — приняли, что планеты равномерно вращаются по окружностям (эпициклам) вокруг некоторых точек, которые, в свою очередь, равномерно вращаются по окружностям вокруг Земли. Задача при этом сводилась к отысканию радиусов указанных окружностей и скоростей вращения по ним на основе большого числа экспериментальных данных. Накопление астрономических наблюдений и повышение их точности, однако, показали, что модели такого рода расходятся с действительностью, в связи с чем было введено (между прочим, довольно естественное для эконометриков и инженеров) уточнение — предложили увеличить количество эпициклов. С математической точки зрения это были попытки приблизить формулу эллиптического (кеплеровского) движения планеты вокруг Солнца первыми членами ряда Фурье — тригонометрическим полиномом. Из этого примера видно, что неудачный выбор вида зависимости порой не только приводит к значительным вычислительным трудностям, но и способен на долгое время затормозить развитие науки.

Во многих случаях цель исследования состоит в оценке всех или наиболее важных параметров искомой зависимости. Так, рассчитав радиусы эпициклов и скорости обращения по ним, средневековый астроном мог спокойно "поставить точку" и сказать, что характер движения планет им установлен и дело остается лишь за тем, чтобы повысить точность найденных им величин, включив в расчеты последующие наблюдения.

Аналогичная ситуация имеет место и в экономических исследованиях, например, при оценке зависимости доходности акций данной фирмы от положения в экономике в целом, характеризуемого доходностью всего рыночного портфеля акций. Используемая здесь модель САРМ [20] учитывает специфику эмитента двумя параметрами, а ее точность определяется точностью оценки этих параметров. Однако здесь оцениваемых параметров несколько, и поиск оптимальных оценок становится многокритериальной задачей. С другой стороны, часто значимость разных параметров для исследователя не одинакова. Так, при построении производственной функции Кобба-Дугласа In Z,=a шХ, + + (1 а) ш у, + В целью часто является оценка параметра @, отражающего эластичность национального дохода 7 от капитальных ресурсов Х, и "качество" решения определяется точностью оценки именно этого параметра.

Следует, однако, иметь в виду, что даже в задаче оценивания параметров в линейной регрессионной модели нельзя ответить на вопрос, какова же точность полученного решения (в указанном смысле). В лучшем случае здесь можно указать некоторую, например, 95%-ную доверительную область для вектора оцениваемых параметров, однако и в этом случае 5% исследователей, использующих данный метод, будут получать доверительные области, не содержащие истинного вектора параметров.

24

2.1.2. Непараметрический случай

При оценке непараметрической зависимости У = f(X) считаются известными некоторые свойства искомой функции, определяющие бесконечномерный класс функций $ в метрическом пространстве, которому она принадлежит. Но ни эти свойства, ни результаты наблюдений не могут дать полную и точную информацию о зависимости между характеристиками объекта. Поэтому трудно ожидать, чтобы функция f, согласованная пусть даже со всей имеющейся информацией, оказалась единственной — таких функций (будем называть их "допустимыми") будет достаточно много, и они образуют некоторое множество 9, в котором исследователь должен указать определенный (какой именно, зависит от применяемых методов оценки) элемент д. Если бы функция / стала известной, точность такого решения можно было бы оценить расстоянием P(f, 8) от } до д. Однако искомая функция f неизвестна. В этой связи точность решения задачи может оцениваться максимальным "расстоянием" p(g,%) = supp(g, Г) между g и элементами 9, т.е. хаусдор-

feD фовым расстояние от g до %7. Отсюда вытекает постановка задачи оптимизации оценки, т.е. выбора такого решения 2, которому отвечает минимальное расстояние p(g, 9). Тем самым оптимальная оценка здесь базируется на принципе минимального расстояния.

В ряде случаев конкретную задачу оценки зависимости можно рассмотреть как элемент некоторой последовательности таких задач с разным объемом исходной информации (так, задачу оценки параметров зависимости У =КХ) по известным значениям (Y,, X,) можно "вложить" в последовательность таких задач с возрастающим количеством узлов интерполяции X,). Если точность оценки зависимости стремится к нулю с увеличением номера задачи, такую оценку (метод оценки) обычно называют состоятельной, а искомая зависимость становится асимптотически измеримой. Однако при малом количестве наблюдений сведения о состоятельности оценки могут принести исследователю скорее моральное удовлетворение. В подобной ситуации более информативной будет проверка используемого метода оценки на ряде стандартных тестовых задач, аналогично проверке эффективности численных алгоритмов оптимизации [21].

Применение принципа минимального расстояния оказалось плодотворным в приближенном анализе. Существенную роль здесь сыграли идеи А.Н. Колмогорова [22] и основанные на них оптимальные методы численного интегрирования, предложенные в [23]. Оказалось,что те же идеи могут быть использованы для решения задачи интерполяции — первые результаты такого рода получены в [24-27]. Здесь предполагается, что множество допустимых функций — компакт 9 в не-

7 Разумно ввести "среднее расстояние" в функциональных пространствах не удается, ибо там нет подходящей вероятностной меры, на которой можно было бы базировать исчисление подобных средних.

25

котором метрическом пространстве, метрика в котором характеризует "точность" (ошибку) интерполяции. Тогда имеющаяся информация - в данном случае ограничения Y, = f(X,), t =1,...., 7, - сужает множество допустимых (согласованных с исходной информацией) функций до WB — некоторого компактного подмножества %. Тогда в качестве искомой функции f можно взять центр шара минимального радиуса, описанного вокруг % — при этом радиус шара будет характеристикой возможной ошибки. Отсюда естественно вытекает постановка задачи об оптимальном выборе "узлов интерполяции" X,, обеспечивающих наибольшую точность интерполяции любых функций из 9% (ищется минимальное К такое, что при любых Y, все точки из %, для которых f(X,)= У,, содержатся в некотором шаре радиуса К).

В литературе, начиная с [21, 24, 25, 26], исследован широкий класс подобных задач. В частности, рассмотрены функции как одного, так и нескольких переменных, в том числе и комплексных, различные типы множеств допустимых функций и метрики (в частности, С и 1.2). При этом построено много оптимальных или близких к ним интерполяционных формул и показана их состоятельность (с увеличением числа узлов интерполяции при не очень плохом их выборе ошибка оценки стремится к нулю). Установлена и связь оптимизационных задач теории оценки функций с поперечниками множеств в функциональных пространствах [24, 28]. Однако все результаты такого рода получены при весьма специфических ограничениях — предполагаются известными пределы изменения производных искомой функции (ограничениям на производные более высокого порядка отвечают более точные интерполяционные формулы). Эти результаты нашли применение в задачах табулирования и при разработке стандартных программ для ЭВМ [21], однако их применимость в экономике сомнительна, ибо исходная информация здесь относится к относительно небольшому числу объектов и не всегда позволяет определить границы производных искомой фунции. Наличие ограничений на "гладкость" функции здесь принципиально. Если неизвестно, насколько гладкой является функция, сколь велики могут быть ее производные, какова ее "аналитическая структура", класс допустимых функций предельно расширяется, а ошибка решения, например, за счет неточного определения точек разрыва или резкого роста, может оказаться какой угодно.

В то же время данный подход применим и при наличии ошибок наблюдения. Так, если вместо истинных значений У, и Х, наблюдаются значения (Л и У, и ошибки этих наблюдений не превосходят соответственно € и 6, то на множество BD допустимых функций накладываются дополнительные ограничения: [х,- И <8, АХ) - у | = =. Однако, если ошибки — случайные, такой подход уже неприменим (п. 2.7).

8 Например, если ищется зависимость затрат на изготовление машины от какоголибо технического параметра, то обычно априори неизвестно, не возникают ли резкие изменения затрат в каком-либо диапазоне значений этого параметра.

26

Интересные ситуации возникают, когда класс "допустимых" функций не является компактом. Пусть, например, У — неубывающая функция отХиА =X, <... <Хг= В. Очевидно, что при Х, = х< Хи. будет У, = f(x) = Уд, причем эти границы неулучшаемы. Поэтому наименьшая (в равномерной метрике) ошибка интерполяции достигается, если взять в качестве f(x) монотонную разрывную функцию, принимающую значения Y, в точках Х; и (У, + У,.1)/2 — в интервалах Х, < х<Х,.1. В то же время указать заранее, сколько узлов интерполяции потребуется для достижения заданной точности, невозможно, как нельзя указать и какие-либо двусторонние границы для искомой функции вне "интервала наблюдений" [A, В}. Тот же подход можно использовать, если известно, что искомая функция выпукла или вогнута. Скажем, для вогнутой f(x) на отрезке Х, = x = X,,,; при 1 <{<Т- 1 имеют место неравенства

- у, +) ^^ у + ff (x)= Wty GO XS FOS f (x)=

1+1 t

= mind У 4 teach (x); У И (yy)

1-Е “1 X42 — а

(при! =1и:=Т - 1 из двух величин, стоящих здесь под знаком минимума, остается только одна). Поэтому наилучшей оценкой для Кх) будет вогнутая функция, равная (ft(x) + }(х))/2 на отрезке (X,, X,,1). Разбивая отрезок [A, В] узлами интерполяции на все большее число равных частей, можно получить, что любая вогнутая на [А, В] (но не на всей числовой оси!) функция будет асимптотически измеримой.

Данный подход (он применим и в многомерном случае, однако расчетные формулы становятся сложнее) явно ориентирован не на эконометрические, а на технические или вычислительные задачи, отличающиеся характером исходной информации. Вероятно, он может эффективно использоваться в стандартизации и техническом нормировании. Однако в эконометрике сфера его применения ограничивается, по нашему мнению, зависимостями между экономическими и физическими или техническими показателями объектов. По-видимому, он применим при установлении зависимости затрат на добычу полезного ископаемого от глубины залегания или себестоимости изделия от серийности выпуска (подобных зависимостей на практике довольно много, но теоретических моделей для большинства из них не разработано). Однако здесь важно учесть, что такие традиционные для математики метрики, как равномерная или интегральная, для рассматриваемого класса задач обычно неудобны. Например, в равномерной метрике расстояние между функциями У=2Х u Y =2,01X, если их рассматривать на всей положительной полуоси, бесконечно велико, в то время как любому эконо-

9 Такие границы можно указать в других ситуациях, например, когда известно, что In f(x) — вогнутая функция, стремящаяся к —co при |x| -$ ©. .

27

мисту-практику такие функции покажутся близкими. Наоборот, в той же метрике зависимости У =Хи Y =X + 0,1 близки, хотя в конкретной ситуации эти функции для экономиста могут показаться совершенно различными (например, в ситуации, когда Х — планируемая мощность предприятия, 7 — затраты на его строительство, то для экономиста очевидно, что на строительство завода нулевой мощности нужны нулевые затраты, и потому вторая зависимость должна быть отвергнута и не может считаться близкой к первой).

Таким образом, хотя подход, связанный с введением "традиционных математических" расстояний между зависимостями и является формально корректным, его практическое применение требует большой осторожности. При введении метрики в пространстве функций необходимо учитывать и цели исследования. Например, в [6, 29] рассмотрена ситуация, когда целью исследования является возможно более точное определение "поверхности уровня" искомой зависимости, т.е. множества таких значений аргумента Х, которым отвечает данное значение У. Отсюда вытекает целесообразность измерения расстояния между функциями через хаусдорфово расстояние между их "поверхностями уровня" (см. также п. 2.3).

2.2. Принцип минимальных потерь

Часто конечной целью построения зависимостей между характеристиками экономических объектов является исследование и оптимизация хозяйственных решений. В этом случае ошибка при оценке зависимости сопряжена с возможными финансовыми или иными потерями (ущербом), которые хотелось бы минимизировать. Это означает, что в основу получения оптимальной оценки зависимости может быть положен принцип минимизации потерь Tf, в) от применения в вместо f. Соответственно точноть решения g будет характеризоваться максимумом величины 1(f, 2) по всем допустимым функциям f, а оптимальным решением будет функция 8, минимизирующая эти максимальные потери. Именно такой подход использован, например в [1], при описании построения регрессионной функции как решения задачи оптимизации. Отметим, однако, что функция потерь T(f, 8) не обязательно обладает свойствами расстояния (например, может не выполняться неравенство треугольника), так что рассматриваемый принцип не совпадает с принципом минимального расстояния.

Опираясь на изложенный подход и используя стоимостные или натуральные оценки потерь, можно узнать, насколько вырастут потери пользователя искомой зависимости (заказчика), если он будет опираться на другую, неточную зависимость. Это, безусловно, является преимуществом данного подхода. В то же время присущий ему недостаток есть продолжение его достоинств: для построения экономически интерпретируемой функции потерь необходимы специальные экономические

28

исследования (включая и экономико-математическое моделирование потерь) — это существенно повышает требования к исходной информации. К тому же величина потерь всегда зависит от цен и других быстроменяющихся характеристик экономического окружения, что вынуждает пересматривать оценки зависимостей при изменении внешней ситуации.

2.3. Принцип минимума интегрального отклонения

Точность оценки неизвестных зависимостей нередко оценивается следующим образом. Пусть истинные значения показателей Y u X связаны зависимостью Y = КХ), a по наблюденным значениям (Y,, X,) оценена (построена) зависимость У = P(X). При этом равенства У, = Ф(Х,) могут не выполняться. Точность восстановления истинного значения Ф(Х,) (‘локальная" точность найденной зависимости) может быть охарактеризована показателем (локального) отклонения — некоторой функцией и, = O(X,, Y,), обращающейся в нуль при У, = B(X,)!9,

Вопрос о рациональном выборе фунций ф нетривиален и заслуживает более подробного рассмотрения. Обычно в этом качестве выступают абсолютное отклонение и, = | Y,- B(X | и относительные отклонения и, = | Y,/@(X,) -1 | ии, = ФХУ, 1 |. Однако специфика экономических исследований обусловливает применение в некоторых случаях и иных, недостаточно хорошо исследованных в математическом аспекте методов измерения отклонений (мы не останавливаемся здесь на важном вопросе, в каких именно ситуациях целесообразно использовать тот или иной метод). Так, использование абсолютных и относительных отклонений оправдано, когда объясняемая характеристика У наблюдается с ошибками, однако это перестает быть естественным, если ошибки присущи наблюдениям объясняющих переменных. В подобных ситуациях отклонение и, полезно измерять расстоянием от точки Х, до изокванты Isoq(Y,) = {Х!Ф(Х) = Y,} [6]. Однако расстояние от точки до множества может вводиться по-разному. Tak, и, можно определить как евклидово расстояние от точки X, до ближайшей к ней

точки Х, Е Isoq(Y,). Этот способ не учитывает "относительной весомости" отдельных характеристик (компонент вектора X), однако указанный недостаток может быть устранен, если эти характеристики предварительно нормировать или, что то же, использовать для определения расстояния не простую, а взвешенную сумму квадратов разнос-

тей (X;, — X;,). Между тем можно учесть, что экономическое содержание

переменных Х позволяет ввести в пространстве характеристик дополнительное отношение "сходства". Так, если компоненты вектора Х OTражают объемы ресурсов, производимых или затрачиваемых наблю-

10 Для регрессионных зависимостей отклонения и, часто трактуются как "потери от неточности восстановления значения" математического ожидания У при Х =Х,..

29

даемым объектом, возникают два естественных отношения "сходства" ("общности"):

1) сходными с вектором Х считаются вектора X’ вида AX, имеющие ту же структуру, то же соотношение между ресурсами;

2) сходными с вектором Х считаются вектора X’, имеющие ту же ценность, т.е. стоимостную оценку ресурсов. Если обозначить через р вектор цен на ресурсы, то условием "сходства" будет равенство peX’ = peX, где © — знак скалярного произведения.

В подобных ситуациях более полный учет "качественной" информации об объектах ГС и экономическом содержании исследуемых характеристик этих объектов может быть обеспечен, если определить отклонение и, как евклидово расстояние (при необходимости — с весами)

от точки X, до ближайшей к ней сходной точки изокванты X, € Isoq(Y,).

Вычисление таких отклонений часто не составляет особой сложности. Пусть, например, фукнция Ф(Х) — однородная степени h по совокупности входящих в нее переменных, а сходными считаются пропорциональ-

vit

ные вектора. Тогда единственной точкой изокванты Isoq(Y,), "сходной" с 1/8 a Ф(Х,) относительное отклонение [, - 1| и абсолютное отклонение’

точкой X,, будет x, =2,X,, где A, = . Этому отвечает

uy = х, -X,|= |x, |- ln, -1l, где [Хх — расстояние от точки Х, до начала координат.

При правильном измерении локальных отклонений они, безусловно, характеризуют точность соответствующей зависимости. Так, если все они малы, соответствующую зависимость обычно считают достаточно точной. Однако чаще имеет место ситуация, когда для одних { отклонения и, малы, для других — велики. В этой связи необходимо ввести дополнительную характеристику — интегральное отклонение, агрегирующую информацию о величине отдельных локальных отклонений. Ее естественно представлять как некоторую функцию О(и|, ..., ит) OT независимых локальных отклонений Uj, ..., ити использовать в качестве критерия оптимального оценивания (отметим, что в качестве критериев оптимальной оценки зависимостей функция О и любая монотонная функция от О эквивалентны).

Агрегирующая функция О при данном методе обычно задается априорно, однако разумные способы агрегирования локальных отклонений (или "потерь") обязательно должны удовлетворять двум условиям "“нормальности":

© если все локальные отклонения равны нулю, то и интегральное отклонение тоже равно нулю: О((, ..., 0) = 0;

® при увеличении любого локального отклонения интегральное` отклонение возрастает.

Иногда от агрегирующей функции требуется еще и сим-

30

метричность: интегральное отклонение должно зависеть лишь от величины локальных отклонений, но не от того, в каком порядке они занумерованы. Это требование, однако, может быть неоправданным применительно к обработке временных рядов или, в более общем случае, несинхронных наблюдений экономических объектов.

Обычно для агрегирования применяются такие нормальные функции, как:сумма квадратов отклонений, сумма модулей, максимальный из модулей отклонений и т.д. Выбор между ними или обращение к другим функциям неочевидны. В этой связи представляется целесообразным использование аксиоматического подхода к построению показателя интегрального отклонения, когда вид агрегирующей функции выводится из требуемых ее свойств "дифференциального" характера. Для их ЭО(ш,...,и,)

ди, у (1 =1,....Г), выражающие "чувствительности" интегрального отклонения по отношению к изменению локальных. Следующее утверждение [15] (близкие результаты, выраженные в терминах эластичностей замещения одних факторов другими, доказаны в [30, 31, 32]) дает аксиоматическое описание широкого класса агрегирующих нормальных функций.

Утверждение. Пусть количество наблюдений больше 2. Если функция О нормальная и чувствительность интегрального отклонения по отношению к изменению каждого из локальных зависит только от доли последнего в интегральном отклонении, то

О=[(щ +... + (Биг, (2.1)

где В #0, by,..., Бт- положительные константы. Доказательство. Тот факт, что величина 4, зависит только от отношения и/О, может быть выражен соотношениями:

OOM... Mr) _ + [Ш _ м о = “| (t =1,...,T), (2.2)

где / — некоторые неизвестные функции одного переменного. sania (2.2) по другой переменной u,, получим:

90 1 ш | 99 __ш (4 :| “Ou,du, a =)-- ДЕ }2--4 "о 0 ) If Q

Это равенство должно сохраниться, если номера наблюдений Sut

поменять местами, поэтому — ordi sh Al ie al “GF Х. | и} от-

формулировки введем показатели а4,(щ,....ит)=

куда следует, что ии, 10) _ uy fil! 0) Н / = tit t = SJS 5 ито) > Обри, 10)

= H,(u,/Q).

31

Поскольку T > 2, возьмем какое либо ке [1, T], отличное OT 5и{. Меняя подходящим образом и;, можно добиться, чтобы при изменении и; и и, величина О не менялась. Поэтому при всех возможных значениях аргумента функция H,, а значит и H,, будет принимать одно и то же постоянное значение, которое мы обозначим через В - 1. Поскольку номера наблюдений 5 и { могут быть выбраны произвольно, следует,

FZ) в _ f,(2) f(z) =а, В", где а; - некоторая константа. Но тогда в силу (2.2) имеем:

30 ди,

что H,(z)= 1 при всех 5. Решая это уравнение, найдем

Q

Полученная система дифференциальных уравнений имеет два типа решений.

B-1 -a( 4] ‚ (t= 1,...,7). (2.3)

1) если B = 0, то Q=u;!...u7’. Такая функция He нормальна: если и: = 0, то приа,,..., ат > O и любых значениях других и, интегральное отклонение будет оставаться равным нулю;

2) если В #0, то О = (аш +...+атив +В. Эта функция будет нормальной только, если b = 0, а все а, — положительны. Но тогда она имеет вид (2.1). №

Потребовав дополнительно, чтобы функция О была симметричной,

из доказанного утверждения легко получить, что (с точностью до постоянного множителя)

О= (ив +... +). (2.4)

При В = 1 или 2 полученный критерий приводит к методам наименьших модулей или наименьших квадратов. В первом случае чувствительность интегрального отклонения по отношению к изменению каждого из и, — постоянная величина, во втором — пропорциональна доле и, в интегральном отклонении. При этом в обоих случаях могут использоваться не только абсолютные, но относительные отклонения (это предлагалось в [6, 33]) или отклонения от изокванты.

Предельными для функций (2.1) при В > <<, являются функции вида О = тах {Би1,..., bur}, из которых симметричной будет только одна (с точностью до постоянного множителя): О = тах {иу,..., ит}. Эти функции не являются нормальными: если, например, отклонение и! мало по сравнению с отклонениями других наблюдений, его увеличение не сказывается на величине интегрального отклонения О. Тем не менее в ряде случаев такие агрегирующие функции также используются в эконометрических расчетах (последняя отвечает минимаксному методу оценки зависимостей).

32

Использование показателя интегрального отклонения как критерия оптимальной оценки зависимостей широко распространено и часто дает практически полезные результаты, однако такой метод нельзя считать универсальным по следующим причинам.

1. Способ измерения локальных отклонений и вид агрегирующей функции О, как правило, задаются экзогенно, а не выводятся логически из имеющейся информации. В результате О не может трактоваться как оценка совокупных потерь от неточного восстановления функции, что предложено в [1. С. 168] (так, без специального экономического расчета трудно представить, чтобы в реальной ситуации подобные потери были пропорциональны сумме квадратов локальных отклонений или хоть както скоррелированы с ней).

2. Минимизация О не позволяет учесть информацию о степени влияния "прочих факторов". Так, трудно считать достаточно точной рассчитанную этим методом зависимость урожайности от количества вносимых удобрений, если известно, что она во многом определяется погодными условиями. Аналогично нельзя считать достаточно точной зависимость, обеспечивающую среднеквадратичное отклонение 2, если мы знаем, что случайная ошибка наблюдения имеет дисперсию не менее 100.

3. При построении агрегирующей функции ее аргументы (и,) предполагаются независимыми. Поэтому критерий интегрального отклонения не учитывает имеющуюся информацию о зависимости между ошибками наблюдений разных объектов (или одного и того же объекта в разные моменты времени), например, о том, что и; = U2 или и! > и) + из.

При оценке параметрических зависимостей методом минимизации интегрального отклонения обычно не удается правильно учесть часто встречающиеся в экономике ограничения на вид оцениваемой зависимости (например, обеспечить монотонность P(X) по переменной X, и ее выпуклость по переменным Х› и Хз). Пытаясь преодолеть эту трудность, на практике нередко варьируют составом объясняющих переменных и количеством вводимых параметров, заменяя содержательный анализ математическими спекуляциями. В этой связи прикладная статистика изучает проблему обеспечения "компромисса между степенью общности привлекаемого класса допустимых решений и точностью оценивания, которой возможно при этом добиться", и ставит вопросы типа "нужно ли для достижения максимальной точности в задаче восстановления значений результирующего показателя по значениям предикторов включать в модель все предикторные переменные, а если не все, то сколько и какие именно?" [1. С. 190-191]. Вопросы такого рода оправданы, по нашему мнению, только в случаях, когда речь идет об установлении каких-либо зависимостей лицами, не являющимися специалистами в соответствующей области, которые могут по своему произволу менять состав учитываемых факторов. В квалифицированных же исследованиях как состав объясняющих показателей, так и вид зависимости устанавливаются исходя из существа исследуемой проблемы.

2 Г.Б. Клейнер и др. 33

Таким образом, метод минимизации интегральных отклонений отнюдь не универсален, а точность оцененной этим способом зависимости не всегда характеризуется величиной отклонений.

2.4. Принцип максимальной гладкости в задаче интерполяции

Как отмечалось в п. 2.1.2, решение задачи интерполяции (в нашей терминологии — оценки) можно получить, используя принцип минимального расстояния. Для этого, однако, необходимы экзогенно заданная метрика в пространстве функций и компактность множества допустимых функций в этой метрике. К. тому же построение оптимальных интерполяционных формул обычно представляет трудную математическую проблему. В этой связи представляет интерес рассмотреть более простой подход к решению задачи, имеющий и более широкую сферу применения.

Рассмотрим задачу интерполяции функции одного переменного ХХ) по ее значениям в некоторых точках. При этом известно, что Г(Х) непрерывна, однако пределы ее изменения не известны. Очевидно, что решением такой задачи могут быть любые гладкие функции, график которых проходит через заданные точки. Среди них, естественно, могут быть и сколь угодно сильно колеблющиеся. Так, если наблюдения производились при целых X, то вместе с КХ) полностью согласованной с исходной информацией будет и любая функция вида КХ) + Asin(2nrX). Однако на практике подобные функции отвергают, считая их "неестественными", изменяющимися "недостаточно плавно". Это позволяет выдвинуть гипотезу о том, что существует некоторый измеритель "гладкости" (’плавности"), по которому исследователь отличает "хорошие" ("гладкие") функции от "плохих" и отбирает лучшую из них.

Что может служить измерителем гладкости? Очевидно, какой-то интегральный показатель величин производных искомой функции. Оказывается, что если в качестве измерителя гладкости используется функционал О, = | ЕЕСХ) Р dX, то наиболее "гладкой" (минимизирующей этот функционал) функцией окажется кусочно-линейная, получающаяся при соединении отрезками соседних точек (“обычная" линейная интерполяция). Однако такое решение часто не удовлетворяет исследователей. Поэтому конструктора решают подобную задачу, соединяя соответствующие точки обычно тонкой линейкой, подпирая ее упорами ("крицами") в этих точках с той или другой стороны '. В результате получается сплайн [34, 35, 36], минимизирующий функционал Q, = fl f’’(X) dX'!2. Обратим внимание, что интегралы здесь могут браться по всей числовой оси. При этом вне отрезка, на котором

И ВСША пользовались гибкими рейками (spline), к которым подвешиваются свинцовые грузила.

12 Он построен путем "склеивания" многочленов третьего порядка, проходящих через данные точки графика.

34

сосредоточены наблюдаемые значения X, "оптимальная" функция окажется для О; — константой, для О› — линейной. Тем самым обеспечивается не только интерполяция, но и экстраполяция наблюдаемых значений функции (в многомерном случае это одно и то же: про три произвольные точки пространства уже нельзя сказать, что одна из них лежит между двумя другими).

Метод сплайнов применим и в случае, когда значения функции У, наблюдаются неточно. Так, если известно, что ошибки наблюдений не превосходят 4, то задача сводится к минимизации функционала О. при ограничениях | Y,—f(X)| = а, Vt.

Функционалы гладкости применимы и для оценки функций многих переменных. Так, в двумерном случае хорошие результаты дает

too +00 применение функционала Оз= | | 147 dxdy, где A — знак оператора co ео Лапласа. Как и в одномерном случае, решение задачи здесь сведется к решению системы линейных уравнений, но "оптимальная" функция уже не будет кусочно-полиномиальной.

Более простые результаты можно получить в ситуации, когда известны какие-либо дополнительные свойства оцениваемой функции. Приведем два примера.

Пример 2.1. Пусть оценивается сепарабельная функция У = f,(X;) + +... + f,(X,,) по наблюдаемым значениям (Y,, X1,,..., Хи). Здесь удобно

© °° использовать функционал Q= > | | f/(X;)? dX;, и оптимальные

i=] оо функции, минимизирующие этот функционал, оказываются одномерными сплайнами. Правда, решение здесь не единственно (к любой из функций f, можно добавить произвольную константу, а из любой другой — вычесть эту константу), но на значение У это не влияет, а для получения однозначного решения достаточно наложить, например, ограничение (0) = /3(0) =... = (0) = 0. м

Пример 2.2. Пусть требуется оценить однородную функцию известной степени © от двух переменных Z = F(X, У) по ее значениям в точках (X,, Y,). Такая функция определяется своими значениями на единичной окружности. Перейдем поэтому к полярным координатам и обозначим: X, = КсозФ,; У, = R,sing, 2, = R°U; О, = КФ). Теперь задача сводится к отысканию периодической функции f по ее значе-

ниям в точках ф, для чего можно использовать функционал 2n Q=f If’ @) р dp. Оптимальным решением при этом будет перио0 дический сплайн. № Функционал гладкости, однако, должен учитывать и иную исходную информацию об оцениваемой функции. Так, при интерполяции монотонной функции с помощью функционала О› полученный сплайн может оказаться не монотонным. Здесь необходимо применять иные

2* 35

функционалы, например,

QO, = {ХО РаХ, (2.5)

что, однако, приводит к решению системы нелинейных уравнений.

Казалось бы, использование функционалов гладкости должно приводить к более субъективным решениям по сравнению с применением функций потерь. На деле этого не происходит, ибо сами функции потерь обычно задаются весьма приблизительно и с высокой долей субъективизма, в то время как представления о "степени гладкости" зависимостей у разных специалистов близки (в экспериментах установлено, например, что разные математики, графически решая одну и ту же задачу интерполяции, получают довольно близкие результаты). К. тому же функционал гладкости во многих случаях также допускает трактовку как своеобразная функция потерь, так как выбор "негладкой" зависимости может усложнить производственный процесс и часто создает трудности во взаимоотношениях с заказчиком или оппонентами!3. Поэтому использование функционалов гладкости для оценки непараметрических зависимостей в экономике может оказаться весьма полезным, и далее этот подход будет развит.

2.5. Принцип максимального правдоподобия

Каков бы ни был способ оценки неизвестной зависимости, исследователю приходится учитывать общее требование согласованности получаемой зависимости с имеющейся информацией. Но как понимать такую согласованность при наличии случайных ошибок? Общая теория статистики [17, 37] на этот вопрос ответа не дает, ссылаясь на "общепринятый" метод наименьших квадратов, который, как нам кажется, каждый раз нуждается в содержательном обосновании исходя из условий поставленной задачи. Один из путей такого обоснования иллюстрируется следующим примером.

Пример 2.3. Пусть оценивается линейная зависимость между переменными Х и Г, причем Х наблюдается точно, а У — со стохастической ошибкой, имеющей нормальное распределение с неболышой дисперсией. Пусть имеются три наблюдения пары значений Х u Y: (0; -0,01), (1; 1,02) и (2; 1,99). Надо полагать, что любой метод статистической обработки покажет наличие зависимости, близкой к У =Х. Однако наблюдениям "не противоречит" и зависимость У = 4 — X, поскольку теория вероятностей не исключает возникновения соответствующих такому выводу ошибок при измерении Y. Однако такую зависимость статистики отбрасывают: она могла бы иметь место только при очень больших и маловероятных ошибках наблюдения, и потому гораздо хуже согласуется с данными наблюдений, чем "рассчитанная" зависимость

3B последнем случае исследователь должен ориентироваться не столько на "свой" функционал гладкости, сколько на функционал, которым пользуются его предполагаемые оппоненты. .

36

У = Х. Формализуется это следующим образом. Вероятности событий, которые фактически произошли (хотя при данных условиях могли осуществиться и другие события), в теории вероятностей характеризуются термином "правдоподобие". В этих терминах зависимость Y = 4-Х описывается как в принципе возможная, но значительно менее правдоподобная по сравнению с зависимостью У = Х. Тем самым подразумевается возможность, пусть экспертно, отделить "достаточно правдоподобные" зависимости от "практически неправдоподобных" и тем самым руководствовать некоторым ограничением на величину "допустимого правдоподобия" (этим целям служат и критерии математической статистики, выделяющие область в пространстве оцениваемых параметров, где значение функции правдоподобия достаточно велико). Таким образом, здесь требование согласованности с имеющейся информацией трансформируется в требование "достаточного правдоподобия" искомой зависимости. №

Рассмотрение соответствующих методов начнем с ситуации, когда случайный вектор Х имеет дискретное распределение и вероятность события X =У - известная функция Р(У, О) от Y и неизвестного параметра ©. Произведено наблюдение, показавшее, что Х =Н. Требуется оценить значение ©.

Величина Р(Н, ©) здесь показывает, с какой вероятностью повторение наблюдений будет приводить к тому же результату при данном ©. Если она мала, то наблюденное значение Н маловероятно и плохо согласуется с известным распределением. В [38] предложено, по существу, обратить это утверждение и считать, что значение параметра © при малом Р(Н, ©) плохо согласуется с результатом наблюдения, а при большом Р(Н, ©) — хорошо с ним согласуется. Для описания такой согласованности предложен термин "правдоподобие", так что P(H, ©), рассматриваемая при фиксированном Н как функция от ©, именуется функцией правдоподобия. Соответственно оптимальной оценкой предлагается считать такой ©, при котором Р(Н, ©) максимально: в этом суть принципа максимального правдоподобия (МПпринципа) и основанного на нем метода максимального правдоподобия (МП-метода), широко применяемому в математической статистике со времен появления работы [38]. Чаще, однако, МП-принцип используется для недискретных распределений. Здесь вероятности событий типа Х =Н обычно нулевые, однако можно говорить о вероятностях попадания случайного вектора Х в малую окрестность той иной точки Н, который обычно описываются с помощью плотности распределения р(Н, ©). Поэтому здесь функцией правдоподобия именуют уже плотность р(Н, ©), рассматриваемую при фиксированном Н как функцию от ©. Соответственно модифицируется и МП-метод [2]. Далее мы увидим, что подобный переход от вероятностей к плотностям иногда может создать серьезные трудности. Использование МП-метода позволяет учесть и "неравноценность" наблюдений (разную дисперсию ошибок разных наблюдений, гетероскедастичность).

37

Пример 2.4. Оценивается удельный расход ресурса (а) при производстве некоторой продукции. Для этого используются фактические данные (X,, Y,) об объемах выпуска продукции и потребления ресурса по годам (или месяцам) отчетного периода. Казалось бы, для описания соответствующей регрессионной зависимости можно было бы использовать модель У, = aX, + &, где Ё, — независимые нормально распределенные ошибки с нулевым средним и одинаковой дисперсией 5. Здесь плотность совместного распределения У, имеет

1 2 ви ехр{- (У - aX,)° /25}. Максиммум этого выражения по $ д I] Vans р{- ( t 1) } у р

и а достигается при а=У, хи [5 X?; s=25 (Y,-aX,)? и равен t t t

([2neS]-"?. В то же время более оправданным будет иное предположение. Расход ресурса определяется обычно суммированием данных о расходе отдельных его порций, причем измерения объема каждой порции производятся с независимыми ошибками. Естественно считать, что количество таких порций пропорционально объему производства. Поскольку при суммировании независимых ошибок их дисперсии суммируются, из этого следует, что дисперсия Ё, пропорциональна X, Обозначив коэффициент пропорциональности через К, получим

Y -aX.y новую функцию правдоподобия [] = aX"

i SS OX ‚ аЕх, РКХ,

-1/2 ‘AKCHMaJIbHOe значение [omer x, достигается при

Ее

1

(У ах, )?

а=У | Xi R= = x t t t

>) TY;

В отличие от предыдущей, данная оценка а имеет более простой экономический смысл и обычно применяется на практике. №

Как видно из примера, при оценке зависимости нужна не только теоретическая модель этой зависимости, но и теория, описывающая характер ошибок наблюдений.

Пример 2.5. Оценивается параметр а зависимости У = P(X, а), связывающей истинные значения показателей некоторой ГС объектов, причем истинные значения X, измеряются точно, а вместо истинных значений У, наблюдаются значения СВ У, имеющие нормальные распределения со средними 7, и дисперсией 5 (неважно, известной или

нет). Функция правдоподобия (плотность вероятностей всех наблю-

1 2 денных значений) здесь равна expj—[V, - ®(X,,a)]°/2S}, а равна Позу 9040 125] наиболее правдоподобный, максимизирующий эту функцию век-

38

тор параметров а может быть найден по критерию

У [и -Ф(Х а)? = min (метод наименьших квадратов). Именно в 1

такой модификации данный метод чаще всего применяется в экономических исследованиях. Если же в рассмотренной ситуации ошибки в У распределены равномерно на некотором неизвестном симметричном интервале [-5, 5], то функция правдоподобия принимает

вид ] ХУ -Ф(Х,,а)] (25), где Х5() - характеристическая функция 1

указанного интервала. В этом случае МП-оценки параметров 5 иа даются решением оптимизационной задачи с минимаксным критерием

5 = шах | И, — Ф(Х,, а)! => min. м (2.6) t

На практике распределение случайных ошибок наблюдений обычно считается нормальным. Это, однако, может иногда противоречить экономическому содержанию переменных. В этой связи представляет интерес рассмотреть ситуацию, когда распределение ошибок качественно отличается от нормального.

Пример 2.6. Макроэкономическая производственная функция имеет вид: D=aK"L'“e™, где D — валовой внутренний продукт (ВВП), К — основной капитал, L — затраты труда (отработанные человеко-часы). Необходимо оценить параметры а, © и у этой зависимости (Y часто интерпретируется как темп автономного технического прогресса). С учетом влияния прочих факторов на ВВП результаты наблюдений могут быть описаны регрессионной зависимостью 7, =аХ“е"Ё,, где У = = D/L — производительность труда, Х = K/L — фондовооруженность труда, а Ё, — ошибка. Будем считать, что производственная функция выражает не фактический, а максимально возможный объем производства национального дохода при данных трудовых и капитальных ресурсах. Между тем влияние случайных факторов приводит к недоиспользованию ресурсов, т.е. к уменьшению ВВП против рассчитанного по модели. Это значит, что ошибки &, меньше единицы и отражают степень использования "мощностей народного хозяйства". Примем поэтому, что &, независимы и распределены на

отрезке [0, 1], причем функция их распределения имеет вид P(E) = ”. т

Тогда У, будут иметь на [0, ax“er] функцию распределения :

axre™ m m у . и плотность --| |. При этом критерий максимального У \ аХ,е правдоподобия примет вид: у т т П- — => max, (2.7) t У, ax, e

39

однако величины, стоящие в квадратных скобках, при этом должны быть меньше единицы. Отсюда легко находится оптимальное значение

а: а = maxY,X;%e”. Теперь, логарифмируя (2.7), получаем следующее 1 условие оптимальности для © HY: О = | maxtn у -Q1n X, — yt]-[In ¥, -ain X, - wh} => min. ste

Теперь из (2.7) можно найти и оптимальное значение т: т = Т/О. В следующей таблице приведены данные по США за период 19461960 гг., рассчитанные по [4]:

Годы 1946 1947 1948 1949 1950 1951 1952 1953 у) 0,372 0,350 0,392 0,419 0,489 0,504 0,522 0,534 InX,) 1,024 1,028 1,057 1,140 1,143 1,148 1,175 1,183

Годы 1954 1955 1956 1957 1958 1959 1960 IY) 0,563 0,593 0,596 0,610 0,598 0,637 0,654 In) 1,258 1,246 1,253 1,278 1,304 1,275 1,281

Расчет по приведенной модели дает: a = 0,568, у = 0,00829, т = 50,2. м

Если имеется несколько теоретических моделей искомой зависимости, МП-метод позволяет не только оптимально оценить их параметры, но и выбрать лучшую из них (при этом важно, чтобы функции правдоподобия в разных моделях отражали плотности распределения одних и тех же переменных).

Пример 2.7. Имеются две модели зависимости между YuXx: У, = =aX,+6,, где &, - независимые нормально распределенные ошибки с нулевым средним (см. пример 2.4). В модели 1 дисперсия &, постоянна, в модели 2 — пропорциональна X,, соответственно будут различаться и функции правдоподобия и оптимальные значения а. При этом лучшей модели будет отвечать большее значение функции правдоподобия (по существу, это эквивалентно получению МП-оценки дискретного параметра i — номера модели; поэтому близким значениям параметра не обязательно должны отвечать близкие зависимости). Используя формулы примера 2.4, получим, что для этого надо сравнить

2ne 7? 2ne ais ие [7A E0, -a,*| и [ео aK)", | EE x, . Поэтому t t 1

при сравнении моделей | и 2 (с оптимальными для них параметрами a) было бы неверно сопоставлять сумму квадратов "обычных" отклонений

40

УС, —ах,)? в модели 1 с суммой квадратов взвешенных отклонений t

УС, —аХ,)? ИХ, в модели 2. м t

МП-метод может использоваться и при неоднородности исследуемой совокупности.

Пример 2.8. Исследуется зависимость между производственной мощностью (Р) предприятия и затратами (С) на его создание. Теоретический анализ [15] показывает, что эта зависимость степенная: С =c,P%, где & — подлежащий оценке фактор концентрации, отражающий процентный прирост затрат при увеличении мощности на 1%. Обозначив шС = Y, InP =X, Inc} = b и учтя влияние "прочих" факторов, представим эту зависимость как регрессионную: У =aX +b+6. Ошибки & будем предполагать независимыми и имеющими нормальное распределение с нулевым средним. Для определения © можно было бы применить метод наименьших квадратов (см. пример 2.5), используя данные У, и Х, для действующих предприятий. Однако можно получить и более точные результаты, если учесть, что влияние фактора концентрации должно отражаться и при проектировании новых предприятий. С учетом возможных просчетов в определении сметной стоимости объектов при их проектировании и влияния на эту стоимость факторов, не связанных с мощностью объектов, соответствующая модель должна быть записана в виде У, = “И, +d +, где У, — логарифм сметной стоимости предприятия по г-му проекту (k = 1,...,K), U, — логарифм его проектной мощности. Существенно, что значение © в обеих моделях одно и то же, хотя свободные члены и дисперсии 5 и К ошибок переменных &, и Tl, различны.

Критерий правдоподобия в данном случае относится ко всей совокупности фактической и проектной информации и имеет вид:

LY, - 0x, - ВР И = EXP 55 K _ _ ay Il 1 ехр Va = Uy = AY пах. pei V20R 2R

Для оптимального © отсюда получается нелинейное уравнение, peпгаемое численными методами. Такой подход был применен в [15] к расчету влияния фактора концентрации производства на показатели предприятий сборного железобетона. №

При использовании МП-метода возможен и байесовский подход, подробно рассмотренный в [1, 39]. Здесь предполагается, что оцениваемый параметр а является реализацией некоторого случайного вектора с известным априорным распределением.

Пример 2.9. Оценивается параметр а в зависимости 7, = aX, + &,, где ошибки €, независимы и имеют нормальное распределение с

41

нулевым средним и дисперсией bX,, пропорциональной X,. Предполагается, что априорное распределение величины а — показательное со средним значением т. Функция правдоподобия здесь имеет вид:

1р-ат 1 —( у, -aX, ? /2bX, те lore ‚ И ее максимизация приводит к фор- =14/2mbX,

2 2 T _ 2 “U2 2 U) U та xX,

т у? где И=хУХ,; V= Ух; И=У—. м 1=1 t=1 X, Пример 2.10. Рассмотрим Ty же производственную функцию, что и в примере 2.6, представив ее в виде линейной зависимости У = aX + В, где У — логарифм производительности труда, X — логарифм фондовооруженности труда. С учетом влияния прочих факторов результаты наблюдений могут быть описаны моделью У, = ох, + B+ 6&,, где ошибки Ё, имеют нормальное распределение с неизвестной дисперсией 5. Ставится задача оценки параметра © в этой зависимости. По экономическому содержанию 0 < © < 1, причем имеющиеся данные по другим странам позволяют считать априорное распределение этого пара-

мулам:

ve

и

метра бета-распределением с плотностью чу (| — о)! и наГГ) иболее вероятным значением a, Тогда МП-критерий прини- (и+у-2) мает вид: T 2 ТУ) gay tg! pe 0% B25 > max, (2.8) ГОГ) 11/275 Максимизируя по 5, найдем: 5 = — = (ох, - Y,- В? ‚ после чего кри-

1 Те т -T/2 терий (2.8) упрощается: (1-a)#-av-! al Bau — OX, py | => тах. =

Отсюда для определения & получается уранение 4-й степени, имеющее единственный корень 0 < © < 1. М

2.6. Два правдоподобия

В классическом регрессионном анализе предполагается, что объясняемая переменная наблюдается с ошибкой, в то время как объясняющие переменные предполагаются измеренными точно. В этой ситуации функция правдоподобия в равной мере характеризует и правдоподобие

42

истинного значения переменной и правдоподобие ошибки наблюдения.

Между тем МП-метод используется и тогда, когда ошибки присущи наблюдениям нескольких переменных или когда количество случайных ошибок превышает количество наблюдений. При этом возникает двусмысленность, на которую в литературе, по-видимому, до сих пор не обращалось должного внимания. Дело в том, что в подобной ситуации неясно, правдоподобие чего должна отражать функция правдоподобия.

Пусть оценивается зависимость У = f(X,a) по известным результатам наблюдений U,=X,+6,uV,=Y,+ 1, В таком случае ошибки наблюдений связаны соотношением

п, +ХО, - 6, а)- У, = 0. (2.9)

Здесь неясно, должна ли функция правдоподобия отражать совместную плотность распределения ошибок &, и 1, (Т.е. плотность вероятности того, что одна из ошибок будет равна &,, а другая — N,), либо она должна отражать плотность распределения одной случайной величны 1, + КИ, -&,а)-У, (т.е. плотность вероятности выполнения равенства (2.9)). В первом случае МП-метод позволит нам установить наиболее правдоподобные значения E, ит, (и соответственно — истинных значений наблюдаемых характеристик), во втором же — только наиболее правдоподобное множество nap (E,, N,) удовлетворяющих ограничению (2.9). Таким образом, мы имеем два разных правдоподобия и соответственно два МП-метода. Условно можно назвать первый из них методом максимального правдоподобия ошибок (МПО-метод), а второй — методом максимального правдоподобия зависимостей (МПЗ-метод). Рассмотрим различия этих методов на примерах.

Пример 2.11. Случайная величина имеет равномерное распределение на отрезке [0, b], т.е. имеет плотность распределения Б-!х(х/Ь), где ХС) — характеристическая функция отрезка [0, 1]. Для оценки неизвестного параметра 6 производятся Т наблюдений. Результатом 1-го наблюдения является сумма О; двух независимых реализаций (&, и\|,) указанной случайной величины. МПО-метод использует функцию правдоподобия совместного распределения ©, и \|,, что приводит к задаче

ПЫ?Х(Е, /b)x(n, /b) = max (2.10)

при ограничениях &, + 1, = U,. 1 Легко видеть, что ее решением будет b = 3 тах U,. Оптимальные t

& ип, здесь He единственны, однако одной из оптимальных является комбинация &, = 1, = U,/2.

При использовании МПЗ-метода необходимо вначале установить распределение результатов наблюдений U, =&,+1.. Легко проверяется, что их распределение треугольное с плотностью p(x) =

43

= b"'max (0; 1-6-1х-И|}. Поэтому оптимальное Ь здесь должно находиться из условия: [] b-!max {0; 1 - lb-'U,-11} = тах. Нетрудно y6e1

диться, что теперь оптимальное Db всегда будет больше половины максимального из (/.. №

Пример 2.12. Оцениваются параметры зависимости Y = =Ф(Х,,Х,, ..., Х„, а) по данным наблюдений Уи И, = Xj, +6; где Gy — независимые нормально распределенные ошибки с нулевыми средними и одной и той же неизвестной дисперсией 5. Для применения МПЗ-метода необхо-димо определить плотность распределения случайной величины ®(U,- -Ё&» ...,Ош- Ene, а). Эта задача сводится к вычислению пкратных интегралов по областям, зависящим от вида функции Ф. Если Ф не линейна, это может представить значительную сложность.

В то же время при использовании МПО-метода подобных сложностей не возникает. Действительно, плотность совместного распределения наблюдений (функция правдоподобия) здесь равна

1 2 ех И. -Х,) /2S}, поэтому решение задачи обладает слеп Vans p{+ it it) } УР д

дующими свойстами:

1) Для любого [ точка (Ху, ..., Х„‚) является ближайшей к (U,,, ..., Ч) точкой изокванты У, = O(X),, Хо, ..., Хиь а) в евклидовой метрике.

Е хх,

NT = а it in? >

Оптимальная оценка а находится из условия S = min, т.е. по предложенному в [6] из других соображений критерию минимального среднеквадратичного расстояния от наблюдаемых точек (U;,, ...,U™) до соответствующих изоквант функции Ф. М

Пример 2.13. Оценивается параметр а зависимости 7, =Х, +a, причем Х‚и7, наблюдается с аддитивными ошибками, т.е. результатами наблюдений являются величины И, =Х,+ё, и\У, =У, +1, Теперь искомую зависимость можно представить так: И, =а-&,+1, где W,=V,—U,. Примем, что ошибки & ип, имеют плотности распределения р(Ё, К) и 4 (1, К), зависящие от неизвестного параметра масштаба К.

При МПО-методе параметры а и К вместе с &, ип, находятся путем решения задачи:

= ПР(Е,, R)q(n,,R) = тах; 1, -6,W, —aMt. t

При МПЗ-методе функция правдоподобия отражает плотность pacпределения 5(5, К) =Jq(n, R)p(M-C.R)dn разности 6, = 1, - &» так что задача оптимизации параметров аи К принимает вид: [.) =

= J] s(W, --а, К) > max. м 7

44

В примере 2.13 обе ошибки имели одинаковый "масштаб" (К). Между тем величина и "разброс" разных характеристик экономических объектов зависят от разных факторов. Поэтому хотелось бы использовать МП-метод и тогда, когда равенство (или пропорциональность) неизвестных дисперсий ошибок разных переменных не предполагается. Однако в этой ситуации МП-метод не всегда "работает".

Пример 2.14. Оценивается зависимость 7, = aX, в условиях, когда вместо Х‚и7, наблюдаются (, =Х, +6, и", =У, +1, причем ошибки ЕЁ ип, независимы и имеют нормальные распределения с нулевыми средними и неизвестными дисперсиями О и К. Легко видеть, что здесь V,= aU, + а, - 1

Решим эту задачу вначале МПЗ-методом. Для этого обозначим C, = аЁ, - п, и заметим, что эта случайная величина имеет нормальное распределение с нулевым средним и дисперсией а?0 + К. Теперь зависимость принимает вид У, =а0, +6, и ей отвечает функция правдо-

_ (И au,

1 бия L = По menos a mp | 2(a’Q+ R)

T KaeT, что оптимальное а определяется из условия S= > (V,—aU,)? > t=l => min, и при этом оптимальной оценкой для а20 + К будет S/T. Оценить &, ит, и, тем более, О и К в отдельности, к сожалению, здесь не

удается. Следуя [2, 40], применим теперь МПО-метод. Поскольку п; = а0, + аЁ, - У, то здесь:

т _8 one r _ 5 (aU, -V, +a8,)? 1 20 2R

= П ——е 11 2nJOR Приравнивая к нулю логарифмические производные L no &,, a, Ou К, находим:

& __ аа, -V, +a&,)

| Отсюда легко выте-

= тах. (2.11)

о г (2.12) L(aU, — У, + a&, ХИ, +Е,) =0, (2.13) t

т 1 T 1 “oto Е? =0; ~ Rt yee (aU, -V, + a&,)* =0. (2.14)

Как выяснится далее, следующее преобразование имеет решающую роль. Говоря словами [2. П. 29. 14], "уравнения (2.14) дают":

g=ty 52; R= (aU, -V, +a€,)’. (2.15)

45

2 Учтем теперь, что в силу (2.12) ty Е? = т (aU, —V, + a&,)*. t т

0? т_ат 3 Отсюда и из (2.15) получаем Г] =, так что К = a°Q - это соот-

ношение впервые получено в [40]. Однако соотношение истинных значений ОиК может быть иным, так что данный метод может давать несостоятельные оценки, что выяснено еще в [41]. Тем не менее для малых выборок несостоятельность оценок не слишком опасна, особенно, если учесть, что дисперсии ошибок — не самые важные параметры оцениваемых зависимостей.

Подставив R =а?0 в (2.12), найдем: &, = we, после а чего (2.13) дает: У (9-1) = 0. Отсюда находим: а? = t 2 2a 2 2

= уу? Ди. Легко проверить, что из двух значений а, 1 t

удовлетворяющих этому условию, максимальное значение функции правдоподобия будет достигаться, если знак а совпадает со знаком

x Им. t

Полученная оценка а обладает двумя важными свойствами: 1) она является средним геометрическим из оценки > U,V, / хИ?, 1 1

отвечающей уравнению регрессии V,=aU,—1,, и оценки У, у? /= U,V, , t 1 отвечающей "обратному" уравнению регрессии U, = а "У, +Ё;

2) она минимизирует критерий lal-! 3 (V,-aUu,)?.

t=]

Казалось бы, такое решение вполне удовлетворительно. Однако это не так! Дело в том, что проведенные преобразования некорректны, (2.14) отнюдь не всегда "дает" (2.15), а найденное сочетание &, а, ОиК не обеспечивает максимума функции правдоподобия (2.11). Действительно, положим все &, равными нулю и устремим О к нулю. Нетрудно убедиться, что в этом случае L — , тогда как при найденных выше &, a, ОиК величина L из (2.11) конечна. Таким образом, максимум функции правдоподобия в данной задаче бесконечный и достигается совсем при других сочетаниях &,, О иК. К тому же теперь становится неясным, какое значение а является оптимальным — любому а отвечает одно и то же бесконечное значение функции правдоподобия. Но, может быть найденное сочетание &,, а, О и К обеспечивает не глобальный, a локальный максимум функции правдоподобия? Оказывается, что и это не так: можно показать, что оно отвечает седловой точке функции правдоподобия — при отклонениях от нее в одних направлениях эта

46

функция убывает, но при отклонениях в других направлениях (например, при уменьшении О и увеличении К) - растет. Некорректность же проведенных преобразований объясняется просто: равенства (2.15) являются следствиями (2.14) только если О и К отличны от нуля! м

Как видно из последнего примера, МПО-метод оказывается неработоспособным в некоторых ситуациях. При этом одного того факта, что число ошибок превышает число наблюдений, недостаточно: в рассмотренном примере этот метод привел бы к корректному решению, если бы было известно отношение дисперсий О и К, но не позволил бы оценить а, если бы была известна сумма этих дисперсий.

2.7. Основные недостатки метода максимального правдоподобия

Мы видели, что МП-метод идейно прост, имеет широкую сферу применения и часто дает хорошие практические результаты. Однако он имеет и ряд недостатков.

1. Выбрать МП-методом лучшую из альтернативных моделей зависимости, как в примере 2.7, удается не всегда. Рассмотрим две модели зависимости между характеристиками У, и Х, объекта в динамике. В соответствии с первой У, = aX,+b +Ё, причем Ё, - независимые нормально распределенные случайные величины с нулевым средним и неизвестной дисперсией. Во второй модели 7, — У; = a(X, -Х, 1) + +1 где п, устроены аналогично. Для каждой из моделей МП-метод применим, однако сравнить значения правдоподобия нельзя, ибо в первом случае величина Y, случайная (и ей отвечает некоторая плотность распределения), тогда как во втором У, считается детерминированной (и отвечающая ей плотность бесконечна). Аналогичная ситуация часто имеет место при оценке параметров производственных функций.

2. На практике МП-метод обычно применяется для оценки параметрических зависимостей, когда функция правдоподобия зависит от конечного числа параметров. "В чистом виде" применить его в непараметрическом случае, по-видимому, нельзя (некоторые ситуации, где это удается, рассматриваются в п. 4.2, однако они носят исключительный характер, и к тому же здесь не удается оценить искомую зависимость во всей области ее определения). Далее, как уже отмечалось, иногда параметры оцениваемой зависимости можно рассматривать как реализацию некоторого случайного вектора с известным априорным распределением, применяя МП-метод в сочетании с байесовским оцениванием. Однако для непараметрических зависимостей такой подход реализовать не удается, поскольку в пространствах функций нельзя ввести "хорошую" вероятностную меру, сосредоточенную на функциях, обладающих привычными для экономических моделей свойствами (например, достаточно гладких и выпуклых).

47

3. Пусть наблюдения величины У имеют нормальное распределение с неизвестным средним а. Здесь наиболее правдоподобной и к тому же несмещенной оценкой параметра а является среднее арифметическое наблюденных значений показателя. Однако если функция распределения наблюдений даже незначительно отличается от функции нормального распределения (например, в равномерной метрике), среднее арифметическое перестает быть наиболее правдоподобной оценкой. Более того, эта оценка станет смещенной, и это смещение может быть сколь угодно большим. На практике это выражается в том, что наличие одного-двух резко выделяющихся наблюдений в большой выборке приводит к существенному искажению среднего значения. Трудности усиливаются в задаче построения регрессии - в [42] приведен пример, когда в выборке имеются два "сомнительных" наблюдения, причем вид линии регрессии существенно различен в зависимости от решения исследователя сохранить оба наблюдения, отбросить первое из них или отбросить второе.

Причину неустойчивости мы видим в том, что исходной информацией для МП-метода является вид плотности вероятностного распределения, в то время как этот метод слишком сильно реагирует на изменения этой плотности, особенно в той области, где она мала. Между тем даже тогда, когда совместное влияние большого числа малых случайных факторов обусловливает близкое к нормальному совокупное распределение отклонений, такая близость будет иметь место лишь вблизи центра распределения, тогда как на "хвостах" распределение далеко от нормального [43. Гл. XVI]. Однако поведение "хвостов" для МП-метода существенно: он придает чрезмерно большой "вес" большим ошибкам, информация о распределении которых наименее надежна. Эти и другие подобные трудности заставляют предъявить к методу оценки параметров вероятностных распределений дополнительное требование устойчивости (робастности, robustness), т.е. малой чувствительности к малым отклонениям от исходных предположений [42]. Сформулированное в таком общем виде, это требование естественно интерпретируется для любых типов задач оценки зависимостей и любых типов неопределенности.

По нашему мнению, сформулировав те или иные предположения о характере неопределенности наблюдений и выбрав подходящий метод оценки, каждый раз необходимо задаться вопросом: не может ли этот метод привести к серьезным ошибкам, если сделанные предположения будут "немного" нарушаться? Для получения на этом пути приемлемых методов оценки приходится вводить три типа ограничений:

® формализовать понятия "небольших отклонений" от исходных предположений (например, вводя расстояние между вероятностными распределениями и ограничивая величину этого расстояния) и "нечувствительности" к ним;

® ограничивать класс методов. Tax, МП-оценкой параметра 0 вероятностного распределения с плотностью p(x, 9) по наблюдениям

48

Xj, х будет решение уравнения У, рь,(х,,09)/ р(х,,0)=0. Однако t

более устойчивые оценки получаются [42], если ориентироваться на решение уравнений вида Улу(х,,0) = 0 с подходящими функциями \у; 1

® выбирать лучший метод в рассматриваемом классе, вводя дополнительные критерии качества оценки (например, минимум максимально возможного смещения при "наихудшем" отклонении закона распределения от нормального). При этом возникает проблема совмещения критериев точности и устойчивости оценок.

4. Мы уже отмечали принципиальное различие между дискретными и непрерывными распределениями: в первом случае функция правдоподобия выражает вероятность наблюдения тех или иных значений переменных, тогда как во втором — плотность распределения этих вероятностей. Рассмотрим подробнее, к чему может привести такое несоответствие в задаче оценки неизвестного параметра распределения.

Пусть случайная величина Х принимает только целочисленные значения, a p(n, ©) — вероятность события Х = я. Имеются наблюдения пт, ..., Np, о которых известно, что некоторые из них являются реализациями случайной величины X, тогда как остальные являются "грубыми ошибками" (резко выделяющимися наблюдениями). Известна, кроме того, вероятность & появления грубой ошибки. Требуется оценить параметр ©.

Допустим, что грубые ошибки являются реализациями некоторой случайной величины У, при чем событие У =n имеет (неизвестную) вероятность g(n). Обозначим через ЖФ множество номеров грубых ошибок в выборке (пу, ..., пт), а через k — количество таких ошибок. Вероятность того, что номера грубых ошибок образуют множество I, а результатами всех ("правильных" и "грубо ошибочных") наблюдений будут соответствующие значения N;, т.е. правдоподобие выборки, в этом случае составит [==“(1-=)Г-* Пап, П ри,,9). Поскольку

tex tex У, g(n,)<1, величина L будет максимальной при g(n,) = 1/k для всех tex te HX. Тогда L=(e/ ка — =)Г-* Il p(,, ©). Никаких принципиальных тех сложностей при максимизации этого выражения © и по XH здесь не возникает, и оптимальное решение всегда существует.

Ситуация в корне меняется, если распределения не дискретны. Здесь задача ставится аналогично: одни элементы выборки X), ..., Xp являются реализациями случайной величины Х с плотностью распределения p(X, ©), другие являются грубыми ошибками, причем вероятность того, что результатом наблюдения окажется грубая ошибка, известна и равна €. Однако теперь функцию правдоподобия невозможно даже записать, ибо распределение грубых ошибок может не иметь плотности (таковы ошибки из-за неправильного расположения

49

десятичной запятой в записи результата наблюдения) или иметь сколь угодно болышую плотность в отдельных точках. Поэтому корректное решение задачи становится невозможным.

Чтобы получать разумные решения, приходится ставить задачу иначе. Так, в [42, 44] среди методов определенного класса ищется метод определения параметров искомой зависимости, дающий несмещенную оценку при отсутствии грубых ошибок и в некотором смысле наименьшее смещение оценки (математическое ожидание модуля или квадрата отклонения оценки от истинного значения) при наихудшем распределении грубых ошибок. Таким образом, и здесь не удается уйти от проблемы совмещения разных критериев оценки.

2.8. Сочетание разных принципов

Практически приемлемые методы оценки непараметрических зависимостей можно построить, сочетая разные принципы оптимизации. Рассмотрим это на примере задачи интерполяции при наличии случайных ошибок в значениях функции — оценку функции КХ) по результатам наблюдений Y, = f(X,) + &,, где €, — случайные ошибки, имеющие одно и то же нормальное распределение с нулевым средним. Здесь можно учесть одновременно требования малости интегрального отклонения и гладкости оцениваемой малости интегрального отклонения и гладкости оцениваемой функции. Приведем три примера возможных постановок:

а) отыскание "наиболее гладкой" зависимости при ограничении на степень правдоподобия случайных отклонений приводит к задаче:

Of) =IlF"(x)P ax => ти, У, 0, - ИХ < D;

6) отыскание "наиболее гладкой" сепарабельной зависимости (С) + ... + f,(X,) при аналогичном ограничении (ср. пример 2.1): = 2 ПАС ах; => min;

п =] -co

2

п

(я - 2 ик» SD; (Хи) =В(Х) =... = fn Xn) =0. t =

При таких постановках необходимо располагать информацией о среднем размере (например, о дисперсии) ошибок наблюдения;

в) использование критериального функционала, построенного инструментальным методом и учитывающего как "гладкость" зависимости, так и наблюдаемые отклонения от нее. Так, применительно к постановке а) можно было бы использовать критерий

J If "(xX у АХ+кУ. (¥,- У = min, отразив в величине К "сравни1

тельную важность" ошибок наблюдения и гладкости функции. .

50

Несмотря на определенный субъективизм, такие постановки приводят на практике к разумным решениям. Более того, оказывается возможным оценивать зависимости и при наличии случайных ошибок в наблюдениях объясняемой переменной. Так, если истинными значениями показателей {-го объекта ГС являются Х, и У, = ДХ,), a наблюдаются величины 0, =Х, +6, и, =У, +1, содержащие случайные нормально распределенные ошибки с нулевым средним, можно оценить искомую зависимость, решая оптимизационную задачу

Sle’ ax +, {ky LV, - f(X)P +k,y[U, -X,]"} =>min с двумя "управ-

ляющими" параметрами ky и Ку. Особых вычислительных трудностей эта задача не представляет, и ее решением также оказывается некоторый сплайн.

2.9. Принцип максимальной согласованности

Рассмотренные выше принципы оценки зависимостей, несмотря на все их различия, допускают единую трактовку как частные случаи более общего принципа максимальной согласованности (далее — МСпринципа), в соответствии с которым оценка зависимости должна быть наилучшей с точки зрения критерия, отражающего степень ее "согласованности" (или "рассогласованности") с имеющейся информацией. Центральным при этом становится вопрос о разумном выборе измерителя "степени согласованности". Как показано выше, в этом качестве могут выступать и гладкость оцененной зависимости, и величина интегрального отклонения, и значение функции правдоподобия. Сам по себе МС-принцип выглядит достаточно тривиально. В том или ином смысле к возможно большей согласованности своих выводов с имеющейся информацией стремились почти все, занимающиеся поиском чего-либо: от исследователей до следователей. Поэтому данный принцип нельзя рассматривать как нечто абсолютно новое в науке. Однако, обобщая в нескольких направлениях принцип максимального правдоподобия, он позволяет расширить круг методов прикладной статистики. Например, становится очевидным, что структура критерия согласованности определяется характером исходной информации, а отнюдь не удобством вычислений или степенью разработанности математических методов.

При правильно выбранном критерии согласованности он, как и функция правдоподобия, может быть использован также для оценки той модели, которая была принята для описания функционирования объекта (см. пример 2.7). Поэтому выбор вида модели и выбор критерия оценки представляют собой части единого процесса и должны осуществляться согласованно [6]. В примере 2.7, где ошибки подразумевались случайными величинами, этот подход удалось реализовать в полном объеме. Однако возможна и иная ситуация. Пусть, например, влияние

си

"прочих" факторов носит "интервальный" характер и имеются две

51

модели зависимости между Y uX. Первая модель постулирует, что отклонения Y —aX по абсолютной величине не превосходят 10, вторая — что эти отклонения не превосходят 0,1У. Отыскание наиболее согласованных значений сводится здесь к решению системы неравенств 1У, - аХ/ < 10 для первой модели и У, -аХ/ < 0,1У, - для второй. Прежде всего решение здесь может не существовать или не быть единственным. Отсутствие решения, скорее всего, свидетельствует о неадекватности модели. Однако если решения для обеих моделей существуют, но не единственны, все они оказываются "в равной степени" согласованными с имеющейся информацией и неясно, какая модель лучше. Причина этих трудностей — в специфической структуре критерия согласованности, который в данном примере является булевским (согласованность либо есть, либо ее нет). Поэтому надеяться на успешную практическую реализацию предложенного принципа можно лишь тогда, когда критерий согласованности достаточно информативен и чувствителен к изменениям оцениваемых параметров. В этой связи полезно остановиться на указанных в [1. Гл. 6] принципах "выбора общего вида функции регрессии".

С первым принципом — "максимальное использование априорной информации о содержательной сущности анализируемой зависимости" — нельзя не согласиться. Мы трактуем его как необходимость опираться на теоретическую модель рассматриваемого процесса или явления, поскольку только она и выражает указанную "априорную" информацию, а выражения типа "содержательная сущность зависимости" могут быть конкретизированы только в модельной форме. Более спорен второй принцип: выбор вида искомой зависимости должен производиться на базе "предварительного анализа геометрической структуры исходных данных", который, в соответствии с [1], состоит из анализа парных корреляционных полей и учета свойств гладкости искомой функции. Между тем в случае, когда число учитываемых факторов более двух, анализ парных корреляционных полей мало что дает, "зрительно" выявить геометрическую структуру исходных данных почти невозможно, а свойства гладкости искомой функции, по существу, формулируются в терминах характеристик теоретической модели, так что они должны быть учтены в соответствии с первым, а не вторым принципом.

Наконец, в качестве третьего принципа предлагается использовать статистические приемы, позволяющие "упростить" искомую зависимость. Особое внимание при этом обращено на преобразования, сводящие искомую зависимость к линейной. Трудно спорить, что оценить линейную зависимость обычно проще, чем нелинейную, хотя выявить линейный характер зависимости или догадаться о "виде ее нелинейности" удается обычно только, когда в нее входит только одна объясняющая переменная. Однако в отрыве от теоретической модели “линеаризующие" преобразования обычно не имеют содержательного смысла. Если же теоретическая модель свидетельствует о наличии

52

зависимости, "сводимой" к линейной, это еще не означает, что соответствующее "сведение" упростит расчеты. Возьмем, например, зависимости У = In (аХ +b) + &, где & — нормально распределенная случайная величина с нулевым средним. Введя переменную Z = e’, мы придем к линейной зависимости 2 отХ, но случайная аддитивная добавка превратится при этом в мультипликативную, что не позволяет использовать методы "обычной" линейной регрессии.

Другая группа "статистических методов упрощения зависимости" состоит в отыскании "оптимального" количества учитываемых факторов. Однако если понимать под "факторами" какие-то характеристики объекта, то отбрасывание любого из них приводит к иной модели этого объекта, к оценке качественно иной зависимости. На каких-то стадиях исследования это, возможно, и допустимо, однако если исследователя интересует зависимость У oT X, иХ., то нельзя требовать, чтобы он изучал зависимость У только от X;. Между тем, как видно из [1. С. 196-197], "факторами" предлагается считать не только Х1, но и любые степени этой переменной. Если при этом коэффициенты при таких степенях имеют какой-то экономический смысл, то отбрасывание одного из факторов не позволяет установить важную характеристику объекта. Если же коэффициенты не имеют экономического содержания, то не имеет смысла и "окончательно полученная зависимость", независимо от величины интегрального отклонения, а процедура ее получения становится "игрой" с исходными данными.

Наконец, чрезвычайно важным и полезным представляется четвертый принцип: построенная зависимость должна быть возможно более устойчива по отношению к той совокупности исходных данных, на основании которой она оценена. Практическая реализация этого принципа предусматривает сопоставление оценок искомой зависимости, полученных на основании различных "подвыборок" из имеющихся наблюдений — "при неудачном выборе общего вида искомой зависимости результаты ее восстановления по различным выборкам, как правило, будут сильно отличаться один от другого". К сожалению, как-либо формализовать этот принцип затруднительно. Например, параметр a степенной зависимости У = АХ“ может быть надежно оценен, если в выборке есть наблюдения как с большими, так и с малыми значениями Х. Если же оценивать параметры этой зависимости по подвыборке, включающей только большие X или только малые Х, ошибки неизбежно будут велики. В других случаях надежная оценка параметра может потребовать, чтобы в выборке обязательно присутствовали наблюдения с большими, малыми и средними значениями Х. Поэтому дать общие рекомендации по формированию "тестовых подвыборок" в общем случае трудно. Однако часто используют следующий метод: чтобы исключить ситуации, когда оценка искомой зависимости обусловлена каким-то одним наблюдением, из них отбрасывают сначала первое, потом второе и т.д. и определяют, сильно ли это повлияло на

53

окончательный результат (в [42. Гл. 7] приведен пример, когда вид зависимости принципиально меняется из-за отбрасывания одного наблюдения).

Критерий согласованности можно использовать не только для "точечной", но и для интервальной оценки параметров зависимостей. Здесь результатом оценки является некоторая доверительная область в пространстве параметров, в которой "с достаточно большой степенью реальности" будет лежать оцениваемый вектор а. Естественно включить в эту область все векторы а, для которых значение критерия согласованности составляет не менее такого-то процента от максимального. Такой подход является логичным обобщением известного принципа построения доверительных областей для параметров вероятностных распределений [45].

В критерии согласованности можно учесть и "потери". Действительно, пусть двум вариантам зависимости примера 2.3 (У=Х или Y =4 — X) отвечают соответственно разные конструктивные решения здания. Зависимости У =4-Х отвечает более сложное и дорогое решение, и принятие такой зависимости, если на самом деле она неверна, приведет к перерасходу средств. Если принять зависимость У=Х, техническое решение будет проще и дешевле, однако если на самом деле имеет место зависимость Y = 4-Х, то построенное здание разрушится.

В подобной ситуации используются три способа рационального выбора:

® ограничивается (субъективно) снизу допустимый уровень правдоподобия получаемых зависимостей, а, следовательно, и множество "допустимых" сочетаний параметров оцениваемых зависимостей, после чего стараются минимизировать возможные потери от неправильного выбора параметров на этом множестве;

® выбираются "наиболее правдоподобные" сочетания неизвестных параметров, однако в последующие расчеты вводятся "коэффициенты запаса" (в расчетах конструкций — "коэффициенты запаса прочности"), устанавливаемые на основе прежнего опыта. Обратим внимание, что основная сфера применения этого подхода — технические расчеты, в экономических исследованиях он практически не используется;

® критерий оценивания формируется как агрегированный, учитывающий как правдоподобие оцененных зависимостей, так и потери, обусловленные их возможной неточностью. В [46] этот способ назван инструментальным.

Разумеется, широкое применение имеет и "волевой" способ, когда критерий оценивания не строится и не выбирается, а принимается без какой-либо мотивировки или со ссылкой на другие работы (где зачастую он также принимался без какого-либо обоснования). Применение такого способа, по нашему мнению, нецелесообразно, поскольку субъективизм в установлении критерия представляется априорно "“ббльшим злом", чем субъективизм в агрегировании (соизмерении) разнородных, но

54

естественных критериев. Заметим, что доказать ошибочность "волевого" способа, как правило, далеко не просто, хотя иногда это удается. Типичные примеры дает нам статистика. Так, традиционным в статистике стало исчисление среднего значения по формуле среднего арифметического, хотя хорошо известно, что при наличии грубых ошибок использование медианы дает ббльшую точность [42, 44].

Как мы видели, методы оптимальных оценок, основанные на функциях правдоподобия, показателях интегрального отклонения, функционалах гладкости, имеют свою ограниченную сферу применения, тогда как хотелось бы иметь возможно меньшее число более универсальных критериев, с более широкой сферой применения. Далее будет показана возможность построения таких критериев, применимых и при нетрадиционных формализациях неопределенности результатов наблюдений.

2.10. Об учете целевой информации при оценивании зависимостей

Рассмотрим задачу установления параметров линейной зависимости У = aX + b между показателями УиХ промышленных предприятий некоторой отрасли. Наблюдаемые значения этих показателей для {-го предприятия в году 1 (1=1,..., Т — 1) образуют вектор (Xj, Y;,). Предположим, что такая задача решается с целью "внедрения" ее результатов на конкретном крупном предприятии путем подбора рационального и приемлемого для него значения параметра Х в следующем году Т. Целевой характер такого исследования можно учесть, придавая в соответствующих расчетах больший вес последним годам отчетного периода и крупным предприятиям. Оправдан ли такой прием? Должна ли целевая информация учитываться дополнительно к исходной при построении критерия согласованности? Для ответа на эти вопросы заметим, что приведенная модель неполна: в ней отсутствует описание ошибок. Попробуем уточнить модель так, связь между наблюдаемыми показателями предприятия имеет вид У, = aX;,+ b+ &,, где €;, — нормально распределенные случайные величины с нулевым средним. Однако и эта модель будет неполной, поскольку в ней не отражены закономерности, описывающие изменение ошибок "в пространстве и во времени". Между тем такие зависимости могут быть разными. Приведем ряд примеров.

1) Ошибки &; в совокупности независимы и имеют одинаковую дисперсию. Легко видеть, что тогда оптимальные оценки параметров а ub находятся методом наименьших квадратов, причем всем наблюдениям приписывается один и тот же вес.

2) Ошибки Е; в совокупности независимы, но дисперсия ©;, обратно пропорциональна мощности предприятия М; в соответствующем году. Легко видеть, что здесь оптимальные оценки параметров аи

55

находятся методом взвешенных наименьших квадратов, когда каждому наблюдению (X;,, Y;,) придается вес М;. Такое решение, на первый взгляд, соответствует целевой информации. Предположим, однако, что модель случайных ошибок чуть-чуть иная: дисперсии ошибок прямо пропорциональны мощности предприятия. Легко видеть, что в такой ситуации веса наблюдений будут обратно пропорциональны мощностям, несмотря на наше желание придать больший вес крупным предприятиям. Этот пример, в частности, показывает, что при корректной формализации в модель могут войти и такие характеристики объектов ГС, которые непосредственно в искомой зависимости не фигурируют.

3) Все ошибки Ё, имеют одинаковую дисперсию. Для разных предприятий ошибки независимы, однако для одного и того же предприятия ошибки разных лет скоррелированы. Примером может служить модель: Ё„ = BE) + Пи, где Nip — независимые в совокупности нормально распределенные случайные величины с нулевым средним и одинаковой дисперсией. МС-принцип здесь требует выбрать а, Би В, максимизирующие соответствующую функцию правдоподобия. Однако это решение уже не обеспечивает минимума суммы квадратов отклонений с весами, зависящими от года, к которому относятся наблюдения.

В более общей ситуации для учета целевой информации вводятся "вспомогательные" характеристики объектов (М), отражающие "степень их соответствия целям исследования" и тем или иным способом "встраиваются" в критерий выбора оптимальных параметров искомой зависимости. Каким бы способом подобные операции не осуществлялись, за ними всегда скрывается явное или неявное представление исследователя о том, что объясняемая характеристика У зависит не только от объясняющих (Х), но и от "вспомогательных" переменных (М). Если такое представление явное, его можно формализовать в той или иной модели (типа приведенных выше). Хуже, когда исследователь вводит вспомогательные переменные и встраивает их в критерий оптимальности "на глазок", вместо того, чтобы включить их в состав объясняющих переменных модели и учесть выявленный предыдущими исследованиями характер их влияния на ту же объясняемую переменную У.

Часто целевая информация может быть в достаточной мере учтена при формулировке и уточнении теоретической модели зависимости, т.е. на более ранних стадиях исследования, когда первоначальное представление об искомой зависимости и о неопределенности входящих в нее характеристик еще только формализуется.

3. ХАРАКТЕРИЗАЦИЯ НЕОПРЕДЕЛЕННОСТИ РЕЗУЛЬТАТОВ НАБЛЮДЕНИИ

Гораздо легче найти ошибку, нежели истину.

И.В. Гете

В. п. 1.2 была представлена попытка классификации типов ошибок наблюдения в зависимости от их происхождения. В этом разделе основное внимание уделено различным подходам к формализованному описанию ошибок, их представлению в виде различных математических объектов.

3.1. Систематические ошибки

Наиболее простая причина несоответствия истинного и наблюдаемого значений характеристики — "систематические" ошибки, одинаковые при наблюдении всех значений какого-либо показателя. Они часто возникают в технике вследствие неправильной градуировки измерительного прибора. Рассмотрим случай оценки параметрической зависимости У =аХ +b по данным наблюдений. При точных наблюдениях найти искомые коэффициенты можно всего по двум точкам.

Пусть, однако, все наблюдения У содержат одну и ту же (постоянную) аддитивную ошибку. Легко видеть, что при этом коэффициент Ь не удастся точно определить ни при каком числе наблюдений. Однако, если бы речь шла о зависимости Y = aX? + bX, то хватило бы трех наблюдений, чтобы определить неизвестные а и Б.

Таким образом, наличие систематических ошибок ограничивает класс зависимостей, которых можно оценить достаточно точно при достаточно большом объеме исходной информации. В общем случае наличие систематических ошибок лишь увеличивает количество параметров в задаче. Tak, если искомая функция имеет вид 8(Х, ау, а, ...), где g — известная функция, A), ао, ... — неизвестные параметры, а переменная Х измеряется с систематической аддитивной ошибкой 4, то эта задача эквивалентна отысканию функции 8(Х + 4, aj, а», ...), при условии, что переменная Х измеряется без ошибок.

Для ситуации, когда результатом наблюдения является не число, а некий иной объект, можно предложить следующее определение, под которое в одномерном случае подпадают и аддитивные и мультипликативные систематические ошибки. Пусть У — пространство характеристик, которому принадлежат и результаты наблюдений, Е: У > У-

57

некоторое взаимно-однозначное отображение. Будем говорить о наличии систематической ошибки наблюдений, если истинная характеристика объекта Y и результат ее наблюдения N связаны соотношением № = ЕУ (каждый раз вместо истинного значения характеристики наблюдается ее образ при отображении Е).

3.2. "Случайные" результаты наблюдений — вероятностный подход

Для характеристики ошибок наблюдений обычно используется термин "случайные ошибки" или "ошибки, вызванные случайными факторами". Величина их колеблется, они могут быть положительными и отрицательными, и ошибки в одних переменных никак не связаны с ошибками в других (по крайней мере это может быть не видно "невооруженным глазом"). В дальнейшем иногда потребуется различать эту "практическую", разговорную трактовку понятия случайности от "математической", выражаемой в терминах теории вероятностей. Поэтому там, где это существенно, мы будем в первом случае брать слово "случайный" в кавычки, а во втором — использовать термины "стохастика" и "стохастический".

Одним из источников "случайных" ошибок может быть индикация — замена точной методики измерения показателя другой, приближенной (например, в силу ограниченности времени или ресурсов). Другой источник, по существу рассмотренный в п. 1.5.2, - наличие "прочих", не отраженных в модели факторов, влияние которых приводит к колебаниям наблюдаемых значений характеристик от истинных. Большинство статистиков не только называет эти колебания "случайными", но и рассматривает их как стохастические. Тем самым изменения методики измерения или влияние "прочих" (несущественных для исследователя) факторов рассматриваются как реализации каких-то случайных событий и объекты применения теоретико-вероятностных методов. Насколько это корректно?

Большинство событий, которые конкретный человек рассматривает как "случайные" (речь идет о событиях, являющихся предметом традиционного экономического анализа, а не о явлениях на, скажем, молекулярном уровне), предстают как закономерные, если взглянуть на них с иной точки зрения, учтя дополнительные характеристики и обстоятельства явления. Так, исход бросания конкретной монеты может быть рассчитан, исходя из скорости, с которой была брошена монета, силы ветра и направления броска. Опоздание на работу из-за задержки городского транспорта становится совершенно закономерным, если знать, что физический износ такого-то узла такого-то транспортного средства обусловил его поломку как раз в данное время. Такое представление о случайных событиях давалось еще в [47. С. 85-86]: "События, возникшие при встрече или комбинации явлений, принадлежащих независимым

58

рядам, получившимся в результате причинности, мы называем явлениями случайными или результатами случая". В более современных терминах это сформулировано в [48. С. 49]: "Случайное событие возникает тогда, когда в закономерное течение явления, определяемого данной причиной, вклинивается действие, определяемое другой причиной, не связанной с первой, и происходит воздействие одного явления на другое".

Примерно так же трактуется случайность результатов наблюдений в общей теории статистики: "При определенных условиях величину отдельного элемента совокупности можно рассматривать как случайную величину, имея в виду, что она является не только автоматическим результатом какой-то общей закономерности, но в то же время и сама определена действием множества факторов, не зависящих от этой общей закономерности" [37. С. 13].

Эти определения не являются строгими, но какое-то представление о генезисе случайности в природе, техносфере и обществе они, безусловно, дают.

Результаты наблюдений являются неопределенными именно потому, что в момент наблюдения нельзя точно описать ни условий наблюдения, ни конкретных особенностей методики наблюдения, которые приводят к отклонениям наблюдаемого значения характеристики от "истинного".

При вероятностном подходе эти факторы трактуются как условия некоторого "опыта". Предполагается, что такой опыт допускает многократные независимые повторения и при каждом повторении мы можем получить различные "элементарные исходы" (и соответственно различные результаты наблюдения), характеризующиеся определенной вероятностью.

Для обсуждения правомерности применения вероятностного подхода и последующего рассмотрения возможных альтернатив ограничимся дискретным случаем и приведем некоторые базовые положения теории вероятностей, относящиеся к случайным (в нашей терминологии — стохастическим) величинам (СВ).

Ill. CB Х характеризуется некоторым счетным множеством (скалярных или векторных) неравных между собой значений г; (точек в пространстве "элементарных событий"), а также набором величин pj, трактуемых как "вероятности" или "степени реальности" событий! X=r ie

П2. Величины р; неотрицательны и He превосходят единицы.

ПЗ. СВ Х отождествляется с детерминированной величиной г’, если событию Х =r приписана вероятность 1, а событиям Х = 5 npur#s— нулевые вероятности.

П4. Функция У =КХ) or СВ определяется следующим образом: это

14 В общем случае под "событием" понимается множество (объединение) элементарных событий. .

59

другая СВ с возможными значениями f(r;). Поскольку при разных i числа f(r;) могут быть равными, то в общем случае вероятность события У =5 определяется как сумма вероятностей событий X = г; по всем таким /, для которых Кг) = 5.

Пусть 4 - некоторое множество элементарных событий. Рассмотрим функцию f(r), равную | приге $ и 0 в противном случае. Тогда из определения ГП4 получим, что вероятность события X Е $ равна сумме вероятностей элементарных событий, образующих множество M (так, вероятность того, что величина Х окажется равной /1 или го, будет равнар, +р2). В частности, если множество 54 включает все элементарные события, отсюда следует, что Ур; = 1.

1

П5. СВ Х,, ..., Хх называются независимыми, если векторная CB Y = (X;, ..., Хр такова, что при любых 11, ..., г‚ вероятность события У = (/1,...гГю равна произведению вероятностей событий X; =r), ..., Хь = Г.

На основе этих определений оказывается возможным ввести определения других действий над СВ. Например, результат операции суммирования независимых СВ X + 7 вводится как функция от компонент векторной СВ (Х, У) с независимыми компонентами.

Такая трактовка "случайности" позволяет без внутренних противоречий и порочных кругов формализовать представления и о равновероятности событий и, особенно, об их независимости (что Курно трактовал как "принадлежность явлений к независимым рядам", а Карпенко — как "несвязанность причин" различных явлений). Одновременно появляется возможность использовать модели теории вероятностей для обработки информации о случайных событиях или явлениях. Но какое отношение имеют полученные на этом пути результаты к реальной действительности?

Обычно в обоснование правомерности (а то и необходимости) вероятностной трактовки реальных процессов и явлений приводятся следующие доводы.

1. Многие экономические события или явления можно рассматривать как повторяющиеся, массовые, являющиеся предметом теории вероятностей. При статистических исследованиях часто выявляется наблюдаемая устойчивость их частот, что как раз и доказывается в теории вероятностей, равно как и близость к нормальному распределению суммы большого числа независимых малых СВ. Наблюдаемые значения показателей также можно рассматривать как повторяющиеся (мысленно можно представить повторное наблюдение с иными ошибками измерения или при иных значениях прочих факторов), а следовательно — моделировать как реализации какой-то СВ. Исследуемую группу объектов или наблюдаемую ее часть на этом основании можно рассматривать как случайную выборку из некоторой, также мысленно представляемой ГС, включающей как реально существующие, так и "потенциально возможные" объекты. Например, количество предприя-

60

тий данной отрасли конечно, но наблюденные значения показателей некоторых (или даже всех) из них рассматриваются как выборка из бесконечного числа показателей, которыми могли бы характеризоваться такие предприятия при данных условиях, если бы "прочие факторы" приняли другие возможные значения. Соответственно появляется возможность оценивать точность статистических процедур, имея в виду колебания оценок при повторных выборках из той же ГС или при повторных наблюдениях тех же объектов.

2. В теории полезности [49, 50] доказано, что при определенных предположениях неопределенность исходной информации может быть учтена путем введения некоторых параметров, интерпретируемых как "субъективные" вероятности на множестве возможных значений исследуемых показателей, что автоматически возвращает нас "в лоно" вероятностных моделей.

3. Во многих случаях вероятностная трактовка "случайных" ошибок ведет к разумным с практической точки зрения решениям и статистическим выводам. Так, подтвердили свою эффективность на практике методы статистического контроля качества продукции, основанные на теоретико-вероятностных предпосылках.

4. Методы математической статистики позволяют (в вероятностных терминах) оценить ошибку полученных в результате расчетов значений параметров искомых зависимостей. При этом для "хороших" (состоятельных) методов ошибка определения нужного параметра (в параметрической зависимости между УиХ) стремится к нулю при неограниченном увеличении числа наблюдений.

5. Использование вероятностного подхода и аппарата является своего рода традицией, от которой многим трудно отказаться, в то время как альтернативные подходы требуют не только апелляции к новому математическому аппарату, но и известной научной смелости.

Рассмотрим, насколько убедительны эти доводы.

1. Прежде всего вызывает возражения объяснение понятия ГС как совокупности не только реальных, но и "потенциальных", воображаемых объектов. Возможность даже мысленного пространственного или временного повторения не всегда может быть содержательно оправдана. Опираясь на "повторяемость" (воспроизводимость) исследуемых явлений, прикладная статистика лишается возможности анализа уникальных (неповторяющихся в принципе) событий и явлений, выявления присущих им закономерностей. К тому же вероятностный подход предполагает независимость воспроизводимых наблюдений. Между тем если при разных наблюдениях используются одни и те же измерительные приборы, эксперты, формы отчетности и указания по их заполнению и т.п., то допускаемые при этом ошибки вряд ли можно априорно считать независимыми. Иными словами, математические представления о независимости могут расходиться с "обычными".

2. Действительно, субъективные вероятностные меры позволяют получать непротиворечивые и "разумные" решения. Однако этот метод не гарантирует воспроизводимости получаемых результатов (другой

61

исследователь, решая ту же задачу, может ввести другую субъективную меру). "Объективизировать" эти вероятности можно было бы в рамках некоторой процедуры стандартизации, аналогичной тому, как устанавливаются обязательные для проектировщиков коэффициенты запаса прочности конструкций. "Мир субъективных вероятностей" по необходимости субъективен и уникален, и согласование этих миров для различных соприкасающихся ситуаций и разных субъектов более чем проблематично.

3. Вероятностный подход действительно дает разумные: практические результаты, но только там, где неопределенность носит "технологический" или "природный" характер. Его применимость к процессам и явлениям, где влияние "человеческого фактора" существенно, в общем случае проблематична. Так, в "азиатском" финансовом кризисе 1997 г. инвесторы, использующие вероятностные модели фондового рынка, пострадали не меньше, чем те, которые ими не пользовались.

4. Методы математической статистики действительно позволяют оценивать точность определения параметров зависимостей при наличии стохастических ошибок. Это, однако, не является отличительной особенностью вероятностного подхода, ибо методы оценки точности решения задач имеются и в других разделах математики (например, в теории устойчивости дифференциальных уравнений), а отсутствие таких методов не лишает, например, языкознание статуса научной дисциплины.

К тому же эффективность математико-статистических методов обосновывается только "в среднем“. Однако, применяя хороший "в среднем" метод при решении конкретной статистической задачи, мы не можем быть уверены, что наша ситуация "средняя" (грубо говоря, если метод дает небольшую ошибку в 90% случаев, мы не можем быть уверены, что не попали в "плохие" 10%). Поэтому может оказаться, что найденные этим методом зависимости справедливы для’ указанной "генеральной совокупности", но не для той ее части, которая состоит из "реальных объектов". Не следует преувеличивать и важность того, что при увеличении объема выборки ошибка оценки искомой зависимости в определенном смысле ("с вероятностью 1") стремится к нулю..Действительно, не видим же мы ничего страшного в том, что большое количество малых воздействий может существенно изменить траекторию движения материальной точки, а большое количество опечаток может существенно изменить не только впечатление о книге, но и ее содержание. Поэтому отнюдь не всегда увеличение объема исходной информации должно компенсировать ее неточность.

5. Что касается традиции, то эта сторона дела имеет существенное значение, когда речь идет о давно сложившейся отрасли знания, обладающей свойствами преемственности полученных результатов (математика, физика, история и т.д.). К сожалению, экономическая наука в целом и экономико-математическое моделирование в частности не могут пока быть отнесены к такого рода дисциплинам. Многие базис-

62

ные положения экономической теории подвергаются регулярному пересмотру, а рекомендации приводят к провалам [51]. Та же неустойчивость характерна и для модельной части экономической науки, достаточно вспомнить в качестве примера многолетнюю дискуссию о применимости модели САРМ для описания функционирования фондового рынка [52].

Таким образом, наиболее распространенные доводы в пользу применения исключительно вероятностного подхода не следует считать неопровержимыми. Целесообразно поэтому более внимательно рассмотреть основы этого подхода и связь их с реальностью, имея в виду отнюдь не "ниспровержение" вероятностных методов (такие попытки хорошо известны), а более точное для сегодняшних условий определение места вероятностного подхода в арсенале современных средств моделирования экономики.

Начнем с того, что теория вероятностей как математическая наука базируется на определенной системе аксиом, при этом понятия "случайного события" и "вероятности" считаются первичными, неопределяемыми"5. Таким образом, эта теория не выводит указанные понятия из свойств реального мира. Приведенные же выше и иные описательные определения "случайности" как свойства реального мира поясняют ее в иных терминах, которые сами нуждаются в определениях ("встреча или комбинация явлений", "другая причина, не связанная с первой" ит.п.). В общем случае одни понятия определяются на основе других, поэтому в конечном счете приходится принимать всю совокупность понятий без точного определения. Более того, базисное исходное понятие должно характеризовать некоторое свойство случайных событий, присущее реальному миру, и тем самым представлять некоторое утверждение, принимаемое без доказательства, "аксиому А", из которой все остальные утверждения выводятся дедуктивными рассуждениями. Но тогда, как показано в [53. С. 59-60], "поскольку абсолютная достоверность событий невозможна, все, что А могла бы утверждать, должно быть сформулировано только в терминах "вероятности".

Иными словами, теоретически определить вероятности, не ссылаясь на них, нельзя. Поэтому на практике исходная вероятностная мера (величины p;), вводимая аксиоматически, возникает "из ниоткуда", ‚и потому не отражает каких-то реально существующих объектов или явлений. Более того, она неизмерима (в нашей терминологии), а правомерность ее использования подтверждается (и то — с некоторой вероятностью!) лишь в условиях массового применения получаемых результатов.

Недостаточная наглядность понятия вероятностной меры, отсутствие его "материальных носителей" еще ярче проявляются при рассмотрении‘недискретных СВ. Так, трудно "наглядно" объяснить, почему из

15 Исходным в теории вероятностей считается в общем случае вероятностное пространство, включающее одновременно пространство элементарных событий, б-алгебру подмножеств этого пространства и вероятностную меру, определенную на таких подмножествах. .

63

того, что событие имеет вероятность 0, не следует его неосуществиMOCTD, а из того, что событие имеет вероятность 1, не следует, что оно обязательно осуществится!6. Нельзя "наглядно" объяснить и тот факт, что не всякое множество элементарных исходов имеет вероятность. Разумеется, все эти факты становятся естественными и объяснимыми, если рассматривать их как логические следствия из первоначальных аксиом теории вероятностей. Но тогда мы имеем дело с ветвью чистой математики, развивающейся только на основе своих внутренних законов и оперирующей с удобными для их описания понятиями, не имеющими прямых аналогов в реальной действительности. Об этом весьма строго высказывается Дж. Литтлвуд [53. С. 62—63]: «Мы подходим, наконец, к связи между идеальной теорией и реальным миром, или "реальной" вероятностью. Сторонник математической школы, если он последователен, в вопросах приложений умывает руки. Тому, кто ими интересуется, он говорит, что реальная система существует параллельно обычной теории: "Если хотите, попробуйте: в мою задачу не входит обоснование приложений; это вопрос философский, я же математик". Он часто также слонен сказать: "попробуйте, если что-нибудь выйдет, то это и будет оправданием". Но теперь он уже не только философствует, но и делает характерную ошибку. Опытная проверка того, что гипотеза "работает", не может как индуктивное суждение служить обоснованием этой гипотезы по существу».

Таким образом, трактуя некоторый показатель экономического объекта как СВ, исследователь не может достаточно обоснованно ссылаться на какое-то свойство реальности, отражаемое вероятностной мерой. Однако он может поступить точно в соответствии с теоретиковероятностным определением СВ, конкретно указав множество возможных значений показателя и вероятностную меру на нем. Но тогда вероятностная мера становится выражением для представления исследователя о неопределенности рассматриваемого показателя - из объективной вероятности она сейчас же превращается в субъективную. Так, исследователь может приписать двум сторонам монеты вероятности 1/2 и назвать ее правильной (или сделать это со ссылкой на других авторов), однако никакие наблюдения за монетой не будут обоснованиями такого решения. Более того, он может проверить гипотезу, что монета правильная, но полученное решение также выражается в терминах вероятностей — получить достоверный ответ о правильности реальной монеты на этом пути невозможно.

Поэтому, строго говоря, вероятностная трактовка "случайности" основывается не на каких-то свойствах, присущих рассматриваемому реальному объекту, а на собственных (или почерпнутых у других авторов) представлениях исследователя о возможности описания поведения этого объекта вероятностными моделями. Однако, несмотря на невоз-

16 Например, что при реализации случайной величины Ё, равномерно распределенной на отрезке [0, 1], было получено некоторое число b. Событие & = b осуществилось, однако в соответствии с теорией вероятностей его вероятность равна нулю.

64

можность строго дедуктивного доказательства стохастичности событий и процессов!”, использование соответствующих гипотез в ряде случаев оказывается полезным и приводит к разумным практическим рекомендациям и результатам.

Рассмотрим, как выглядит теоретико-вероятностный подход к задаче оценки регрессионной зависимости Y = КХ) между показателями некоторого экономического объекта в условиях, когда на самом деле У зависит не только от компонент вектора Х, но и от других характеристик объекта ("прочих" факторов). Поскольку при теоретическом анализе ни один из "прочих" факторов не был включены в модель, это означает, что влияние каждого из них на У теория оценивает как слабое. Поэтому отклонение Y — f(X) обусловлено совокупным влиянием большого числа факторов, каждый из которых слабо влияет на 7. Ha следующем шаге делаются три допущения:

1) влияние каждого из прочих факторов сводится к аддитивной добавке к f(X), обращающейся в нуль при "средних" значениях прочих факторов;

2) указанные добавки являются СВ;

3) СВ, отвечающие разным "прочим" факторам, независимы или слабо зависимы.

Теперь в силу центральной предельной теоремы [43] отклонение У — f(X) может рассматриваться как CB, имеющая близкое к нормальному распределение с нулевым средним, и задача сводится к одновременному нахождению (по данным наблюдений) искомой функции ХХ) и дисперсии этого распределения.

Наиболее дискуссионным в этой конструкции является второе допущение, которое, как отмечалось, в принципе не может быть достоверно подтверждено. Причины методологических затруднений, связанных с трактовкой отклонений У -КХ) как CB, вряд ли лежат в конкретной системе аксиом, на которой базируется теория вероятностей. Во всяком случае, предпринятые до сих пор попытки не смогли преодолеть отмеченного выше разрыва между математическим понятием вероятности и свойствами реальных объектов. Подчеркнем еще раз, что такие соображения, как "устойчивость частот", возможность неограниченного повторения опытов, независимость отдельных наблюдений не могут являться основаниями для применения вероятностного подхода — наоборот, только после "аксиоматического" принятия этого подхода они могут выступать (но могут и не выступать) в качестве дополнительной информации о наблюдаемых значениях показателей.

В этой связи сфера применения вероятностного подхода представляется нам ограниченной. Он считается применимым при анализе таких явлений, как массовое обслуживание и отказы оборудования, однако уже при анализе колебаний биржевых котировок трудно отделить стохастические колебания от целенаправленной биржевой игры аген-

‘7 Например, не может быть достоверно доказано, что результаты выпадения монеты являются СВ в том понимании, какое дается в теории вероятностей.

3 Г.Б. Клейнер и др. 65

тов, располагающих большими средствами. Точно так же трудно убедить кого-либо из сведущих специалистов в стохастике курса доллара на ММВБ в марте-июле 1995 г. Попробуйте, например, с позиций "несведущего" экономиста оценить ("интерполировать") этот курс на 15.04 1995 г. (фактически он равнялся 5046 руб.) по данным на 01.03 1995 г. (4499 руб.) и 01.08 1995 г. (4405 руб.).

Отметим также, что‹некоторые статистики отвергают вероятностный подход, видя задачу статистики лишь в анализе совокупности наблюдаемых данных, получении ее обобщенных, "средних" показателей [18, 19]. Модельному описанию ошибок наблюдений при этом не уделяется должного внимания (они рассматриваются только как "шум", мешающий точно оценить нужные параметры, но не как проявление общей для всей ГС закономерности). Поэтому критерий согласованности получаемых результатов с данными наблюдений приходится устанавливать каждый раз заново, руководствуясь эвристическими соображениями, а получаемые выводы оказывается достаточно "бедными". К тому же при таком подходе статистические расчеты требуют большого числа разнообразных исходных предпосылок, что сдвигает разумный баланс между исходной и выходной информацией в сторону превалирования входной информации. Построение статистической модели при этом зачастую оказывается "экономически" неэффективным. Такой "сверхобъективный" подход можно считать полярным по отношению к вероятностному.

Однако есть и промежуточные подходы, образующие совместно с приведенными выше относительно богатый спектр возможностей при выборе инструментария моделирования зависимостей. Для этого, по существу, необходимо предложить альтернативные трактовки величин отклонений Y — f(X). В этих целях рассмотрим еще раз основные свойства П1-П5, характеризующие CB, и попробуем выяснить, можно ли их заменить какими-то иными.

Каждая CB Х (в дискретном случае) задается своим множеством возможных значений (носителем), в данном случае состоящим из счетного числа точек г, и набором чисел р‚, характеризующих "степень реальности" каждого из этих значений. Такая характеризация представляется естественной и разумной, позволяя отличать одну СВ от другой по "степени реальности" их значений. Естественно и удобно также считать, что "степень реальности" лежит между 0 и 1. Вполне разумно и определение детерминированных величин, позволяющее рассматривать их как частный случай СВ. Таким образом, положения П1-ПЗ каких-либо серьезных возражений не вызывают. Однако положения П4-П5 отнюдь не очевидны и имеют достаточно разумные альтернативы, так что ориентация эконометрики исключительно на теорию вероятностей может рассматриваться скорее как дань традиции, чем объективная необходимость.

66

3.3. Альтернативные описания "случайных" величин

Как отмечалось, для того, чтобы учесть неопределенность результата наблюдения, ее характер, необходимо уточнить и формализовать, описать с помощью некоторого математического объекта. При вероятностной трактовке таким объектом является "вероятностная мера" или "вероятностное распределение". Это означает, что при известном истинном значении показателя Х результат его наблюдения N рассматривается как СВ с заданным (однозначно или с точностью до некоторых неизвестных параметров) вероятностным распределением p(X, М), характеризующим "степень реальности" реализации наблюдения N (в дискретном случае это вероятность того, что наблюдаемое значение показателя Х окажется равным №) и удовлетворяющим требованиям, накладываемым теорией вероятности на вероятностные распределения. Однако такая формализация неопределенности не является единственно возможной. Возможны и иные формализации неопределенности, когда результат № наблюдения показателя Х характеризуется "степенью реальности" p(X; №), лежащей между 0 и 1, однако понятия независимости неопределенных величин и операции над ними вводятся иначе. Таким трактовкам "случайности" будут отвечать иначе методы оценки зависимостей.

В литературе известны два варианта замены приведенных выше аксиом (положений) П4 и П5. Первый вариант — так называемые нечеткие величины (НВ). Этому вопросу (теории нечетких множеств, нечетких подмножеств или размытой логике) посвящена большая литература, например, [54—59]. Так же, как.и'СВ, НВ Х может принимать различные векторные (в частном случае — скалярные) значения г, и событие Х =г так же характеризуется "степенью реальности" его осуществления рх(г), лежащей в пределах от 0 до 1. В литературе число рх(Г),именуется "степенью принадлежности г к множеству возможных значений Х". Далее мы будем иметь дело только с такими

HB, для которых зиррх(г)=1 - в [55, 56] они именуются норг

мальными. Функция рх(г), определенная на всем множестве возможных значений НВ Х, называется "функцией принадлежности". Как и СВ, НВ Х трактуется как детерминированная величина г, если рх(Г) = 1, рх(5) = 0 при всех $ # г. Функции принадлежности являются такими же "первичными" характеристиками НВ, как функции распределения - для СВ. В конкретных приложениях, как и в случае теории вероятностей, эти функции задаются экспертно, либо преобразуются по определенным правилам при выполнении тех или иных операций над НВ (при любых способах учета неопределенности уйти.от ее формализации не удается). Главные отличия НВ от СВ заключаются в ином способе определения операций с НВ и их независимости.

Именно, функция У =ДХ) от HB (так же как и для CB) опреде-

3* 67

ляется следующим образом: это другая HB, возможными значениями которой являются f(r;). При этом уравнение f(r) = $ может вообще не иметь решений, иметь одно или много решений г. Принимается, что степень ру(г), принадлежности вектора 5 к множеству значений НВ Ув первом случае равна 0, во втором — py(r), в третьем — наибольшей (точнее — верхней грани) из соответствующих величин p(r). Разумеется, как и в вероятностном случае, для НВ также можно определить понятие события как некоторого множества элементарных событий. Но теперь степень принадлежности события (г1..., г„} к множеству возможных значений X, будет уже не суммой величин р(г\), ..., р(г»), а максимальной из них.

НВХ,, ..., Хь характеризуемые функциями принадлежности соответственно р: (Г), ..., рег), называются независимыми, если векторная НВ Y = (Х|,...,Х,) такова, что степень принадлежности вектора (rj, .... 7.) к множеству возможных значений У равна наименьшей из величин р: (г), ..., риг».

Из приведенных определений, в частности, вытекает следующее правило суммирования независимых НВ: если HB X, их. характеризуются функциями принадлежности соответственно р! (г) и р2(г), TO Z =X, + Х, определяется как НВ, имеющая функцию принадлежности

р(г) = sup (тах[ р; ($); ро(г- $)]}.

Частным случаем НВ являются величины, заданные интервально. Для них функция принадлежности равна 1 на некотором множестве (обычно - на интервале) возможных значений ги равна 0 вне его.

Приведем некоторые сведения из теории НВ [58]. Каждая НВ Х однозначно характеризуется семейством своих "множеств уровня" (точнее — надуровня) Gy(h) = {rlpy{(r) = h}, О<й < 1. Множества этого семейства вложены друг в друга, но могут иметь произвольную форму!8. Если все они выпуклы и замкнуты, назовем НВ стандартной (в одномерном случае стандартными будут НВ с унимодальными функциями принадлежности). Заменив каждое из множеств уровня своим выпуклым замыканием (в одномерном случае — наименьшим отрезком, содержащим множество уровня), мы получим другое семейство множеств, отвечающее новой, стандартной НВ X°, которую мы назовем выпуклым замыканием исходной НВ Х. В [58] предложено характеризовать близость НВ расстоянием между соответствующими множествами уровня — аналогично определялось расстояние между зависимостями в п. 2.1 и (6, 29].

При умножении НВ на положительное число A множества уровня подобно преобразуются — каждая точка любого из этих множеств умно-

18 Семейство множеств уровня может быть также положено в основу определения понятия нечеткой величины. Так, нечеткую величину, можно определить как отображение отрезка [0,1] в семейство вложенных друг в друга подмножеств числовой оси.

68

жается на А. При сложении двух независимых НВ соответствующие множества уровня суммируются по Минковскому!.

Выясним, есть ли аналог закону больших чисел для НВ. Пусть S, — среднее арифметическое из п независимых НВ X; с одинаковыми функциями принадлежности. Из изложенных выше соображений несложно вывести, что если усредняемые НВ стандартны, то 5„является НВ с той же самой функцией принадлежности. Если же они не стандартны, то при п -> co функция принадлежности для 5„стремится к функции принадлежности для выпуклого замыкания любой из X; Как видим, аналога закону больших чисел для НВ нет - "случайные" колебания такого рода при усреднении взаимно не погашаются!

Пусть Z — нечеткая ошибка наблюдения. Естественно считать, что ее функция принадлежности 7 = р7(г) велика при малых г и убывает с ростом 1. Поэтому существует непрерывная обратная функция Irl = 2(п). Пусть К = Rz = g(1/2). Тогда любая ошибка, по модулю, не превышающая А, будет иметь большую степень принадлежности, чем любая ошибка, по модулю превышающая R. На этом основании величину К можно трактовать как среднюю ошибку.

Изложенная модель характерна для "обычных", т.е. "малых", ошибок. Для грубых ошибок ситуация несколько иная: здесь степень принадлежности тем больше, чем больше величина ошибки, поэтому функция g будет возрастающей, а не убывающей. Определение средней ошибки здесь сохраняется, но приобретает иной смысл: любая ошибка, по модулю не превышающая А, будет иметь меньшую степень принадлежности, чем любая ошибка, по модулю превышающая А.

Мы не будем останавливаться на технологии и методологии практического использования НВ, отсылая чиателей к [56, 58 и др.]. В то же время представляется важным привести точку зрения Sana, предложившего теорию нечетких множеств и дающего в предисловии к [59] такие объяснения целесообразности ее практического применения. "Первое объяснение может быть описано в терминах "мы не знаем", означая, что наше знание некоторой системы недостаточно точно или недостаточно полно для того, чтобы позволить нам использовать стандартные методы количественного анализа. Второе объяснение может быть описано в терминах "нам не так важно знать", что означает, что у нас нет необходимости знать какую-то систему с высокой степенью точности и детализации. Другими словами, нам не так важно, что информация неточна или частично недостоверна, если это может быть использовано для достижения хорошего и устойчивого (robust) решения с низкой стоимостью и хорошо согласованного с реальностью".

Второй альтернативой СВ являются введенные в [60] величины, наделенные правдоподобием (ПВ, likelihooded variables). Эти величины

19 По Минковскому, сумма множеств 4 и B есть объединение всех точек вида х + у, mex Е З, уЕ %. .

69

задаются с помощью специальных функций правдоподобия так же, как устанавливаются вероятностные распределения для СВ или функции принадлежности для НВ (аксиоматически, экспертно или с помощью функций правдоподобия других величин).

Понятие степени правдоподобия при этом представляется более наглядным, чем понятие "степени принадлежности" для нечетких величин, формализуя представления субъекта о правдоподобности тех или иных событий и являясь основанием для проведения индуктивных рассуждений при неполной информации [61].

Как и НВ, ПВ Х однозначно характеризуется некоторой функцией (относительного) правдоподобия рх(г), определенной на всем множестве возможных значений Х, удовлетворяющей требованиям: рх(г) = 0; sup py (Г) = 129. Числу рх(г) при этом задается смысл "правдоподобия г как возможного значения X", точнее — как относительного правдоподобия г по сравнению с наиболее правдоподобным из возможных знанений Х. ПВ Х отождествляется с детерминированным вектором г; если рх(Г) = 1, рх($) = 0 при всех s#r. Легко убедиться, что функциям правдоподобия, равным 1 на некотором множестве (например, отрезке) и О вне его, отвечают интервально заданные величины.

Функции от ПВ определяются точно так же, как и для НВ, однако независимость ПВ вводится по аналогии с CB. ПВ Ху, ..., Ху, характеризуемые функциями правдоподобия соответственно (Pr), ..., P(r), называются независимыми, если функция правдоподобия векторной ПВ У =(X, ..., Ху имеет вид ру(т, ..., г) = ри), ....,РКТь.

Отсюда, в частности, вытекает правило суммирования независимых ПВ: Z =Х,+Х,) определяется как ПВ, имеющая функцию правдоподобия р (г) = sup [р ($)ро(г - $)]. В [57, 62] данное: правило

5

вводилось как одно из возможных обобщений правила суммирования нечетких величин (однако ПВ нельзя рассматривать как разновидность НВ - эти величины выражают разные, но не все возможные виды неопределенности).

Приведем, аналогично вышесказанному, некоторые сведения из теории ПВ [60]. Каждая ПВ Х однозначно характеризуется своим "логарифмическим надграфиком" Gy = {(r, ВН рх(г) = й},.0<.И =. 1.. В том случае, если это множество выпукло и'замкнуто, назовем‘ ПВ стандартной (в одномерном случае Х будет стандартной, если функция In px(r) выпукла. Заменив логарифмический надграфик его выпуклым замыканием, мы получим другое множество, которое’ будет. также логарифмическим надграфиком некоторой стандартной ПВ Х‘ —выпуклого замыкания исходной ПВ Х.

Близость ПВ оказалось удобным характеризовать хаусдорфовым

20 Последнее требование можно заменить двумя другими, возможно, более естественными: 1) функция py ограничена сверху; 2) функции Py и Арх при k > О\аиределяют одну и ту же ПВ.

70

расстоянием между их логарифмическими надграфиками. При умножении ПВ на положительное число А логарифмический надграфик подобно преобразуются — каждая его точка умножается на A. При сложении двух независимых ПВ логарифмические надграфики суммируются по Минковскому. Аналога закону больших чисел нет и для ПВ: функция правдоподобия для среднего арифметического из п независимых "одинаково распределенных" ПВ Х; при при п —> ® стремится к функции правдоподобия для выпуклого замыкания Х; (это ‚доказывается так же, как и для НВ).

Как и для НВ, функции правдоподобия для ошибок наблюдений можно считать зависящими от модуля ошибки. Поэтому и здесь можно ввести понятие средней ошибки, отделяющей более правдоподобные (т.е. имеющие степень правдоподобия больше 1/2) значения ошибок OT менее правдоподобных. Так, если функция правдоподобия ошибки

2 имеет функцию правдоподобия g-r/R)

равна К.

Будем называть функцию рх функцией реальности независимо от того, какой из трех типов неопределенности она отражает.

Не следует думать, что все возможные типы неопределенных величин сводятся к трем описанным - их намного больше, и проблема полного описания класса "разумных" и практически важных типов неопределенности еще ждет своего решения. Отметим лишь, что "альтернативные" определения независимости должны, по нашему мнению, удовлетворять следующему требованию: если независимыми являются компоненты векторов = (X}, X2) и И = (©, Хз), то независимыми будут и компоненты векторов U = (X,, Хз) u = (0, X2). Такому требованию удовлетворяют не только операции умножения "степеней реальности" или взятия минимальной из них, но и другие, более "экзотические",

‚ то средняя ошибка будет

например, р2(11, ..., Ги) = тах |, У Px; cn} i=l

В то же время рассмотренные выше способы формализации "случайных" ошибок в определенном смысле могут рассматриваться как элементарные. Используя их как "кирпичики", можно получить "смешанные" типы неопределенности (см. п. 4.4), моделями которых удобно пользоваться при решении эконометрических задач. В этой связи в следующей таблице сопоставляются определения и основные свойства рассмотренных выше типов неопределенных скалярных величин.

Общую схему оптимальной оценки рассмотрим на примере оценки (векторного) параметра а в зависимости У = P(X, а). Пусть Y, их, - "истинные" значения характеристики 1-го объекта ГС, Х, наблюдается точно, У, — наблюдаемые (с ошибками) значения Y,, a Y u - вектора, образованные из У, и\, для всех г. Если результатами наблюдений являются неопределенные величины одного из рассмотренных выше видов, то для каждого {Е при заданных 7, наблюдение У, характеризуется некоторой "стеленью реальности" п, = рк(У,, У, а). При этом

71

Основные типы иеопределенных величин

Понятия, связанныес | Случайнная величи- | Нечеткая величина | Величина, наделеннеопределенной величи- на ная правдоподобием ной Х

Основная характерис- | Вероятность собы- | Степень принад- Правдоподобие тика рх(г) — "степень тия Х =r лежности г к мно- гкак возможного реальности" события жеству возможных | значения Х

Х=г значений Х

Свойства функции pyr) | pyr) > 0, pyr) = 0, Pr) = 0, . sup px{r) = 1 sup px{r) = 1

у р x(r) =1 г г г Х - детерминированная | Рх(!) = 1, рх(г) = 1, рх(г) = 1, величина г рх($) =0; У5=г рх($) =0; Vs#r рх(5) =0; Vs¥r Y =f) py¥s)= У px(r) | pyls)= sup px(r) | ри) = sup рх(г) rif(r)=s rf(r)=s rf(r)=s

Независимость компо- | Pz(M 1. ++: и) = PACT, +=. Га) = Рау, oy та) =

нент вектора п = ттрх (п) n

Z= (Xp, 0s Xp) = I Px, (1) i у = I Px,(%)

t=] =

если сочетание (Y,, V,, а) в принципе невозможно (например, какие-то из показателей выходят за допустимые пределы), соответствующая степень реальности принимается равной нулю. Теперь по приведенным в таблице формулам можно определить и степень реальности для всей совокупности наблюдений P(Y, У, а). Так, для независимых случайных наблюдений она равна произведению всех 7T,, а для независимых нечетких наблюдений — наименьшему из 7, При фиксированных peзультатах наблюдений У эта функция, как отмечено выше, будет отражать степень согласованности набора (У, а) с данными наблюдений и другой исходной информацией, поэтому ее можно использовать как критерий согласованности (поскольку его значение лежит между нулем и единицей, он не будет инвариантен относительно монотонного преобразования). МС-принцип приводит теперь к задаче максимизации P(Y, У, а) по переменным У na.

С формальной математической точки зрения методы оценки зависимостей при каждом из рассмотренных типов "случайных" ошибок идентичны: задается характер неопределенности результатов наблюдений и соответствующие функции реальности (они могут строиться на базе как объективной, так и субъективной информации, аналогично тому, как в статистике вводится функция нормального распределения ошибок), что позволяет сначала записать критерий согласованности имеющихся наблюдений с исходной информацией, а затем и выбрать

72

такую оценку зависимости, которая максимизирует этот критерий (соответствующие примеры приводятся ниже). Однако вероятностная формализация "случайных" ошибок заставляет дополнительно требовать повторяемости, воспроизводимости наблюдений, рассматривать их как выборку из некоторой теоретически бесконечной ГС. В то же время при описании неопределенности в терминах НВ или ПВ такие интерпретации не требуются — этими объектами могут быть описаны и неповторяющиеся, уникальные наблюдения. Естественной платой за это является отсутствие предельных теорем и несостоятельность оценок ("наиболее согласованные" значения оцениваемых параметров могут не сходиться к истинным при увеличении числа наблюдений), хотя при малых объемах наблюдений эту цену нельзя признать слишком высокой.

3.4. Интервальные неопределенности

Типичным примером неопределенности является следующий. Результаты наблюдения показывают, что величина Х лежит в некотором интервале [а, 6]. Неизвестен ни закон ее распределения, ни то, является ли она случайной величиной. В общем случае о неопределенной (например, векторной) характеристике Х известно только ограниченное множество ее возможных значений. Этот вид неопределенности уже упоминался в п. 2.9.

Близкая ситуация рассматривалась в свое время Сэвиджем [49, 50], поставившим задачу о сравнении альтернатив, результаты которых зависят от неизвестного "состояния природы". При определенных предположениях он показал, что разумные правила сравнения при этом должны базироваться на введении "субъективных вероятностей" в пространстве возможных состояний природы. Приняв подход Сэвиджа, исследователь, казалось бы, может использовать "обычные" методы математической статистики, предварительно задав (экспертно) вероятностное распределение на указанном отрезке. Однако при этом придется убедительно (для "заказчика" и возможных рецензентов) обосновать правильность и объективность выбора именно этого распределения. С другой стороны, данную неопределенную величину Х можно описать и как нечеткую, у которой функция принадлежности равна 1 на отрезке [a, b] и нулю вне его, либо как ПВ с такой же функцией относительного правдоподобия. При этом имеющаяся информация о возможных значениях величины Х используется полностью. Этот пример показывает, что стремление использовать "общепринятый" метод может усилить субъективизм получаемых при исследовании результатов.

Рассматриваемый тип "интервальной" неопределенности (set-uncertainty) допускает интересное обобщение [63, 64]. Если о величине Х известно только, что она лежит в некотором интервале, то можно рассматривать ее как СВ, для распределения которой известен только носитель. Класс таких СВ весьма широк, но при наличии дополнительной

4 Г.Б. Клейнер и др. 73

информации (например, о том, что правая половина интервала более вероятна, чем левая) он сужается. В результате возникает "интервально-вероятностный" тип неопределенности, когда ошибки (или результаты наблюдения) являются СВ, чей закон распределения принадлежат заданному классу & (некоторому "интервалу" в пространстве распределений). В ситуации, когда $% состоит из единственного распределения, мы приходим к стохастическим величинам. Если $ состоит из распределений, зависящим известным образом от неизвестных параметров (например, из треугольных распределений с неизвестной вер- „шиной или из усеченных нормальных распределений с неизвестным средним и дисперсией), возникает традиционная задача математической статистики: одновременное определение параметров неизвестной зависимости и закона распределения ошибок. Если же класс $ состоит из всех распределений на некотором отрезке, мы приходим к традиционной интервальной неопределенности. Наконец, если этот класс состоит из смесей вида (1 — €)F + ЕН, где F — распределение заданного типа, H — произвольное вероятностное распределение, мы приходим к модели грубых ошибок, рассмотренной в [42] и обсуждаемой ниже, в п. 4.3.

Подобная "смешанная" неопределенность может быть введена не только для СВ, но и для НВ и ПВ. Так, интервально-нечеткая (наделенная интервальным правдоподобием) величина может быть определена следующим образом. О величине Х известно, что она нечеткая (наделена правдоподобием) и ее функция принадлежности (правдоподобия) принадлежит некоторому множеству $. "Традиционная" интервальная неопределенность отвечает в этой ситуации множеству %, включающему любые функции, значения которых на заданном отрезке лежат между 0 и 1 и равны 0 вне его.

4. ОЦЕНКА ЗАВИСИМОСТЕЙ ПРИ РАЗНЫХ ТИПАХ НЕОПРЕДЕЛЕННОСТИ

Если ничто другое не помогает, прочтите, наконец, инструкцию. Аксиома Кана

4.1. Оценка параметрических зависимостей

В ситуации, когда результаты наблюдений являются НВ или ПВ, МС-принцип позволяет обосновать известные и ввести новые показатели интегрального отклонения и основанные на них критерии оптимальной оценки. Приведем ряд примеров.

Пример 4.1. Оценивается параметр а в зависимости У = Ф(Х, а) связывающей истинные значения показателей некоторой ГС объектов. При этом истинные значения Х, измеряются точно, а вместо истинных значений У, наблюдаются значения НВ У, =У,+ &, отличающиеся от истинных аддитивными независимыми нечеткими ошибками &, с одной и той же функцией принадлежности вида A(IE|}), где функция h монотонно убывает на положительной полуоси, h(0) = 1, h(n) > 0 при 1 —> +°.

Тогда, поскольку величины Х, измеряются точно, степень принадлежности для всей совокупности значений (X,,V,) равна minh(IlV, - Ф(Х, а). Руководствуясь МС-принципом, оптимальное а

1

следует выбрать из условия максимума этой функции. В силу свойств функции h этот максимум достигается, если (независимо от того, известна ли функция A точно или нет) параметр а является решением задачи

max|V, — Ф(Х,,а)] > min, (4.1) t

т.е. обеспечивает минимум минимального по модулю отклонения. Мы пришли к тому же минимаксному критерию, описанному в примере 2.5, однако уже при другом (не стохастическом) характере ошибок наблюдения! В простейшем случае, когда функция Ф вообще не заBUCHT OT Х, а искомая зависимость имеет вид У, = а (задача нахождения среднего значения), оптимальное решение будет средним арифметическим из наибольшего и наименьшего наблюдаемых значений показателя. м

В п. 2.7 мы обращали внимание на неустойчивость МП-оценок. Рассмотренный пример показывает, что в условиях, когда ошибки наблюдения являются НВ, МС-метод приводит к устойчивым оценкам: небольшие изменения вида функции A не сказываются на оптимальной оценке вообще. Если же допустить, что истинная функция принадлеж-

4* 75

ности мало отличается от й, но, в отличие от й, несимметрична, оценка изменится, но незначительно. Достаточно устойчивыми оказываются оценки и тогда, когда ошибки наблюдений являются ПВ (см. ниже). Казалось бы, структура критерия согласованности здесь та же, что и при случайных ошибках. Однако здесь есть и принципиальное различие. В стохастическом случае функция правдоподобия не допускает однозначной трактовки: в одних случаях она понимается как вероятность наблюдения тех или иных значений переменных, в других — как плотность распределения этих вероятностей. Если же рассматривать „значения переменных как ПВ, то функция правдоподобия всегда имеет один и тот же смысл, выражая степень правдоподобия того или иного значения показателя. При этом не так уж важно, возникла ли эта функция из самих вероятностей, их плотностей или каким-либо иным образом. С этой позиции теория вероятностей должна рассматриваться в эконометрике лишь как удобная в определенных ситуациях "платформа" для построения функций согласованности оценок с данными наблюдений, но отнюдь не как обоснование стохастичности самих этих данных или ошибок в них.

В п. 2.6 мы отмечали, что при наличии случайных ошибок в нескольких наблюдаемых переменных функция правдоподобия может трактоваться двояко. Однако, если ошибки являются НВ или ПВ, подобной двусмысленности не возникает.

Пусть, например, оцениваются параметры в зависимости У = D(X, 2, a), связывающей истинные значения показателей некоторой ГС объектов. При этом истинные значения показателей Z,u Y, наблюдаются точно, а вместо истинных значений X, наблюдаются значения HB 0,=Х,+ &, отличающиеся от истинных аддитивными независимыми нечеткими (векторными) ошибками &, с одной и той же функцией принадлежности вида й(&). Таким образом, здесь должны выполняться соотношения:

У, = Ф(0,- &, Z,, а). (4.2)

Трактуя функцию согласованности здесь в духе МПО-метода (п. 2.6), мы должны поставить задачу отыскания оптимальных ошибок &,. При этом степень реальности оптимального сочетания вели-

чин &, будет равна minh(&,), так что оптимальное а максимизирует эту 1

функцию при ограничениях (4.2):

a= arg sup{min h&, ТУ, = Ф(И, - g,.Z,,a)vr} = t

= arg sup{min ВИ, - X,)\¥, = B(X,, z,.a)vih (4.3) t

При МПЗ-методе функция согласованности отражает степень принадлежности совокупности нечетких величин f, = Ф(И, - &, Z,, а)-У.. Очевидно, что она равна верхней грани величин A(E,), взятой по всем их

76

сочетаниям, обеспечивающим заданные значения }. Поэтому одновременному обращению в нуль всех f, отвечает степень правдоподобия, равная minsup{h(&,)| У, = Ф(0, -&,,7,,а)}, так что здесь

t

a=argmin{suph(&,)| У, = ®(U, -&,,Z,,a)} = t

= arg min{suph(U, — X,)| Y, = B(U,,Z,,a)}. (4.4) t

Нетрудно убедиться, что в данной ситуации минимум по Е и супремум по &, перестановочны, так что (4.3) и (4.4) дают одни и те же результаты.

В качестве й(&) естественно использовать функции, убывающие по мере удаления точки & от начала координат, т.е. зависящие от некоторой нормы вектора &: #(&) = КИ), где функция f монотонно убывает на положительной полуоси, ДО) = 1, КП) > 0 при n — +. В такой ситуации (независимо от того, известна ли функция {точно или нет) параметр а обеспечивает минимум максимального из расстояний от точек U, до соответствующих поверхностей У, = D(X,, Z,, а). В частности, когда переменные Z в искомой модели вообще отсутствуют, эти поверхности становятся изоквантами функции Ф и мы приходим к методу измерения локальных отклонений по отклонениям объясняющих переменных от изоквант, описанному в п. 2.3.

Пример 4.2. Оцениваются параметры а; и В, зависимости

п У= 5 а;Х; + У, b,Z,. В 1-м наблюдении значения 7, и У, наблюдаются i=l k=l точно, а вместо истинных значений Х; наблюдаются значения НВ И, = Xin + &,. Ошибки &1 при разных i Wf независимы и имеют функцию принадлежности A(lE,\/S;), где S; — известные масштабные параметры, характеризующие средние размеры ошибок, h — убывающая функция. Здесь оптимальные оценки неизвестных параметров являются решением задачи:

т п mins зир пит (16, 1/5; ) | У = У а(И, +8,)+ У, 2 } > тах. 1 ' i=l k=1

Легко проверяется, что при каждом { оптимальные &, имеют одну и ту же степень принадлежности, так что

т

п У а, + p> by Lye — Y,

bir = el m У 5 а, 1 i=1

S; sign(a;).

Поскольку функция й убывающая, отсюда следует, что

77

оптимальные а; и by являются решением задачи:

т п тах| У aU;,+ У, b,Z,, — ¥, t k=l

| i=l

- > тт м (4.5)

Ms

S,la;|

~. Ш —

Пример 4.3. Пусть в условиях примера 4.2 независимые ошибки наблюдения ©; являются ПВ и характеризуются функциями правдо-

подобия h(E;,) = exp{-£7/2S;}. Тогда степень правдоподобия всей сово-

т купности ошибок будет exp, —>, [$ 2 [я и задача сведется к макi=l

t

m n симизации этого выражения при условиях Y, = >) а (И, -&,)+ У, dy Lye. t=] = m n хай + OZ —Y,

Отсюда найдем: €,, =а,5;

. Из этого легко выво-

дится, что оптимальные а; и by являются решением задачи:

t i=]

m n 2 У, {3 ai +z бы - +}

= min. (4.6)

Tax, если п = 0, а все 5; одинаковы, оптимальным а; отвечает минимальная сумма квадратов расстояний от точек (U,,,..., Um) до гипер-

т плоскостей У =У, a,X;. Такой критерий был, по-видимому, впервые

i=l

предложен в [65].m Пример 4.4. Оценивается параметр а в зависимости У = Ф(Х, a), причем значения X, наблюдаются точно, а результатом наблюдения У, является У, =У, + &,, где &, - независимые ПВ, имеющие одну и ту же функцию относительного правдоподобия h(E). Здесь МС-принцип приво-

дит к задаче: [] ШУ - Ф(Х,,а)] => тах. Легко видеть, что такой криt

терий эквивалентен минимизации показателя интегрального отклонения У, #[У, -(X,,a)], где g(x) = -ш A(x). Критерии такого типа t

предложены в [42] для устойчивой оценки параметров вероятностных распределений. Отметим важное их преимущество: изменения функции h, при которых ее логарифмическая производная меняется мало, несущественно влияют на оптимальное значение а.

78

Обратим теперь внимание на то, что при данном подходе оптимальные оценки параметров минимизируют показатель интегрального отклонения, исчисленный тем или иным способом (в примере 4.4 — сумма некоторых функций от локальных отклонений, в примере 4.1 — максимум из локальных отклонений). Это не противоречит общей оценке метода минимизации интегрального отклонения, высказанной в п. 2.3, поскольку в рассмотренных ситуациях неопределенность наблюдений характеризовалась определенной структурой — для функций правдоподобия иного вида окончательный критерий может не сводиться к расстояниям, измеряемым в легко интерпретируемых метриках.

Пример 4.5. Пусть в условиях примера 4.3 функция правдоподобия

м 1 ошибок имеет иной вид A(E;,) =. Легко проверить, что опти-

ch(§;, / D;)

m мизация §€;, сводится здесь к задаче: У, Inch(&,/D,) => min; i=l m m n У а, = 2 ain +z by, Zy —Y, =A,. i=l iz = Поэтому 6&;, = Djarth(A,a;D;), где № - корень уравнения

т у a,D, абв (\а,0;) = А;. При этом Inch(&,,/D,)= — Int - (1,4;D;)7], i=

так что оптимальные а; и В, являются решением задачи:

У Inch{l —(A,4,D;)2] > min;

i=l

m m n У, aD, arth(A,a,D;) = aU + LOZ -Y, Vt. i=l k=l

i=]

Такой критерий уже не сводится к минимизации какого-то интегрального отклонения м

Мы видим, что минимизация интегрального отклонения как метод оптимальной оценки параметров зависимостей обоснована лишь в случаях, когда "степень реальности" наблюдений определяется их расстояниями от истинных значений характеристик — это довольно распространенная, но отнюдь не общая ситуация.

Отметим, наконец, что МС-принцип применим и при неточно заданных функциях правдоподобия. Пусть в условиях примера 4.4 о функции правдоподобия # известен лишь некоторый класс Х, которому она принадлежит. Тогда задача сведется к одновременному нахождению наиболее согласованных с исходной информацией значений параметра а и функции ЙЕ HX из условия [] A{V, -Ф(Х,,а)} > тах.

1

79

4.2. Оценка непараметрических зависимостей

До сих пор речь шла, в основном, об оценке параметрических зависимостей. Как доказывается в математической статистике [2], если в таких зависимостях объясняемая переменная наблюдается со случайной ошибкой, то МП-оценки неизвестных параметров оказываются состоятельными, т.е. с вероятностью 1 сходятся к истинным значениям при неограниченном увеличении числа наблюдений. Для непараметрических зависимостей положение иное. Действительно, пусть, например, вид зависимости У =КХ) функции неизвестен, значения У наблюдаются только в точках Х = 0, 1,2, и любая другая информация о моделируемом процессе или явлении отсутствует. Тогда никакое количество наблюдений не позволит даже приближенно оценить значение ДЗ). Это означает, что для непараметрических зависимостей рассчитывать на получение состоятельных оценок в общем случае не приходится и увеличение числа наблюдений не позволит, в общем случае, повысить точность оценки.

Рассмотрим в этой связи задачу оценки неизвестной зависимости У =f(X) по результатам Т наблюдений в точках (X; <Х, <... <Хт). Предполагается, что значения Х, измеряются точно, а вместо истинных значений У, = f(X,) наблюдаются значения (/, = У, + &, отличающиеся от истинных аддитивными независимыми случайными ошибками Ё,, имеющими нормальное распределение с нулевым средним и неизвестной дисперсией 5. Естественно, что такой информации явно недостаточно для получения разумных решений — необходимы дополнительные сведения о характере оцениваемой зависимости. Исследуем два варианта такой дополнительной информации.

Пример 4.6. Пусть известно, что искомая функция ДХ) — неубывающая. Этого, разумеется, недостаточно для того, чтобы установить характер изменения функции между точками X, или за пределами отрезка [X,, Хт]. Попробуем, однако, оценить значения неизвестной функции f(X) в точках X,, Функция правдоподобия в данном случае

равна П т exp{-[U, — ЛХ, 125} =П BE exp{-[U, - ¥,]? /25},

1 1 поэтому ее максимизация эквивалентна решению задачи:

у (%-U,? =min, ¥,<¥)<...<Yp. (4.7) t

Решив эту задачу выпуклого программирования известными численными методами, можно оценить искомую функцию и в "промежуточных" точках. Действительно, ее значения между точками Х,/ их, лежат, очевидно, в пределах от У, до Y, Поэтому разумной оценкой для КХ) будет, например, ломаная, соединяющая точки (X,, Y,). Выше подразумевалось, что все точки Х, — различные. Однако решение принципиально не изменится, если считать, что некоторые наблюдения про-

80

изведены при одинаковых значениях объясняющей переменной - в этой ситуации в качестве неизвестных можно принять только значения Y,, отвечающие разным X,, либо добавить дополнительные ограничения Y,=Y,_) для тех t, для которых Х, = X,_).m

Пример 4.7. Пусть известно, что искомая функция КХ) — выпуклая. Рассуждая аналогично, мы приходим к другой задаче выпуклого программирования:

У, (¥,-U,)? = min, ВИ «НИ t X,-X, X,-Xr_,

(4.8)

Тот же метод может быть применен и при оценке функций У = f(X) нескольких переменных, хотя формализация модели здесь гораздо более сложная. При этом, как и в одномерном случае, удается оценить функцию только в ограниченной области, являющейся выпуклой оболочкой наблюдаемых точек Хм

Пример 4.8. Требуется оценить плотность распределения КХ) случайной величины по Т наблюденным ее значениям X,. Как и в предыдущих случаях, одной этой информации (и даже дополнительной информации о том, что эта плотность "колоколообразна"), недостаточно. Однако для типичных распределений такого вида функция g(X) = —Inf(xX) выпуклая (мы допускаем и такие выпуклые функции, которые принимают значение +o). Оказывается, что эта информация уже позволяет получить разумные оценки. Действительно, логарифм функции правдоподобия наблюденных значений {X,}, взятый с обратным знаком,

равен сумме У, 2(Х,), поэтому задача сводится к нахождению такой t

выпуклой функции 8(Х), для которой т L(g)= У, 8(Х,) > min (4.9) t=l

при естественном ограничении Ha плотность вероятностного распределения:

Je 8 dx =1. (4.10)

— со Решение этой задачи оказывается сравнительно простым. Пусть Н- минимальное значение L(g), h(X) — произвольная выпуклая функция,

J(h) = | е"ЮХ. Легко видеть, что функция A(X) + In/(h) удов-

летворяет (4.10), так что для нее левая часть (4.9) будет не меньше Н. Отсюда следует, что величина Н является минимальным значением

Т со функционала R(h)= У, h(X,)+T In ] eax | на множестве всех вы-

1=1 co

81

пуклых функций. Поэтому оптимальная функция h(X) заведомо должна обращаться в +°° при X <Х, или при Х > ХТ (соответственно в этих Ziel -2

точках будет 8(Х) = 0). Обозначим Z, =h(X,); U, = —-. Тогда, +17 41 очевидно, И, = Ц) < ... < Uz), (4.11) 1-] i=l

Рассмотрим ломаную A"(X), соединяющую последовательные точки (X,, Z,):

"© =Z,+Y(X—X,) при X,<X<Xzp. (4.13)

Поскольку A(X) выпукла, то h*(X) = h*(X) и, значит, R(h) < В(й*),

что возможно только, если h(X) = h*(X). Проведя несложные вычисления, получим, что тогда Т T-1 -2 pee Ut Xr -X1) RA) = У, 2 +Тш Хе

t=) 1=0 U,

1-1 T-1 7-1 1-е И X41 -X1) -У Ui (Xin -X)) =У (T-0U,(X%,,,-X,)+ Tn} У кем 1=1 t=1 и,

(4.14)

Минимизация (4.14) при ограничениях (4.11) является задачей выпуклого программирования и легко решается с помощью известных компьютерных программ. Легко видеть, что всем ломаным h(X) с оптимальными U, будет отвечать одно и то же значение А(й). Однако отрицательным логарифмом плотности распределения из них будет только одна — для нее должно выполняться равенство (4.10). Отсюда можно найти последнее неизвестное 7:

1-1 7-1 1-е Xr -X) -У и -хь

=ш у ем 4.15 1 py U, (4.15)

Теперь оптимальная g(X) определяется из (4.13). Приведем чис-

ленные примеры. Получены 12 реализаций случайной величины, равномерно распределенной на (0,1):

0,012; 0,036; 0,229; 0,252; 0,325; 0,489; 0,491; 0,534; 0,555; 0,771; 0,943; 0,994.

82

1,3

1,2 т 1,1 +

1+ 0,9 +

0,8 + + + + 0 0,2 0,4 0,6 0,8 1

Рис. 1. Оценка плотности равномерного распределения

2

1,5 + 1+

0,5 +

0 + + + + 0 0,2 0,4 0,6 0,8 1

Рис. 2. Оценка плотности треугольного распределения

На рис. 1 приведена оцененная указанным способом плотность распределения.

В другом расчете получены 12 реализаций случайной величины, имеющей треугольное распределение на (0,1):

0,153; 0,370; 0,391; 0,485; 0,510; 0,516; 0,629; 0,639; 0,662; 0,735; 0,895; 0,964.

Оцененная указанным способом плотность распределения приведена на рис. 2.

Если ошибки являются НВ или ПВ, оценка непараметрических зависимостей иногда может быть получена на основе МС-принципа. Приведем ряд примеров.

Пример 4.9. Оценивается функция f(X) по результатам наблюдений У, = f(X,) + ©, где Е, — нечеткие ошибки, имеющие одну и ту же симметричную унимодальную функцию принадлежности g(x). Будем считать, что априорная информация об искомой функции позволяет считать ее нечеткой. Иными словами, предположим, что каждой из априори возможных функций f отвечает некоторая степень реальности, в данном случае — степень принадлежности О(}), тем меньшая, чем менее "гладкой" будет }. Примем поэтому, что она имеет вид Н( | f'(X)|2dx ), где Н — некоторая убывающая функция, Н(0) = 1, Н(°) = 0. Считая, что функция [и ошибка €, независимы, получим значение функции

83

принадлежности для их совместной реализации: min{ НАЛ, min 8, = = min| К lf"(X)P dx), min a(l¥, — F(X, у.

Максимизация этого критерия согласованности эквивалентна решению задачи:

Slf"CXP dx > min, [У - F(X, I< D, (4.16)

при некотором О, зависящем от g иН. Легко проверяется, что решением этой задачи будет некоторый сплайн. В п. 2.8 такая формализация задачи была получена из эвристических соображений. №

Аналогично может быть поставлена и задача оценки функции КХ) при наличии нечетких ошибок наблюдений как объясняемой, так и объясняющих переменных. Ситуация, когда ошибки являются ПВ, рассматривается в следующем примере.

Пример 4.10. Оценивается функция КХ) по результатам

наблюдений У, = КХ,) + &,, где &, — ошибки, характеризуемые функцией 2 относительного правдоподобия е`®. Будем считать, что априорная

информация об искомой функции позволяет считать ее наделенной правдоподобием, причем степень относительного правдоподобия каждой из априори возможных функций f зависит от ее "гладкости" и имеет вид

expi—J| XP dx . Считая, что функция и ошибки €, независимы, р y

запишем отрицательный логарифм функции правдоподобия для их совместной реализации, который одновременно является и критерием оптимальной оценки fi

Т [= ПГ” ХР det ку, [1(Х,)- УР = min. (4.17)

t=l

Подобный критерий из эвристических соображений приведен в п. 2.8.

Тот же метод можно использовать и для оценки более сложных зависимостей.

Пример 4.11. Оценивается производственная функция вида У =Ф(К,,Ё,), где У, - валовой продукт, К, — используемый капитал, Г, - затраты труда (например, количество отработанных человекочасов) в году 1. Предполагается, что оцениваемая функция — однородная первой степени. Прямое измерение величин V,, K,, L, невозможно, известны лишь их наблюдения V,,k,,1,, отличающиеся от истинных значений независимыми мультипликативными ПВ-ошибками:

Inv, = ШУ +; Ink, =InK,+&,,3 Inj, =InL,+6&,.

84

Предполагается, что функции относительного правдоподобия для ру этих ошибок имеют вид е с разными параметрами масштаба by, by

ub), одинаковыми для всех наблюдений ("равноточность" разных наблюдений).

Для решения этой задачи обозначим ф(х) = In[@(e*, 1)] и перейдем к

показателям (истинной и наблюдаемой) производительности и капиталовооруженности труда:

V, № К, k В =, ( 2} Pr -u(%} Q, -u( &} % -u( 4

Тогда истинная зависимость и соотношения между истинными и наблюдаемыми переменными примут вид: Р =$(0,), р, =Р+ё„-Ё,;

а, = Q, + Cn — En откуда Е, =а, -0, +6; Sve = Pr -$(0,) +81. (4.18)

Если бы функция @ была известна, согласованность с ней результатов наблюдений можно было бы охарактеризовать функцией

относительного правдоподобия Пехр{-Ь,Е2 -Б. 2 -ЬЕ?}. Однако t

bx

функция ф неизвестна, HO имеющаяся информация позволяет считать ее достаточно гладкой. Примем поэтому, что она наделена правдоподобием и соответствующая функция правдоподобия имеет вид

exp{—A Лф”(хР dx}. Тогда критерий согласованности, учитывающий

одновременно и гладкость и распределение ошибок наблюдения, примет вид:

— oe 2 ele" пехо-ь, ~ 483, ВЕ = max. Используя (4.18), величины „и €,, можно выразить через &, u Q,,

что позволяет представить критерий оптимальности в более простом виде:

rJ lox)? dx + +> [ВР ~ OQ, )+ en р + by (4, ~ Q, + En у + БЕ? |5 min.

Минимизируя по переменным €;,, приходим к задаче нахождения оптимальной функции ф и неизвестных О, по критерию:

хЛо’ооРак +E Др, - ФБР + by (а, -9,)*-

_ Вр, (01+ eg - OP b, +b, +b

=> min.

85

Решением ее будет некоторый сплайн, однако "точки склеивания" его полиномиальных участков определяются нелинейными соотношениями, так что данную задачу легче решать численными методами. м

Пример 4.12. Известны результаты X, наблюдений случайной величины. Требуется оценить плотность ДХ) ее распределения. В примере 4.8 эта задача решалась МП-методом в предположении, что функция —шДХ) выпуклая. МС-принцип позволяет решить эту задачу при более слабом предположении о гладкости КХ). Такую информацию можно формализовать, рассмотрев плотность f(X) как неопределенную функцию, наделенную правдоподобием, причем степень ее правдоподобия связана с функционалом гладкости. Поскольку плотность неотрицательна, введем в рассмотрение ее логарифм, обозначив u(x) = Inf(x). По аналогии с примером 4.10 примем, что априорная степень правдоподобия u(X) равна exp{ Аи" | 24х}. Степень правдоподобия наблюденных значений {X,} при известной и(Х) в данном случае

т равна Пе“. Поэтому критерий согласованности в данном случае t=l

T принимает вид: exp | МХ dX + Ук, а оптимальная оценка t=1

будет решением задачи:

Т °o k§lu’"(X)P dX + Yu(X,) = min, | eax =1. (4.19) t

t=1

Аналитическое решение этой задачи затруднительно, однако известные компьютерные программы позволяют решать ее численно. м

4.3. Выявление грубых ошибок и устранение их влияния

Некоторые из ошибок наблюдения рассматриваются на практике как "грубые". Один тип таких ошибок приводился выше — это ошибки спецификации, связанные с неверным в каком-то смысле выбором объекта наблюдения. Другой пример грубых ошибок часто возникает при сборе экономической информации, когда при ручном заполнении статистических таблиц искажается положение десятичной запятой. Ошибки такого рода часто удается выявить визуально: при графическом представлении собранной информации соответствующие точки выглядят на графике как "резко выделяющиеся". Однако если ошибка допущена в нескольких показателях объекта, выявить ее значительно труднее. Вопросам обработки информации методами математической статистики при наличии грубых ошибок посвящены, например, работы [42, 44], а также отдельные разделы в [1]. Между тем понятие "грубых ошибок" допускает неоднозначные трактовки. Это связано с тем, что в отличие от "стандартного" подхода, рассматривающего совокупность

86

наблюдений как однородную (характеризующуюся некоторым единым законом распределения), здесь она считается неоднородной, объединяющей наблюдения, относящиеся к разным однородным совокупностям (например, к данным о строительных организациях добавлены и данные, относящиеся к предприятиям других отраслей). Однако дать строгое определение "неоднородности" совокупности затруднительно даже в случае вероятностей неопределенности. Действительно, пусть зависимость между Yu X имеет вид У = aX +, причем ошибки & имеют нормальное распределение с нулевым средним и дисперсией, пропорциональной Х (см. примеры 2.4 и 2.9). Формально получаемая совокупность наблюдений (Х, У) неоднородна, ибо ошибки в разных наблюдениях имеют разные вероятностные распределения. С другой стороны, эту же совокупность можно считать однородной, представив & иначе, в виде & = 7X!/2 — теперь все "нормированные ошибки" \ будут иметь одно и то же распределение.

При математико-статистическом подходе ГС рассматривают как неоднородную, если она может быть расщеплена на несколько классов (групп) с разными законами распределения (см. пример 2.8). Однако именно для грубых ошибок такой подход неудобен: здесь закон распределения грубых ошибок не является объектом оценки и информации о нем несопоставима с информацией о распределении "обычных" ошибок. Поэтому данное определение целесообразно скорректировать: ГС считается неоднородной, если она расщепляется на несколько классов с разной информацией о распределении характеристик входящих в них объектов. Однако различие информации о характере неопределенности результатов "обычных" и "грубо ошибочных" наблюдений может быть формализовано по-разному. Поэтому возможны разные формализации (модели) "грубых ошибок" и соответственно — разные подходы к сепарации обычных и "грубых" ошибок. Переходя к их рассмотрению, предварительно заметим, что применительно к НВ и ПВ соответствующие задачи ранее не рассматривались. При этом в большинстве примеров мы рассматриваем базовую задачу оценки параметра а в зависимости У = Ф(Х, а) между истинными значениями характеристик некоторых объектов. Предполагается, что истинные значения Х, измеряются точно, а вместо истинных значений У, наблюдаются величины У, =У,+&, отличающиеся от истинных аддитивными независимыми ошибками €,, среди которых могут быть и грубые (разных типов). Количество грубых ошибок мы обозначаем через k, а

уп

множество номеров "грубо ошибочных наблюдений" — через Ж.

4.3.1. Модель "засорения"

Исторически первой моделью "грубых ошибок" была, по-видимому, модель "засорения" Хьюбера [42], предложенная для оценки параметров вероятностных распределений. Здесь считаются известными наблюдения случайной величины, которая должна иметь распределение

87

Е с плотностью p(X, ©) с неизвестным параметром ©. Однако реально такая величина наблюдается лишь с вероятностью 1-, ас дополнительной вероятностью наблюдается совсем другая случайная величина, имеющая другое, "засоряющее" вероятностное распределение Н, не обязательно обладающее плотностью, о котором известно лишь, что оно принадлежит определенному широкому классу % (например, что оно произвольно или центрально-симметрично). Распределение результатов наблюдений при этом оказывается смесью (1—-€)F + ЕН. Метод оценки © при этом подбирается так, чтобы минимизировать максимальное (по всем Н Е 9) ожидаемое влияние "засорения" (т.е. Так, чтобы при наихудшем засорении вызванная им ошибка в оцениваемых параметрах была в среднем наименьшей). Обратим особое внимание, что МП-метод в этих целях не подходит, поскольку распределения вида (1-€)F + &Н могут не иметь плотности.

Легко видеть, однако, что предположение о стохастическом характере ошибок с методической точки зрения не обязательно. Действительно, изложенная модель базируется на предположении о том, что закон распределения результатов наблюдений в определенном смысле близок к заданному. Тот факт, что речь идет именно о вероятностном распределении, здесь принципиальной роли не играет. Поэтому в задачах установления зависимостей при наличии ошибок, являющихся НВ или ПВ, соответствующий вариант модели засорения будет выглядеть просто: функции принадлежности или относительного правдоподобия ошибок близки в том или ином смысле к заданным, например, отстоят от них на расстояние не большее Е.

В этой ситуации функция реальности ошибки известна неточно — известен лишь некоторый класс $, которому она принадлежит (для "хьюберовского" засорения $ состоит из всех функций распределения, отличающихся от заданной не больше чем на & в равномерной метрике). Поэтому, если ошибки наблюдений являются НВ или ПВ, каких-либо препятствий для применения данного метода нет.

Пример 4.13. Примем, что в базовой модели ошибки наблюдений E, являются ПВ. Как и в модели Хьюбера, будем считать, что класс % coстоит из всех функций правдоподобия, отличающихся от заданной функции g не более, чем на €. Для этого, естественно, надо ввести метрику на классе функций правдоподобия. Воспользуемся метрикой [58], в которой расстояние р между функциями правдоподобия определяется как максимальное хаусдорфово расстояние между соответствующими множествами их уровня (см. п. 3.3). Тогда класс % состоит из функций h таких, что при любом 4 множество {x| h(x) =а}и {xl g(x) > а} отстоят друг от друга не более чем на Е. В этом случае нетрудно показать, что g (n= inf g(x) <A(N) Ss sup” g(x) = g*(N) для любых he %.

N-ESxante N-E<x<NH+E Если бы функция правдоподобия Й и параметр а были известны, степень реальности результатов наблюдений выражалась бы формулой

88

TIALV, - ®(X,, а)] и оптимальная оценка получалась бы максимизацией 1

этого выражения по а. Теперь, однако, ситуация иная, и мы должны рассчитывать на наихудшее засорение. Это приводит к следующему критерию оптимальной оценки:

Па [У -Ф(Х,, а)] > max. (4.20) t

Например, если g(x) = exp(-kx?}, то в (n)= inf ехр{-Ах? } = т

-€<x<Ht+e = exp{—k(Inl+ =)?}, так что оптимальное а является решением задачи:

У М -$(Х,, а) +=? = min. (4.21) 1

При Е > 0 этот метод переходит в метод наименьших квадратов, при Е —> co — в метод наименьших модулей, более устойчивый к грубым ошибкам. №

4.3.2. Модель "больших" ошибок

Для "обычных", "малых" ошибок степень реальности убывает по мере возрастания величины ошибки. Таким образом, чем больше величина ошибки, то менее реальной она должна считаться. С "грубыми" ошибками положение должно быть обратным — чем больше величина ошибки, тем более реально, что она является "грубой". Поэтому для таких ошибок степень реальности (функция принадлежности или относительного правдоподобия) должна стремиться к 1 при неограниченном росте модуля величины ошибки и обращаться в нуль при нулевой величине ошибки. Этому отвечают, например,

функции вида р(ё)= 2? Me или p(&)= 20 1B)? Величина D здесь coвпадает со средней (по модулю) ошибкой, т.е. такой, которой отвечает степень принадлежности или относительного правдоподобия, равная !/.. Представляется, что в каждом конкретном случае величина D может быть установлена исследователем хотя бы ориентировочно.

Пример 4.14. Оценивается параметр а в базовой модели в условиях, когда ошибки &, являются НВ и среди них имеются как "малые", так и "большие". Естественно считать, что функции принадлежности "малых" и "больших" ошибок четные и непрерывные, что позволяет обозначить их A(JE|) иН(|Е|). Естественно также, что с ростом [Е| величина AC Е |) убывает, a H( | El) — растет. Здесь функция принадлежности для всей совокупности наблюдений имеет вид:

min {min H{Y, —B(X,,a)}, min A{Y, - ®(X,, «1. (4.22) ТЕЖ eX

где Xi — множество номеров наблюдений, которым отвечают "большие"

ошибки. В соответствии с МС-принципом оптимальная оценка отвечает

89

такому а и такому множеству Ж, при которых выражение (4.22) максимально. Для выявления одного из условий оптимальности заметим, что уравнение h(L) = H(L) имеет единственное положительное решение. Оно характеризует такую величину ошибки, которую с равной att

степенью принадлежности можно считать и "малой" и "грубой" — назовем ее "разделяющей". Пусть, например, функции принадлежности

2 2 "малых" и "грубых" ошибок имеют вид: h(E) = 2-6'Р) ; H() =-26R/8) , где Du R — соответствующие средние ошибки. Нетрудно проверить,

что "разделяющая ошибка" здесь будет равна VDR - среднему геометрическому из средней "малой" и средней "грубой" ошибок. Легко проверить, что максимальное значение (4.22) будет достигаться, если в

% отнести все наблюдения, для которых IY, -Ф(Х,а)= Г. С другой

стороны, пусть ly, —Ф(Х,, а) < L для некоторого t Е %. Если исключить это Е из Ж, то в силу неравенства A{Y, —Ф(Х,, а)}> Н(У, -Ф(Х,,а)} критерий (4.22) увеличится или по крайней мере не уменьшится, что и требовалось доказать.

Мы видим, таким образом, что решение задачи "чрезмерно осторожно": оно требует минимизировать наибольшее отклонение, не превосходящее L, и максимизировать наименьшее отклонение, превосходящее Г[.. Это неудивительно: степень принадлежности совокупности НВ определяется "наихудшей" из них, так что здесь МС-принцип не учитывает ни количества, ни величины других, "неэкстремальных" отклонений.

Пример 4.15. Пусть в той же задаче ошибки являются ПВ. Здесь критерий согласованности отражает относительное правдоподобие выборки и имеет вид:

п ALY, -Ф(Х,а)х П У -Ф(Х,,а) > тах. teX te

Нетрудно показать, что этот критерий эквивалентен следующему: Птах(НПУ, -Ф(Х,, а), ALY, - Ф(Х,,а)]} => тах. (4.23) 1

Повторяя предыдущие рассуждения, аналогично найдем, что множество J{ содержит те и только те наблюдения, для которых | Y,- P(X, а)| = [.. Однако здесь критерий учитывает все, а не только "экстремальные" (наиболее близкие к Г.) отклонения. В частном случае, когда "малые" и "большие" ошибки характеризуются функциями отно-

2 2 сительного правдоподобия 251 и 2-5/8) ‚ ге Ru S — средние значения соответствующих ошибок (см. п. 3.3), то критерий (4.23) принимает вид:

_ {LY -Ф(Х а) 52 ры ® ‘пФ ар

> min. м (4.24)

4.3.3. Модель ошибок спецификации

В модели "засорения", собственно говоря, грубых ошибок нет — все они равноправны, однако закон их распределения не полностью согласован с исходной информацией. В модели "больших" ошибок предполагалось, что результат наблюдения является просто неточным (или даже очень неточным) измерением наблюдаемой характеристики ‚объекта и потому, пусть плохо, отражает ее истинное значение. Поэтому здесь "грубая" ошибка отличается от "обычной" только своей величиной, но не содержанием. В то же время возможна и совершенно иная трактовка таких ошибок.

А именно, представим себе, что наблюдение производится путем выписывания данных из отчетности предприятия. Здесь не исключена ситуация, когда наблюдатель выпишет данные не из той клетки отчетной таблицы и выписанный показатель не будет иметь никакого отношения к требуемой характеристике объекта (например, вместо мощности объекта в одном случае будет выписан год ввода его в эксплуатацию, а в другом — численность персонала). Точно так же при отборе объектов наблюдения может случиться, что в число отобранных попадут те, которые на самом деле к ГС не относятся — и здесь соответствующие наблюдения вообще не имеют или имеют довольно слабое отношение к анализируемой ГС или к оцениваемой зависимости. Подобные ситуации в п. 1.3 трактовались как ошибки спецификации.

При наличии таких ошибок говорить о вероятностном распределении величины ошибок или о степени их реальности практически не имеет смысла — на первое место выходит проблема их устранения. Здесь полезно использовать указанную выше трактовку модели "засорения": с некоторой вероятностью наблюдаемая случайная величина имеет не заданное, а какое-то иное, засоряющее распределение. С другой стороны, критерием в модели "засорения" было наихудшее среднее значение смещение оцениваемого параметра, что явно предполагает повторяемость процедуры наблюдения и одновременно — повторяемость грубых ошибок с одним и тем же распределением. Это сразу же сужает круг задач, где соответствующие модели могут быть использованы. Между тем данный недостаток устраним — для этого следует поставить задачу иначе, сделав упор на разделении "грубых" и "обычных" ошибок.

Другими словами, надо рассмотреть совокупность наблюдаемых переменных как неоднородную, состоящую из двух групп: в одну входят показатели, которые действительно являются (содержащими ошибки) наблюдениями истинных характеристик объектов ГС, тогда как вторая состоит из "грубых ошибок", не имеющих к ГС никакого отношения. Искомая зависимость или ее параметры при этом определяются только по наблюдениям первой группы исходя из информации о степени реальности тех или иных ошибок наблюдения. Что же касается наблюдений второй группы (неверно специфицированных наблюдений), то они в расчете просто не участвуют. В то же время неизвестно,

91

какие именно наблюдения относятся к этой группе, и это восполняется информацией о степенях реальности ошибок спецификации.

Для вероятностной ситуации, когда распределение результатов наблюдения имеет плотность, построить такую модель нельзя (в одной формуле несовместимы вероятности одних ошибок и плотности вероятностей других). Однако положение меняется, если ошибки являются ПВ.

Пример 4.16. Пусть в базовой модели ошибки являются независимыми ПВ. Тогда модель "грубых" ошибок может устроена следующим образом. Каждое {-е наблюдение У, характеризуется не только величиной &, ошибки (отклонения У, от истинного значения У, наблюдаемого показателя), но и ее типом T,. Значению т, = 0 отвечают "обычные" ошибки, значению т, = 1 — "грубые". При этом пары (&,, T,) независимы, причем функции принадлежности для пар вида (5, 0) и (Е, 1) различаются. Рассмотрим ситуацию, когда степень принадлежности для пары (Е, 0) равна #(|& |), где A — убывающая функция, а все пары (&, 1) при любых & имеют одну и ту же степень правдоподобия Е. Тогда функция относительного правдоподобия неизвестного параметра а принимает вид: L=e* T1 Ad, |), откуда вытекает следующий критерий оптимиза-

teX ции оценки а:

[== TJ A{IV, -Ф(Х, а) 1} => max.

text

Нетрудно убедиться, что для оптимального решения в множество JC будут отнесены только такие г, для которых й {!У, — Ф(Х, а)!} < €. Поэтому полученный критерий оказывается эквивалентным следующему:

Г. = П max {A{l V, - Ф(Х,,а) |, =} => тах. № (4.25)

1

4.4. Разнотипная неопределенность

При исследовании и оценке многофакторных зависимостей наблюдения разных переменных могут быть неопределенными величинами различных типов. Например, одни из них могут рассматриваться как СВ, другие - как НВ, третьи — как ПВ. Типичным примером является оценка параметров а и b в линейной зависимости У = aX + b в условиях, когда значения У наблюдаются со случайными нормально распределенными ошибками с известной дисперсией, а наблюдаемые значения Х — нечеткие с известной центрально-симметричной функцией принадлежности.

Другой вид "разнотипности" в рамках одной модели иллюстрируется следующим примером. Пусть ошибки наблюдения — CB, имеющие нормальное распределение с нулевым средним и неточно известной

92

дисперсией 5. Неопределенность величины 5 может носить различный характер, не обязательно вероятностный (так, может быть известен интервал, в котором лежит величина 5). Конкретные подходы к решению этой проблемы пока неясны, однако имеет смысл привести примеры задач, где учесть разнотипность неопределенности удается.

Пример 4.17. Пусть по Т наблюдениям (Y,, X,) оцениваются параметры а и в линейной зависимости У = aX + b, причем переменная Х наблюдается точно, а У — со стохастической ошибкой &, имеющей нормальное распределение с нулевым средним и дисперсией 5. Предположим также, что имеющаяся информация об ошибке наблюдения позволяет считать, что ее дисперсия 5 близка к известной величине О. Примем поэтому, что 5 является величиной, наделенной правдоподобием, а степень ее относительного правдоподобия принимает максимальное значение 1 в точке 5 = D. Будем считать, что она имеет вид

р ви-515) . . =) е ‚ где а — некоторый параметр, определяющий ширину

области достаточно правдоподобных значений 5 (при больших 4 функция правдоподобия резко уменьшается уже при малом отклонении 5 отр).

Если бы величина 5 была известна, то согласованность наблюдений (Y,, X,) с параметрами модели aub характеризовалась "обычной"

el —аХ,

T 2 функцией правдоподобия [] wb 125, Разделив эту вели-

1=1 AY чину Ha ее значение при наиболее правдоподобном значении 5 =Du нулевых локальных отклонениях Y, — (aX, + b), получим функцию OTHO-

Т р _py2 сительного правдоподобия |] .|—е (и aX, -b]

t=1

12 . 5. В такой ситуации

9 Т р 2 еИ-215) х I = eth -аХ,-Ы 125

р функция согласованности (5) отразит

1=1 как правдоподобие оцененного значения дисперсии 5, так и согласованность рассчитанных отклонений 7, — (aX, + b) с принятой моделью.

Максимизируя этот критерий, получим, что оптимальные а ub обеспечивают минимум суммы квадратов отклонений

(= [Y, - aX, - a a оптимальная оценка дисперсии 5 дается формулой t

2gD+ У. [У, -aX, -by t

S= . При малых 4 эта оценка близка к "обычной"

2q+T оценке максимального правдоподобия, при больших — к заданному, наиболее правдоподобному значению D. м Пример 4.18. Оценивается параметр а зависимости У = Ф(Х, а),

93

связывающей истинные значения показателей некоторых объектов, причем истинные значения Х, измеряются точно, а Y, — с аддитивной ошибкой &, наделенной правдоподобием. Основная часть ошибок — "малые", они характеризуются функцией относительного правдопо-

добия г”. Однако некоторые ошибки могут быть "грубыми", для них функция относительного правдоподобия h(E) неизвестна. Примем, что она зависит от {| и растет при увеличении IE]. Количество грубых ошибок — тоже ПВ. Если бы такие ошибки возникали случайно, с вероятностью & в каждом наблюдении, то вероятность появления k

ошибок в Т наблюдения составляла бы ch = —&)Г-*. Примем поэтому, что количество грубых ошибок характеризуется степенью правдоподобия, пропорциональной этому выражению, а размеры грубых ошибок не зависят от их количества. Тогда, обозначив через ЖФ множество номеров наблюдений, отвечающих грубым ошибкам, а через k = lI] - количество таких наблюдений, получим следующее выражение для критерия согласованности:

L=Chet(—ey* П ehh" TT вау — @(X,,a) 1) > тах.(4.26) eH tex

Выясним свойства оптимального решения, зафиксировав вначале количество грубых ошибок. Предположим, что 1-е наблюдение отвечает грубой ошибке, а 5-е — "малой" ошибке. Тогда значение L не должно увеличиться, если в множестве J{ заменить { на 5. Легко видеть, что это будет только, если

BLY, -Ф(Х,а)р + In h(l ¥, - ®(X,,a)) > =ЫУ, — B(X5,a)]” + In h(l У, - B(X5,a)1).

Но при положительных 2 функция bz? + In h(z) — возрастающая, поэтому данное неравенство возможно только, если и, = У, — B(X,, а) = = У, - ®(X,, a)l = u,. Таким образом, для всех {Е Ж локальные отклонения и, не меньше, чем для всех остальных f. Это означает, что грубыми ошибками следует считать здесь те К наблюдений, которым отвечают наибольшие по модулю локальные отклонения. Обозначим поэтому k-e по порядку убывания из локальных отклонений через UK):

Функция правдоподобия для грубых ошибок нам неизвестна, HO ее оптимальная оценка, отвечающая максимальному значению критерия (4.26), будет очень простой: h(E) = 1 для IE] > ug). Тогда критерий (4.26) примет вид:

2 [= С = -=&)Г-* п еб" -M Xr 4 > тах. (4.27) té

94

Отсюда следует, что оптимальная оценка параметра а может быть получена методом наименьших квадратов исходя из наблюдений, не входящих в множество %. Таким образом: 1) множество % отвечает А наибольшим локальным отклонениям и, = IY, — Ф(Х,, а)!; 2) оптимальное

2. значение а обеспечивает минимум суммы 5(%)= > [У-Ф(Х,, а); tex 3) оптимальное количество грубых ошибок k отвечает максимуму выраk gk T-k ,-bS(X . жения Che*(1—e)’ *e 9 Эти свойства могут быть положены в основу итеративной процедуры оптимального оценивания. №

В примере 2.8 мы рассмотрели задачу оценки параметра в условиях неоднородной ГС и стохастических ошибок. Аналогичный метод применим и тогда, когда ошибки являются ПВ или НВ.

Пример 4.19. Имеются данные о двух типах объектов. Наблюдаемые характеристики 7, и Х, объектов первого типа связаны зависимостью У, = @Х,+Ь +6, (1=1,..., Г), для объектов второго типа имеет место аналогичная зависимость У, = (И, +d +n, (Е =1, ..., К). Ошибки Е, и п; являются независимыми ПВ с известными функциями правдо_p2 _n2 подобия, соответственно еб /® ие" /S rye RuS - средние значения квадратов ошибок, умноженные на In 2. Требуется оценить общий для обеих зависимостей параметра ©. В этой ситуации критерий оптимальной оценки имеет вид:

-К- У (aX, -¥, +b)? -5 "У (ар -М +d)? L=e ' k

Без информации о А и S эту задачу решить нельзя, однако знать их точные значения не обязательно. Пусть, например, К и 5 неизвестны, но их можно рассматривать как ПВ с априорно известными наиболее правдоподобными значениями С иН. Примем, что соответствующие

=> max.

ед НУ сафункции правдоподобия имеют вид (2) е4-С'®) и (2) еЧИ-Н!5).

При этом оптимальное © определяется из условия:

сну С Н [9х 2-9“ ]- (==) exo R 7

-R'5 (aX, -¥, +b) -S'Y OU, -У, +a) | = тах. № t k

4.5. Устранение влияния отдельных факторов

Как говорилось в п. 1.5.2, нередко возникает потребность в установлении зависимости объясняемой переменной Y от объясняющей переменной Х в условиях, когда заведомо известно, что на Y влияют и

95

иные факторы. Примеры оценки такого рода неполных зависимостей приводятся ниже.

Пример 4.20. Рассмотрим задачу выявления сезонных колебаний в динамике какого-либо "объемного" показателя Х (например, объема производства на данном предприятии). Такая задача представляет интерес не только потому, что влияние сезонных факторов интересно само по себе. Нередко установление многих эконометрических зависимостей затруднено малым объемом исходной информации, и использование помесячных или поквартальных данных позволило бы повысить точность соответствующих оценок, если бы только из этих данных можно было бы исключить влияние сезонных факторов. Покажем, как можно это сделать.

Пусть известны значения У, анализируемого показателям в 1-м квартале достаточно большого отчетного периода (t= 1,..., Г), начинающегося с I квартала некоторого календарного года. Преднполагается, что в значениях У могут быть выделены сезонная и "трендовая" ("очищенная от влияния сезонности") составляющие. Последняя характеризуется динамикой (неизвестных) "трендовых" значений Z,, причем эта динамика должна быть "нормальной", влияние же сезонных факторов приводит к повышению или понижению фактических значений У по отношению к "трендовым" в определенное число раз, зависящее только от номера квартала в соответствующем году. Иными словами, имеет место разложение:

Y,=Z,xJ, (4.28)

где J, - коэффициент сезонного изменения У (коэффициент сезонности), относящийся к {-му кварталу [44]. Эти коэффициенты через четыре квартала повторяются, так что их динамика периодическая:

J3 = J7 =I) = 34 = Ig =Ур=.... (4.29)

Однако только этого для оценки зависимости недостаточно. Предположим, что в течение всех лет расчетного периода динамика У была следующей: в течение первых трех кварталов У = 10, в [У квартале Y = 20. Спрашивается, что мы имеем: сезонный рост в четвертом квартале или сезонное снижение в первых трех или то и другое вместе?

Чтобы ответить на этот вопрос, надо договориться о том, какому кварталу будет отвечать индекс сезонности, равный единице. Пусть, для определенности, таким кварталом будет первый. Это даст нам дополнительное соотношение:

Jp= 1. (4.30)

Формализуем теперь понятие "тренда". Выявляя влияние сезонных факторов, мы одновременно хотим и "очистить" от этого влияния динамику исследуемого показателя, т.е. сделать динамику трендовых

он зи

значений 2, возможно более "гладкой", "плавной". Тем самым крите-

96

рием оптимального разложения должен выступать некоторый показатель "плавности" указанной динамики. В непрерывном случае здесь можно было бы использовать описанный в п. 2.2 интегральный критерий Q>. Поскольку в нашей задаче время меняется дискретно, воспользуемся дискретным аналогом указанного критерия. Это приводит к задаче нахождения неизвестных J, и 2, из условий (4.28)—(4.30) и

T-1 X (24) -2Z, + 2,1)? => шт. (4.31) t=2

Легко видеть, что это эквивалентно нахождению коэффициентов J, из условия

2 T-1 y | tuto ty Ht) = min (4.32) 1=2 Л J, Л

при ограничениях (4.29)-(4.30). Нетрудно убедиться, что оптимальные коэффициенты J, (точнее, обратные к ним величины) находятся теперь из решения системы трех линейных уравнений с тремя неизвестными, после чего "очищенные" от влияния сезонности значения показателя (Z,) находятся из формулы (4.28). №

Пример 4.21. При построении производственной функции, отражающей зависимость максимально возможного объема производимого продукта от имеющегося количества ресурсов, требуется скорректировать ВВП с учетом "недоиспользования производственной мощности народного хозяйства". Обычно в этих целях используется метод Уортонской школы "тренд через пики" [66]. Он состоит в проведении линии тренда по пиковым точкам временного ряда объемов ВВП, причем линия тренда отвечает потенциальному ВВП, а уровень использования мощностей — отношению фактического ВВП к "трендовому". Такому методу присущи два недостатка (см. также [4]): 1) в "пиковых" точках ВВП предполагается отвечающим полной загрузке мощностей; 2) предполагается, что линейная интерполяция между пиковыми точками является хорошим приближением темпов роста мощностей. Оказывается, есть возможность, хотя бы частично, устранить второй недостаток (устранить первый, по-видимому, нельзя даже, если рассматривать объемы производства в отдельных отраслях экономики).

Действительно, пусть О, — фактический ВВП в году ¢, а У, — потенциальный ВВП (мощность народного хозяйства по производству ВВП) в этом году. Тогда величина 7, = РУ, отражает уровень загрузки мощностей в этом году. Рассмотрим логарифмы указанных величин: d, = In(D,), у, = In(Y,), 2, = -In(Z,) = y, -d, Будем рассматривать величины 7, и зависимость у, = f(t) как наделенные правдоподобием.

С одной стороны, представляется весьма правдоподобным, что объемы потенциального ВВП с течением времени растут, причем достаточно плавно, так что функция f(t) возрастающая и гладкая в смысле п. 2.4. Тогда, как и в рассмотренной выше ситуации, функцию

97

Ln(BBI) 12,4 +

12,2 1

121 11,8 + 11,6 + 11,4 +

11,2 +

Год 10,8 + + 4 oot 4 + + 4

1920 1925 1930 1935 1940 1945 1950 1955 1960

Рис. 3. Оценка потенциального ВВП 1 — факт; 2 - расчет

правдоподобия для нее можно задать через дискретный аналог функ-

ql _ Sa 7 Y, и ционала гладкости (2.5): ехр+ —А, У, |}.

t=2 Veal ~ У

С другой стороны, естественно ожидать, что малые уровни

загрузки мощностей значительно менее правдоподобны, чем близкие к единице. На этом основании примем, что 7, имеют на отрезке [0, 1] функцию правдоподобия p(Z) = 7”. При этом величины 2, будут иметь на [0, <) функцию правдоподобия p(z) = е-"?. Тогда функция правдоподобия результатов наблюдений станет равной

2 ql pies aes ехр1 —^. У, -ту yp t=2 У ~ у t=! Введя параметр и = А/т и учитывая, что 2, = у, - 4, = 0, задачу максимизации этого критерия сведем к следующей:

2 № [fest 2] + ау) max, y,<d, Vt. (4.33) У - У t=]

На рис. 3 приведена динамика фактического и потенциального ВВП по частному несельскохозяйственному сектору США за 1921-1960 гг., полученная из (4.33) при И = 2 на основе данных [4]. Рисунок показывает, что общая идея проведения "тренда через пики" при использовании данного метода сохраняется. Расчеты показывают, кстати, что

98

90 ГИ 2 t

80 .

70

60

50 ZW,% 50 60 70 80 90 100

Рис. 4. Сопоставление уровней загрузки мощностей

динамика потенциального ВВП оказывается довольно устойчивой к изменению параметра р. Интересно сравнить найденные коэффициенты загрузки (2) с рассчитанными методом Уортонской школы (ZW), значения которых также приведены в [4]. Результаты такого сопоставления представлены на рис. 4. Из рисунков видно, что предлагаемый метод по сравнению с методом Уортонской школы дает в среднем более высокие значения уровня загрузки мощностей, при этом динамика потенциального ВВП, исчисленная вторым способом, представляется более удовлетворительной. Отметим в этом связи, что использование вспомогательного параметра Ц, хотя и вносит в решение определенный элемент субъективизма, позволяет учесть при решении особенности задачи, не формализованные в ее постановке и "ощущаемые" исследователем на интуитивном уровне. №

Подобные подходы применимы, по нашему мнению, и в других задачах "очистки" наблюдаемой переменной от влияния тех или иных "вспомогательных" факторов.

ЗАКЛЮЧЕНИЕ

Проблемы построения моделей зависимостей между экономическими показателями, так же как и иных экономико-математических моделей, в настоящее время далеки от окончательного решения. Они, к сожалению, в последние десятилетия отодвинулась на периферию интересов многих специалистов (в числе немногих исключений следует упомянуть вероятностную ветвь прикладной статистики). В известных публикациях основное внимание уделяется не методологии, а построению и исследованию конкретных (специфицированных или нет) моделей.

Между тем отсутствие единой и обоснованной методологии и методики моделирования создает ситуацию, когда различные модели одного и того же объекта с трудом поддаются сравнению, проверке на адекватность, не допускают объединения в едином комплексе т.д. В результате рекомендации, выдаваемые на основе модельных расчетов, часто носят весьма субъективный характер (достаточно вспомнить недавнюю дискуссию по поводу эконометрических моделей зависимости уровня экономической динамики страны от размеров государственного вмешательства в экономику: одни публикации подтверждали необходимость редукции такого вмешательства, другие — целесообразность его расширения).

Не меньшую опасность, чем субъективизм в построении и интерпретации моделей, представляет собой другое явление в сфере математического моделирования, которое можно назвать конвенционализмом. Речь идет о том, что многие традиционные методы интерпретации и обработки данных, разработанные для вполне определенных ситуаций моделирования, включающих специфическую предметную область и цели исследования по молчаливо принимаемому соглашению распространяются на совершенно другие ситуации. Конвенционализм в моделировании, направленный в целом на преодоление субъективизма, тем не менее не снимает его полностью и является в определенном смысле не меньшим злом, поскольку затрудняет возможность привлечения внимания исследователей к проблемам повышения объективности построения и применения экономико-математических моделей.

Мы не ставили задачу заполнить весь имеющийся в данной проблематике пробел. За пределами исследования остались вопросы выбора систем факторных показателей, методика и границы экономической интерпретации тех или иных характеристик построенных зависимостей полностью и другие вопросы. Словом, вопросов осталось больше, чем получено ответов. Вместе с тем мы надеемся, что данная работа будет способствовать пробуждению интереса у специалистов по эконометрике, статистике, другим экономико-математическим дисциплинам к фундаментальным проблемам методологии моделирования, консолидации усилий исследователей в актуальном для развития экономико-математических методов научном направлении.

100

ЛИТЕРАТУРА

1. Айвазян C.A., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей: Справ. изд. М.: Финансы и статистика, 1985.

2. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973.

3. Клейнер Г.Б. Детерминированный анализ систем показателей // Экономика и мат. методы. 1981. Т. XVII. Buin. 6.

4. Браун М. Теория и измерение технического прогресса. М.: Статистика, 1971.

5. Тинтнер Г. Введение в эконометрию. М.: Статистика, 1965.

6. Клейнер Г.Б. Производственные функции: теория, методы, применение. М.: Финансы и статистика, 1986.

7. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. М.: Юнити, 1998.

8. Дрейпер H., Смит Г. Прикладной регрессионный анализ. М.: Финансы

и статистика, 1986.

9. Пфанцагль И. Теория измерений. М.: Мир, 1976.

10. Чупров А.А. Очерки по теории статистики. М.: Госстатиздат, 1959.

11. Раяцкас РЛ., Плакунов М.К. Количественный анализ в экономике. М.: Наука, 1987.

12. Шклярский Д.О., Ченцов H.H., Яглом И.М. Геометрические оценки и задачи комбинаторной геометрии. М.: Наука, 1974.

13. Теория ошибок // Весь компьютерный мир, 1996. № 1.

14. Корн Г., Корн Т. Справочник по математике. М.: Наука, 1968.

15. Смоляк С.А. Планирование многономенклатурного производства. М.: Экономика, 1977.

16. Смоляк С.А. Как обосновать вид зависимости между экономическими показателями // Наука и технология в России. 1994. № 1(3). С. 11-12.

17. Боярский А.Я. и др. Общая теория статистики / Учебник. М.: Финансы и статистика, 1985.

18. Методы анализа данных: Подход, основанный на методе динамических сгущений (под ред. Дидэ Э.). М.: Финансы и статистика, 1985.

19. Benzekri J.P. et al. L’analyse des donnees. Dunod, 1973. Tome 1; Dunod, 1982. Tome II.

20. Брейли P., Майерс С. Принципы корпоративных финансов. М.: Олимп-бизнес, 1997.

21. Бахвалов Н.С. Численные методы. M.: Наука, 1973.

22. Kolmogorov А.М. Uber die beste Annaherung von Funktionen einer gegebenen Funktionenklasse // Ann. of Math. 1936. V. 37.

23. Никольский С.М. Квадратурные формулы. М.: Физматгиз, 1958 (издание второе с добавлением Н.П. Корнейчука. М.: Наука, 1974).

24. Тихомиров В.М. Поперечники множеств в функциональном пространстве и теория наилучших приближений // Успехи мат. наук. 1960. Т. 14. № 3.

101

25. Тихомиров В.М. Наилучшие методы приближения и интерполирования дифференцируемых функций в пространстве С(-1,1) // Мат. сб. 1969. Т. 80 (122). № 2(10).

26. Смоляк С.А. Интерполяционные и квадратурные формулы на клас-

сах we и ES // Доклады AH CCCP. 1960. Т. 131. № 5.

27. Смоляк С.А. Об оптимальном восстановлении функций и функционалов от них. Дис. канд. экон. наук. M., 1966.

28. Тихомиров В.М. Некоторые вопросы теории приближений. М.: Издво МГУ, 1976.

29. Клейнер Г.Б. Область определения производственной функции // Экономика и мат. методы. 1978. Т. XIV. Вып. 5.

30. Uzawa Н. Production Functions with Constant Elasticities of Substitution // The Review of Economic Studies. У. 29 (October, 1962). Р. 91-99.

31. Mukerji V. Generalized SMAC Functions with Constant Ratios of Elasticities of Substitution // The Review of Economic Studies. У. 30 (October, 1963). Р. 233— 261.

32. Клейнер Г.Б., Сирота Б.Н. О производственных функциях с постоянными и переменными эластичностями замены факторов // Экономика и мат. методы. 1975. Т. XI. Вып. 3.

33. Демиденко Е.З3. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981.

34. Holladay J.C. Smoothest curve approximation // Math. Tables Aids Comput. 1957. У. 11.

35. Смоляк С.А. Сплайны и их применение // Экономика и мат. методы. 1971. Т. УИ. Вып. 3.

36. Алберг Дж., Нильсен Э., Уолш Дж. Теория сплайнов и ее приложения. М.: Мир, 1972.

37. Рябушкин Т.В. и др. Общая теория статистики // Учебник. М.: Финансы и статистика, 1981.

38. Fisher К.А. On the mathematical foundations of theoretical statistics. // Phil. Trans., 1921. Sec. A. Vol. 222.

39. Айвазян C.A., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. M.: Финансы и статистика, 1983.

40. Lindley D.V. Regression lines and the linear functional relationship // Suppl. J. Roy. Statist. 1947. Vol. 9.

41. Kiefer J., Wolfofitz J. Consistency of the maximum likelihood estimator in the presence of infinitely many incidental parameters // Ann. Math. Statist. 1956. V. 27.

42. Хьюбер П. Робастность в статистике. M.: Мир, 1984.

43. Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, 1967. Т. 2.

44. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания (статистическая обработка неоднородных совокупностей). М.: Статистика, 1980.

45. Neyman J., Pearson E.S. On the use and interpretation of certain test criteria for the purposes of statistical inference // Biometrica. 1928. V. 20A.

46. Клейнер Г.Б., Николаева Н.Л. Оценка параметров имитационных экономико-статистических моделей с учетом априорной качественной информации // Экономика и мат. методы. 1986. Т. XXII. Вып. 4.

102

47. Курно О. Основы теории шансов и вероятностей. М.: Наука, 1970.

48. Карпенко Б.И. Случайность и необходимость и их взаимосвязи в статистических исследованиях // Проблемы теории статистики. М.: Наука, 1978.

49. Savage L.J. The Foundations of Statistics. N.Y.: Wiley, 1954.

50. Фишберн П. Теория полезности для принятия решений. M.: Наука, 1978.

51. Полтерович В.М. Кризис экономической теории // Экономическая наука современной России. 1998, № 1.

52. Fama E.F., French К.К. CAPM is wanted, dead or alive // J. of Finance. 1995, October.

53. Литтлвуд Дж. Математическая смесь. М.: Физматгиз, 1962.

54. Zadeh L.A. Fuzzy Sets // Information and Control. 1965. Vol. 8.

55. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь. 1982.

56. Нечеткие множества в моделях управления и искусственного интеллекта (под. ред. Поспелова Д.А.). М.: Наука, 1986.

57. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь. 1989.

58. Смоляк С.А. О правилах сравнения нечетких альтернатив // Экономика и мат. методы. 1993. Т. 29. Вып. 4.

59. Левнер E.B., Птускин А.С., Фридман А.А. Размытые множества и их применение. М.: ЦЭМИ РАН, 1998.

60. Смоляк С.А. О сравнении альтернатив, параметры которых характеризуются функциями правдоподобия // Экономика и мат. методы. 1996. Т. 32. Вып. 1.

61. Пойа Д. Математика и правдоподобные рассуждения. М.: Наука, 1975.

62. Алексеев А.В. и др. Интерпретация значений функции принадлежности и операции над нечеткими множествами // Прикладные задачи анализа решений в организационно-технических системах. Рига: Рижский политехнический институт, 1983.

63. Смоляк С.А. О правилах сравнения альтернатив с неопределенными затратами и результатами //Вероятностные модели математической экономики. М.: ЦЭМИ, 1990.

64. Смоляк С.А. Оценка эффективности проектов в условиях интервально-вероятностной неопределенности // Экономика и мат. методы, 1998. Т. 34. Вып. 3.

65. Pearson К. On lines and planes closest fit to systems of points in space // Phil. Mag. 1901. Vol. 2. $. 6.

66. Index of Percentage Utilization of Industrial Capacity for the United States // Econometric Research Unit. University of Pennsylvania, 1960.

СОДЕРЖАНИЕ

ВВЕДЕНИЕ .......... иене иииелииеииини

1. ОСНОВНЫЕ ПОНЯТИЯ ............... ии

1.1. Объекты и их характеристики ............ нение 1.2. Наблюдения, измерения, оценки 1.3. Ошибки наблюдений ......... «нии низине нина 1.4. Зависимости между характеристиками объектов 1.5. Различные типы статистических зависимостей ..............еиьниннии

2. ПРИНЦИПЫ ОПТИМАЛЬНОЙ ОЦЕНКИ ЗАВИСИМОСТЕЙ ......

2.1. Принцип минимального расстояния 2.2. Принцип минимальных потерь ....... иене see 2.3. Принцип минимума интегрального отклонения ............ иене 2.4. Принцип максимальной гладкости в задаче интерполяции ........ 2.5. Принцип максимального правдоподобия 2.6. Два правдоподобия .............. „ленин илнинииииииниенинини

2.7. Основные недостатки метода максимального правдоподобия ... 2.8. Сочетание разных принципов .......... ини ииииииничиинии 2.9. Принцип максимальной согласованности .......... иена 2.10. Об учете целевой информации при оценивании зависимостей.

3. ХАРАКТЕРИЗАЦИЯ НЕОПРЕДЕЛЕННОСТИ РЕЗУЛЬТАТОВ НАБЛЮДЕНИЙ .......... лилии лилии

3.1. Систематические ошибки 3.2. "Случайные" результаты наблюдений — вероятностный подход. 3.3. Альтернативные описания "случайных" величин ...... чении 3.4. Интервальные неопределенности ............ линии линии

4. ОЦЕНКА ЗАВИСИМОСТЕЙ ПРИ РАЗНЫХ ТИПАХ НЕОПРЕДЕЛЕННОСТИ ............ иная

4.1. Оценка параметрических зависимостей ............ +... 4.2. Оценка непараметрических зависимостей 4.3. Выявление грубых ошибок и устранение их влияния .................. 4.4. Разнотипная неопределенность 4.5. Устранение влияния отдельных факторов ........ +...

ЗАКЛЮЧЕНИЕ ........... или ЛИТЕРАТУРА ......... нии иене