Методы экспертных оценок
Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов? 
Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.
Краткий ликбез
В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.
Существует две группы экспертных оценок:
- Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
- Коллективные оценки основаны на использовании коллективного мнения экспертов.
Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.
Способы измерения объектов
- Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
- Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
- Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.
Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. 
aij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
Затем, подсчитывается Si — среднее значение важности признака.
Метод задания весовых коэффициентов (aij)
- всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
- наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.
Метод последовательных сравнений заключается в следующем:
- эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
- присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
- сравнивает значение первого признака с суммой всех последующих.
В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером nxn, где n – количество сравниваемых объектов.
При сравнении объектов матрица заполняется элементами aij следующим образом (может быть предложена и иная схема заполнения):
- 2, если объект i предпочтительнее объекта j (i > j),
- 1, если установлено равенство объектов (i = j),
- 0, если объект j предпочтительнее объекта i (i Вычисление
Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.
Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.
Заключение
Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.
Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам
Источник
Методы индивидуальных экспертных оценок.
Методы индивидуальных экспертных оценок базируются на использовании в качестве источника информации мнения одного человека. К данной группе относятся: метод интервью, метод анкетного опроса, аналитический метод, метод написания прогнозного сценария.
Метод интервью. Основная особенность данного метода заключается в том, что исследователь (опрашивающий) и эксперт находятся в непосредственном контакте. Необходимая информация извлекается в ходе беседы. Направление беседы задает опрашивающей по заранее составленным вопросам относительно перспектив развития прогнозируемого объекта. Ему принадлежит ведущая роль в проведении беседы. Эксперт выступает в роли источника прогнозной информации.
Есть три основные формы проведения интервью: свободная беседа; интервью по типу вопрос-ответ; интервью в форме перекрестного допроса (последняя форма интервью осуществляется с привлечением нескольких интервьюеров, как правило двух. Они стремятся получить максимум информации по проблеме, одновременно проверяя ее на непротиворечивость).
Достоинство метода интервью заключается в том, что непосредственный контакт эксперта и интервьюера позволяет направить беседу в необходимом направлении. Недостатки метода: 1) влияние на прогнозные оценки субъективных факторов (например, психологическое давление интервьюера на эксперта); 2) не каждый эксперт может делать экспромтом хорошие и грамотные заключения.
Метод анкетного опроса. Для получения информации эксперту предлагается для заполнения анкета, содержащая набор вопросов, каждый из которых логически связан с центральной задачей исследования. Анкета заполняется экспертами самостоятельно, поэтому все вопросы должны быть сформулированы предельно ясно и однозначно.
В зависимости от целей исследования при составлении анкет используются вопросы двух видов: открытые и закрытые. В формулировке закрытых вопросов содержатся возможные варианты ответов. На вопросы открытые (свободные) ответы экспертом могут быть даны в любой форме.
Достоинство открытых вопросов – возможность обнаружить с помощью эксперта новые, оригинальные варианты решения проблемы, а их недостаток – трудоемкость анализа ответов, так как возможен широкий диапазон ответов и трудно сформулировать общегрупповое мнение.
Таким образом, использование анкет с вопросами закрытого типа обосновано, когда необходимо получить согласованную позицию экспертов, и нежелательно, когда прогнозируется сложный процесс, у которого может быть несколько вариантов, путей развития.
В общем случае анкета экспертного опроса включает в себя три основные части:
• обращение к эксперту для введения его в сущность прогнозной разработки, где описаны цель и задачи прогнозного исследования, методические особенности его проведения, роль и функции эксперта;
• описание проблемы, предлагаемой эксперту для анализа;
• совокупность вопросов или заданий эксперту;
Анкетирование может быть очным и заочным. Плюсы заочного анкетирования – возможность привлечения экспертов, живущих в разных городах, меньшая нагрузка на организаторов. Минусы — возможное неправильное истолкование вопросов, затяжки с ответами. Минус очного анкетирования — влияние организаторов на эксперта.
Аналитический метод предполагает проведение экспертом логического анализа какой-либо прогнозной ситуации, и его результатом является аналитическая докладная записка. Он предполагает самостоятельную работу эксперта над анализом тенденций, состояния и путей развития прогнозируемого объекта. Данный метод мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний. Экспертиза позволяет обойти трудности долгосрочного учета качественных изменений объекта прогнозирования, связанных как с внутренней логикой развития объекта, учета взаимосвязей качественных признаков, так и с изменением внешних факторов.
Метод написания прогнозного сценария основан на определении логики развития экономического процесса во времени при различных условиях. В сценарии указывается генеральная цель развития объекта прогнозирования, выявляются основные факторы (и положительные, и негативные), влияющие на развитие объекта, формулируются критерии для оценки различных процессов, связанных с развитием объекта прогнозирования. Ценность сценария тем выше, чем меньше степень неопределенности, т.е. чем больше степень согласованности мнений экспертов об осуществимости событий, развитии процесса.
Как правило, каждый сценарий состоит из трех частей:
• базовый блок (отображение существующей реальности и динамических характеристик прогнозируемой социально-экономической системы);
• варианты будущего развития объекта, строящиеся на основе многочисленных гипотез и возможных последствий, что позволяет сформировать дерево будущего;
• конечные результаты прогноза для различных временных горизонтов.
Прогнозный сценарий обычно имеет многовариантный характер и рассматривает три линии поведения: оптимистическую, пессимистическую и рабочую. Первая отражает развитие объекта в наиболее благоприятной ситуации, вторая — в наименее благоприятной. Рабочая линия отражает развитие в условиях противодействия отрицательных факторов, появление которых наиболее вероятно.
Таким образом, методы индивидуальных экспертных оценок базируются на возможности максимального использования индивидуальных способностей экспертов и минимизации психологического давления, которое может быть оказано на отдельных работников.
Наиболее достоверными являются коллективные экспертные оценки.
Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.
Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10-150 чел. в зависимости от сложности объекта. После опроса осуществляется обработка материалов. Окончательная оценка может определяться как среднее суждение или как среднее арифметическое значение оценок всех экспертов.
Метод коллективной генерации идей («мозговой атаки», «мозгового штурма») представляет собой способ получения прогнозных оценок в ходе совместного обсуждения как результата коллективного творчества людей. Он включает два элемента: выявление вероятностных вариантов развития объекта прогнозирования и их оценку.
Следует выделить шесть главных правил проведения «мозговой атаки».
1. Запрещается всякая критика предлагаемых идей на начальных этапах.
2. Время одного выступления ограничено (1-2 минуты).
3. Допустимы многократные выступления одного и того же участника.
4. Приоритет выступления имеет эксперт, развивающий мысль предыдущего высказывающего.
5. Обязательная фиксация всех высказанных идей.
6. Оценка идей, выдвинутых на предыдущих этапах.
Метод «мозговой атаки» требует следующие виды обеспечения:
1) организационное обеспечение, заключающееся в выборе ведущего, формировании групп генераторов идей и экспертов, организации их работы в соответствии с правилами и принципами метода;
2) методологическое обеспечение, т.е. обучение специалистов принципам, правилам и содержанию этапов метода, выбору разновидностей метода и практическому освоению всех необходимых процедур;
3) психологическое и мотивационное обеспечение, включающее психологическую настройку и стимулирование творческой работы специалистов, привлекаемых в группы генераторов идей, и экспертов с учетом особенностей этих групп;
4) информационное обеспечение, заключающееся в подготовке информационно-справочных и методических материалов для формулирования проблемы, постановки задач, а также анализа выдвинутых идей.
Метода «мозговой атаки» реализуется шесть этапов:
1 этап — формирование группы участников «мозговой атаки» (по численности и составу). Число участников может быть различным в зависимости от сложности объекта прогнозирования. Опыт показывает, что наиболее продуктивны группы в 10-15 человек. Группа участников может состоять из лиц одного ранга, если участники знают друг друга, и из лиц разного ранга, если участники не знакомы. Специализация участников в области объекта прогнозирования необязательна, даже рекомендуется на первом этапе привлекать специалистов из разных областей знаний, разбирающихся в вопросах объекта прогнозирования.
2 этап — составление проблемной записки. Проблемная записка составляется рабочей группой (организаторами опроса) и содержит два описания: описание самого метода «мозговой атаки», его правил, приемов; описание проблемной ситуации, которое содержит раскрытие причин возникновения проблемы, их анализ, возможные последствия проблемной ситуации, анализ мирового опыта решения проблемы (если он имеется), некоторые статистические показатели, характеризующие объект прогнозирования, раскрытие целей, которые преследуют организаторы опроса.
3 этап – генерация идей или непосредственно опрос экспертов. Этот этап начинается с того, что ведущий раскрывает содержание проблемной записки, концентрирует внимание экспертов на решаемых вопросах, на правилах проведения метода. Активная роль ведущего предполагается только в начале 3 этапа. После подъема активности участников процесс выдвижения идей идет спонтанно. Третий тур по времени должен занимать от 20 минут до 1 часа в зависимости от активности экспертов. Целесообразно записывать все высказывания.
4 этап — систематизация идей, высказанных на третьем этапе. Последовательность: а) составляется номенклатурный перечень всех высказанных идей; б) определяются дублирующие и дополняющие идеи, которые объединяются и формулируются в виде одной комплексной идеи; в) составляется перечень идей по группам. В каждой группе идеи располагаются от более общих к частным. Это делается рабочей группой (организатором опроса).
5 этап — деструирование (разрушение, критика) систематизированных идей. На этом этапе состав экспертов меняется, рекомендуется оставить небольшое число лиц (5-8 человек), наиболее высококвалифицированных в рассматриваемой области. Экспертам сообщаются результаты четвертого этапа, и предлагается высказаться с критическими замечаниями по вопросу практической реализации высказанных идей. Наиболее ценными на данном этапе являются контридеи, высказанные вслед за проведенной критикой. Рекомендации по продолжительности пятого тура — не более 1,5 часов. Данный этап продолжается, пока каждая из систематизированных групп идей не подвергнется критике.
6 этап – оценка критических замечаний и составление списка практически приемлемых идей. Рабочая группа отбирает те идеи, которые не подверглись критике на пятом этапе, или наиболее интересные контридеи, которые и закладываются в основу разработки прогноза.
Достоинствами этого метода являются возможность получения результата за короткий промежуток времени и возможность вовлечения в творческий процесс одновременно большого количества экспертов.
К числу важнейших недостатков метода коллективной генерации идей относятся значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.
Метод Дельфи – один из наиболее распространенных интуитивных методов прогнозирования. Он был разработан в 1963 г. американской корпорацией «Рэнд» и использован впервые для построения прогноза числа изобретений в различных отраслях науки к 2010 г. В России он начал применятся с 70-х годов.
Метод Дельфи позволяет обобщить мнения экспертов и сформулировать единое групповое мнение. Оценка будущего развития получается в форме ответов на вопросы, задаваемые участникам по несколько раз.
Этот метод имеет три особенности: а) анонимность экспертов, т.е. участники не знакомы, а если знакомы, то не знают, что они участники; б) многотуровая процедура опроса экспертов посредством их анкетирования; в) использование результатов предыдущего тура.
В результате обработки анкет экспертов организаторами формулируется коллективное мнение. Эта информация сообщается экспертам, их просят переосмыслить свои высказывания и в случае несогласия объяснить причины этого. Данная процедура повторяется 3-4 раза, в результате чего организаторы добиваются сужения диапазона экспертных заключений. Статистическая характеристика группового ответа заключается в том, что организаторы составляют прогноз, содержащий точку зрения большинства экспертов.
Американская практика показала, что организация и процедура проведения прогнозов с помощью МД обходится инициаторам в 50% случаев до 5000 долларов, известны случаи и до 100000 долларов. Общее время реализации процедуры составило в 75% случае от 6 до 8 месяцев.
Этапы (туры) метода Дельфи.
1) определяется коллектив экспертов, им рассылается первый вариант вопросов в специально составленных анкетах;
2) после сбора и получения анкет выделяются те варианты, за которые высказалось большинство. Организаторы оценивают в балльной системе варианты по определенной схеме;
3) все участники получают результаты второго тура, и их просят подумать над вопросом и, если сочтут нужным, поменять свое мнение (выдается анкета другого вида);
4) организаторы собирают анкеты и обрабатывают их. Экспертам вновь выдаются анкеты с тем же вопросом по форме 3-го тура. Задача организаторов – добиться сужения диапазона высказываний экспертов, чтобы четко выделить одно, за которое проголосует большинство. Количество туров может быть 5-6, если оценки экспертов не меняются, то опрос прекращается.
Данный метод имеет следующие недостатки: невозможно учесть влияние, оказываемое организаторами на экспертов при составлении анкет; велики затраты времени и средств.
Метод экспертных комиссий основан на открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Дискуссия происходит за круглым столом, рекомендуемое число участников 15-20 человек. Для получения оценки данным методом создается рабочая группа, которая осуществляет назначение экспертов, проведение опроса, обработку материалов, анализ результатов коллективной экспертной оценки.
В процессе работы уточняются основные направления развития объекта, составляется матрица, отражающая генеральную цель, подцели и средства их достижения, т.е. направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели.
Далее разрабатываются вопросы для экспертов, содержание которых определяется спецификой прогнозируемого объекта. Опрос экспертов и статистическая обработка материалов характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Полученные данные служат исходной базой для синтеза прогнозных гипотез и вариантов развития исследуемого явления или процесса. Результат представляет собой совокупность оценок относительной важности, назначенных экспертами для каждого из оцениваемых направлений исследования, и разработок, выражающихся в баллах и принимающих значения от 0 до 1, от 0 до 10, от 0 до 100 и т.д. Эти оценки по определенному вопросу сводятся в таблицы, строки которой соответствуют направлениям исследования, а столбцы – порядковым номерам экспертов.
Достоинство метода экспертных комиссий заключается в возможности роста информированности экспертов, так как при обсуждении они обмениваются точками зрения, что благоприятно влияет на точность прогноза. К недостаткам можно отнести следующие факторы: 1) группа экспертов в своих суждениях руководствуется логикой компромисса; 2) отсутствие анонимности может привести к тому, что эксперты присоединят свои голоса к более компетентным, авторитетным лицам при своем отличном мнении и в итоге дискуссия может свестись к полемике авторитетов; 3) существенным фактором при выработке коллективного мнения может стать активность некоторых экспертов, которые не являются наиболее компетентными; 4) в результате отсутствия анонимности некоторые эксперты могут не пожелать изменять свое мнение в результате того, что они его уже высказали публично, хотя большинству удалось их переубедить.
Метод морфологического анализа. Разработано несколько разновидностей метода морфологического анализа: метод десятичных матриц поиска; «организующих понятий»; морфологического классифицирования. Метод морфологического анализа и его разновидности основаны на использовании стратегии направленного систематического поиска множества потенциально возможных решений задачи в пределах морфологического множества, соответствующего структуре и особенностям задачи. Метод обеспечивает получение большого числа возможных решений по любой изучаемой проблеме при сравнительной легкости процедуры поиска.
Метод морфологического анализа применяется для решения прогностических задач в различных сферах социально-экономического и научно-технического развития в нашей стране и за рубежом. Результаты применения метода позволяют говорить о его эффективности и перспективности. В нем достигнуто разумное сочетание творческих и механистических процедур при его использовании. Практика применения метода показывает, что с его помощью можно получать множество нестандартных решений. Наиболее широко он используется для синтеза объекта прогнозирования. Только в рамках морфологического метода возникает задача содержательной интерпретации соответствующих формальных прогнозов.
Рассмотрим алгоритм реализации метода морфологического анализа:
1. Четкая формулировка проблемы, по которой необходимо принять решение.
2. Определение перечня всех основных морфологических признаков объекта, т.е. его значимых характеристик или свойств.
3. Составление морфологической матрицы, в которой наряду с признаками указываются всевозможные альтернативные значения каждого из них (для нас — это частичные решения).
4. Анализ полученных данных, их оценка и выбор приемлемого решения.
Поясним каждый этап на примере. Для облегчения понимания рассмотрим техническую сторону вопроса, так как экономическая и социальная составляющие настолько сложны, что при постановке и решении задачи могут вызвать затруднение даже у специалиста, использующего данный метод на практике.
Допустим, перед автомобилестроительным заводом стоит задача создания нового автомобиля, способного достойно конкурировать на внутреннем и внешнем рынке, а для этого необходимо опередить уже имеющиеся модели, т.е. нужно сделать изобретение, улучшающее технические и эксплуатационные характеристики автомобиля и снижающее себестоимость его выпуска.
Речь идет о нахождении принципиально нового сочетания уже известных технических свойств. Для этого очень удобен морфологический метод.
1. Формулировка проблемы. Суть проблемы состоит в том, чтобы разработать новую модель автомобиля. Это и есть четкая формулировка.
2. Определение признаков. В данном случае это некоторые существенные характеристики модели, достаточно полно ее определяющие. Для определения признаков в рамках метода существуют следующие условия:
а) признаки должны быть существенными;
б) они должны быть независимыми друг от друга;
в) признаки должны полностью охватывать все аспекты проблемы;
г) количество признаков не должно быть неоправданно большим, чтобы не усложнять работу с матрицей.
В нашем случае существенными признаем следующие признаки:
A. Тип кузова и салона автомобиля — для эргономического удобства водителя.
B. Тип двигателя автомобиля.
D. Вид тормозной системы.
Все эти признаки являются существенными для обеспечения нормальной работы машины, независимыми и достаточно полно охватывают проблему рассмотрения параметров автомобиля; следовательно, удовлетворяют условиям.
3. Составление матрицы. Она будет выглядеть следующим образом:
| Признаки | Варианты значений | ||||||
| А | А1 | A2 | A3 | ||||
| В | В1 | B2 | B3 | B4 | |||
| С | C1 | C2 | C3 | C4 | C5 | ||
| D | D1 | D2 | |||||
| другие | X1 | X2 | X3 | X4 | X5 | X6 | X7 |
Где А1— кузов типа седан; А2 — универсал; А3 — люкс.
В1 – шестицилиндровый прямой двигатель; В2 – типа V6; В3 – это двенадцатицилиндровый прямой; В4 — типа V12.
С1 – бензин; С2 – дизель; Сз – газ; С4 – спирт; С5 – солнечная энергия.
D1 — гидравлические тормоза; D2 — механические тормоза.
Х1-7 — другие выделенные признаки.
Следует заметить, что для полного обзора всех возможных частичных решений в каждую строку следует добавить вариант значения «Другое решение». Тогда матрица будет отвечать принципу глобальности. В нашем случае возможных решений всего 3x4x5x2=120. Конечно, многие из них уже применялись, многие нерациональны и лишь некоторые принципиально новые. Однако рассмотрены будут все, и мы можем не бояться упущения каких-либо вариантов, так как никогда нельзя сказать наверняка, какое именно решение бессмысленно, а какое приемлемо.
4. Анализ и выбор приемлемого решения. В данном случае анализ проводится специально отобранными экспертами (для этой цели могут применяться другие методы, например, экспертные оценки), компетентными в данной области. Выбранные варианты соединяются в матрице ломаными линиями, и та линия, частота которой наибольшая, признается приемлемым решением. Например, это может быть A|-B2-C2-D2 (седан, V6, дизель, механические тормоза). Можно выбрать больше, чем одно решение по убыванию частоты — как бы запасные варианты
Метод «635». Группа из шести участников анализирует и формулирует заданную (проблемную) ситуацию. Каждый участник заносит в формуляр три предложения по решению задачи (в течение 5 мин) и передает формуляр соседу (формуляр ходит по кругу). Заполняющий формуляр принимает к сведению предложения своего предшественника, а под ними в трех полях вносит еще три собственных предложения. Эти предложения могут использоваться в дальнейшей разработке записанных решений, но могут выдвигаться новые. Процесс заканчивается, когда участники обработали все формуляры. Технология позволяет получить до 108 предложений.
Формализованные методы.
Формализованные методы, исходя из общих принципов действия, можно подразделить на три группы, которые в практике проведения прогнозных расчетов названные методы обычно используются в сочетании:
• индикативные и индексные методы;
Формализованные методы прогнозирования являются действенными и практически ценными лишь в том случае, если промежуток времени, на который разрабатывается прогноз, укладывается в рамки эволюционного цикла объекта прогнозирования. Возможность возникновения в прогнозном периоде радикальных сдвигов в развитии этого объекта делает их применение неэффективным. В этом случае формализованные методы могут применяться лишь для оценки эволюционных участков развития до и после сдвига. Прогнозирование же переходных процессов развития предполагает ориентацию на интуитивные методы. Если в прогнозируемом периоде укладывается несколько эволюционных циклов развития объекта прогнозирования, то применение интуитивных методов становится определяющим.
Источник
