Градиентные методы

Градиентные методы имеют несколько разновидностей, различающихся правилами выбора ступеней варьирования и рабочих шагов на каждом этапе движения к экстремуму. Сущность стратегии всех этих разновидностей состоит в том, что на каждом этапе вокруг очередной базовой точки организуют пробные эксперименты, по результатам которых оценивают новое направление градиента, после чего в этом направлении совершают рабочий шаг.

Вектор-градиент в n-факторном пространстве определяется соотношением

grad y = (∂y/∂x₁) + (∂y/∂x₂) + … + (∂y/∂x_k) , (10.4)

где (i=1, 2, …, n) – единичные направляющие векторы (орты), расположенные вдоль факторных осей;

∂y/∂x_i – частная производная целевой функции по i-му фактору.

Пробные опыты (по два в точках, расположенных на прямых, параллельных каждой факторной оси и проходящих через базовую точку) проводят с целью получить приближенные оценки частных производных. Рассмотрим две основные разновидности градиентных методов.

Обычный метод градиента осуществляется по следующей процедуре:

1 – Выбирают начальную (базовую) точку ₀=(x₁₀; x₂₀; …; x_no). На рисунке 10.3 это точка L₀.

2 – Выбирают интервал варьирования Δx_i по каждому из факторов x_i (i=1, 2, …, k), пользуясь уже определенными ранее правилами.

3 – Определяют координаты пробных точек (рисунок 10.3).

x₂

L₁₀

L₉

L₆ L₅ L₇

L₈

Δx₂ L₄

x₂₀ L₁ L₀ L₂

Δx₂ L₃

x₁

Δx₁ x₁₀Δ x₁

Рисунок 4.3 – Поиск экстремума функции отклика методом градиента

Вдоль направления, параллельного факторной оси x₁, ими являются точки L₁, L₂ с координатами

(L₁) = (x₁₀ – Δx₁; x₂₀; …; x_ko),

(L₂) = (x₁₀ + Δx₁; x₂₀; …; x_ko).

то есть варьируют один фактор x₁ при стабилизации остальных факторов на базовом уровне. Аналогично вычисляют координаты пробных точек вдоль направлений, параллельных остальным факторным осям x₂; x₃; …; x_k. Вдоль направления, параллельного факторной оси x₂, такие точки – L₃, L₄ с координатами

(L₃) = (x₁₀; x₂₀ – Δx₂; …; x_ko),

(L₄) = (x₁₀; x₂₀ + Δx₂; …; x_ko).

В пробных точках ставят опыты и получают значения целевой функции Y.

4 – По результатам пробных опытов вычисляют оценки составляющих вектор-градиента в точке L₀ для каждого i-го фактора:

(10.5)

В частности, для фактора x₁ по результатам опытов в точках L₁ и L₂ вычисление выполняют по формуле

(10.6)

Как известно, частные производные являются коэффициентами a_i (i=1, 2, …, n; i≠0) уравнения плоскости, касательной к поверхности отклика в точке L₀:

y = b₀ + b₁x₁ + b₂x₂ + … + b_kx_k. (10.7)

Оценки коэффициентов получают по формуле (10.5).

5 – Находят координаты рабочей точки на направлении градиента. Для этого выбирают параметр рабочего шага ρ_гр и вычисляют координаты первой рабочей точки по всем факторным осям x_i (i =1, 2, …, k):

x_i1 = x_i0 + ρ_гр . (10.8)

На рисунке 10.3 первой рабочей точкой является точка L₅. Чтобы из основной точки L₀ попасть в точку L₅, от L₀ откладывают в масштабе отрезки, равные ρ_гр и ρ_гр , причем если <0, то по соответствующему фактору отрезок откладывают в отрицательном направлении от точки L₀, то есть для фактора x₁ – влево от точки L₀, а для фактора x₂ – вниз от точки L₀. Если >0, то отрезки ρ_гр откладывают в положительном направлении от основной точки.

6 – Первую рабочую точку принимают за новую базовую точку и вокруг нее организуют новые пробные опыты для оценивания нового направления градиента, после чего совершают новый рабочий шаг (на рисунке 10.3 – в точку L₁₀). В общем случае в каждой m-й рабочей точке по результатам пробных опытов вокруг нее получают оценки составляющих градиента и совершают (m+1)-й рабочий шаг (m = 0, 1, 2, …) в точку с координатами

x_{i, m+1} = x_{i m} + ρ_гр . (10.9)

7 – Рабочее движение производят до тех пор, пока на очередном шаге все составляющие градиента не станут пренебрежимо малыми, то есть ≈0 (i=1, 2, …, n). Для этого достаточно, чтобы выполнялось неравенство

ρ_гр < 1 (10.10)

Если по результатам пробных опытов в (m+1)-й рабочей точке выполняется условие (10.10), то движение к экстремуму прекращают и эту рабочую точку принимают за точку экстремума.

Достоинства метода градиента:

– достаточная простота стратегии;

– повышенная по сравнению с методом Гаусса-Зайделя скорость движения к экстремуму (эффективность).

Недостатки:

– большая чуткость к помехам в отношении выбора направления рабочего движения;

– в случаях, когда поверхность отклика имеет сложную форму, метод градиента может не привести к истинному экстремуму;

– если поверхность отклика достаточно пологая, то в условиях помех метод мало эффективен в смысле точности выхода к экстремуму;

Метод Кифера-Вольфовицаявляется разновидностью градиентного метода и отличается от описанного выше обычного метода градиента тем, что если в первом из них размеры интервалов варьирования Δx_i при постановке пробных экспериментов и параметр ρ_гр рабочего шага остаются неизменными на любом рабочем шаге, то в рассматриваемом методе Δx_ik и ρ_грm выбирают в зависимости от номера k рабочего шага:

Δx_im = Δx_i0/(γm),

ρ_грm = ρ_гр0/m, (10.11)

где Δx_i0 – начальный интервал варьирования в основной точке L0;

ρ_гр0 – начальное значение параметра рабочего шага;

m – номер рабочего шага (m = 1, 2, …);

γ – постоянная степень, обычно выбираемая в пределах 0 < γ < 0,5. Чаще всего полагают γ=0,25.

Если в методе градиента фактический размер m-го рабочего шага уменьшается только из-за уменьшения градиента, то есть крутизны наклона поверхности отклика, при приближении к области экстремума, то в методе Кифера-Вольфовица фактический размер рабочего шага уменьшается в прямой зависимости от номера этого шага.

Достоинством метода Кифера-Вольфовица по сравнению с немодифицированным методом является его повышенная точность нахождения экстремальной точки, если поверхность отклика достаточно крутая, а экстремум находится от базовой точки не слишком далеко.

Недостатком является его низкая эффективность в условиях пологих поверхностей отклика. При очень пологих поверхностях отклика этот метод вообще не приводит к цели: рабочие шаги становятся сравнимыми с погрешностями измерения до достижения экстремума. Остальные достоинства и недостатки, а также вся процедура работы такие же, как и в методе градиента.