в вырожденных задачах оптимальное управление нельзя найти только из (10.58) или (10.59) и требуются дополнительные условия. Одним из необходимых дополнительных условий для вырожденных скалярных управлений являются неравенства

(-1)"

<0, k=l,2,....

. При пользовании этим условием производится последовательное дифференцирование дН/ди по времени, пока в одной из производных не появится и, что и даст возможность найти оптимальное управление. Доказано, что при таком последовательном дифференцировании s раз управление может появиться лишь при четном s = 2k.

Такого рода вырожденные задачи встречаются, в частности, когда гамильтониан Я линейно зависит от и.

Пример 10.9. Пусть

i = u; 1; л(0) = 4; л-(10) = 0; У=С Л/-!-т1п.

Тогда

И=-фи - х;дИ/ди = \р;\>-дН/дх = 2х.

В соответствии с принципом максимума и* = signi). Если на каком-либо отрезке времени интервала [О, 10] получится ф (t) = О, управление,будет вырожденным. Допустим, что такой отрезок существует. Для такого отрезка справедливы

a /du= = 0; d(dH/du)/dt = {\-> = 2x s 0; ddH/du)/dfi = 2х ~2и-.= 0,

откуда для вырожденного управления получаем и* = 0.

Таким образом, оптимальное управление может принимать только крайние значения: .-1 или 1, когда ф О, и О, когда ф = 0. Одним из управлений, удовлетворяющих этому условию, является управление

-1, 0< / < О, < / < 10.

Проинтегрируем уравнение объекта при этом управлении с учетом граничных условий. Тогда получим

4 -Л О / <

[ Ч: - 1, О

==1 О, tl

< < < 10.

Из условия непрерывности траектории следует х (tj) = 4 - /j = О, откуда ti= 4.

Рассмотренная задача является вырожденной как в классическом смысле, так и в смысле принципа максимума на отрезке.

Особые задачи

Как отмечалось, в гамильтониане = 2 ifi сопряжен-

. = 0

ную координату обычно выбирают равной ojo = - 1. Однако встречаются задачи, в которых оптимальным управлению и траектории соответствует гро = 0. Такие задачи называют особыми.

Примером особых задач могут быть неудачно сформулированные задачи оптимального управления, например такие, решение которых не зависит от критерия оптимальности или имеет только одно возможное допустимое управление. Для последних задач не существует возможности выбора наилучшего решения и сама постановка задачи об оптимальном управлении становится бессодержательной.

Пример 10.10. В качестве примера рассмотрим задачу х = и,

\и\ < 1, л; (0) = О, л; (1) = 1. / = - J У \ - u4t -»• min, где х и и - скалярные величины. о

Составим гамильтониан Н и сопряженное уравнение:

W = -ФоТ/l-12 + Ф1 -б /ах = 0.

Из последнего уравнения получаем ifii = С.

В соответствии с принципом максимума если м* - оптимальное управление к х* - оптимальная траектория, то

Н{х*, и*, iJ)*) > Н{х*, и. ф*),

причем Фо = const < 0.

Возможное допустимое управление - кусочно-непрерывная функция, удовлетворяющая поставленному ограничению и переводящая точку из X (0) за время tf = \ в точку л; (1)= 1, - единственно и равно и (О = 1. Так как других возможных управлений нет, оно и должно быть решением задачи: и* (t) = 1. При этом Н (х*, и*, ф*) = ф = С и по принципу максимума должно быть С -Фок! - + Си. Легко проверить, что .если фо = О, то последнее неравенство выполняется при всех значениях константы С 0. Но при фо = -1 нельзя подобрать С так, чтобы последнее неравенство выполнялось при всех допустимых управлениях. Следовательно, в данной задаче оптимальному решению соответствует фо = 0.

§ 10.4. Метод динамического программирования. Теорема Болтянского. Метод Кротова

Динамическим программированием называется разработанный Р. Беллманом в начале 50-х годов метод оптимизации многошаговых процессов различной природы. Основу динамического программирования как метода оптимизации составляют [3, /7]: 1) принцип оптимальности; 2) инвариантное погружение, т. е. включение исходной задачи в семейство аналогичных ей задач; 3) функциональное уравнение, получаемое на основе принципа оптимальности и инвариантного погружения.

Основная идея метода заключается в следующем. Вместо того чтобы решать исходную задачу, ее включают в некоторое семейство задач оптимизации (инвариантное погружение). При этом может оказаться, что между отдельными задачами существуют простые соотношения и среди задач семейства найдется такая, которая легко решается. Тогда, используя решение последней и соотношения, связывающие отдельные задачи семейства, получаем решение исходной задачи.

Проиллюстрируем сказанное на простейшем примере Пусть требуется найти минимум функции / (х) специального вида:

\ /(х)= fiiXi)- min , «=1 x£G"

где G" - прямое произведение областей (множеств) G; определения функций fi (Xi):

G"=GiXG2X...xG„; хС, i = \,2,...,n.

Рассмотрим семейство задач

fun) (хС")) =, 2 ft (Xi)-> min , m = 1,2,.... (10.60)

В последнем соотношении xt"*) = (х, XjY- Исходная задача погружена (инвариантное погружение) в построенное семейство задач в том смысле, что она входит в это семейство как частный случай (при т = п). В задаче (10.60) параметр т можно трактовать как дискретное время. Введем так называемую функцию Беллмана

Вт= min Efiixi).