Bellman tənliyi

Bellman tənliyi əsasən, sonsuz üfüqlü qərar problemini iki vaxt perioduna bölərək həll edir, bugün və sabah. Sabah bütün gələcəyi nəzərə alır. Aşağıdakı formanı alır:

${\displaystyle V(x_{0})\;:=\;\max _{\left\{a_{t}\right\}_{t=0}^{\infty }}\sum _{t=0}^{\infty }\beta ^{t}F(x_{t},a_{t}),}$  (1)

məhdudiyyətlərə tabedir

${\displaystyle a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t=0,1,2,\dots }$ 

Tənlik (1)-də verilmiş problemi olduğu kimi analitik həll etmək çox çətindir. Hər bir yeni vaxt periodunda yenidən həll olunmalıdır, çünki maksimizasiya ${\displaystyle a_{t}\forall t=0,1,2,\dots }$  formasındadır. Bellman tənliyi bu problemi zaman perspektivindən iki hissəyə bölür. ${\displaystyle a_{0}}$  (bugün) və ${\displaystyle a_{t}\forall t=1,2,\dots }$  (sabah və bütün gələcək). İndi isə bu prosesi addım-addım göstərək. Beləliklə, təkcə ${\displaystyle a_{0}}$  seçimini edərək tənlik (1)-i həll edə biləcəyik.^[7][8]

Eyni problemi biraz fərqli şəkildə izah edək. Fərz edək ki, ${\displaystyle x_{1}=T(x_{0},a_{0})}$  və ${\displaystyle x_{0}}$ , ${\displaystyle a_{0}}$  bizim ilk dövrdə olan seçimlərimizdir. Həmin yeni dövlət 1-ci vaxtdan etibarən qərar probleminə təsir edəcək. Bütün gələcək qərar problemi sağdakı kvadrat mötərizədə görünür.

${\displaystyle V(x_{0})=\max _{a_{0}}\left\{F(x_{0},a_{0})+\beta \left[\max _{\left\{a_{t}\right\}_{t=1}^{\infty }}\sum _{t=1}^{\infty }\beta ^{t-1}F(x_{t},a_{t}):a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t\geq 1\right]\right\}}$  (2)

məhdudiyyətlərə tabedir

${\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}$ 

Fikir verin ki, problemi hər bir yeni vaxtda eyni formada həll etmək çox və qeyri-optimaldır. Tənlik (2) heç də asand həll olunmur. Bellman tənliyi formasında isə dəfələrlə sadələşdirilir. Beləliklə, Bellman tənliyini bir riyazi alqoritm alqoritm olaraq da fikirləşmək olar.

İndiyə qədər biz bugünkü qərarı gələcək qərarlardan ayırmaqla problemi daha da çətinləşdirmişdik. Bellman tənliyi, əvvəlki tənliyi sadələşdirərək həll etməkdir. İndi,${\displaystyle x_{1}=T(x_{0},a_{0})}$  və ${\displaystyle x_{1}}$  bütün gələcək qərarları bir araya toplayır. Bugün verdiyimiz qərar ilə sabahkı qərarı müqayisə edirik. Beləliklə, sabah ilə nəzərdə tutduğumuz bütün gələcək qərarları bir araya toplayır.

Əvvəlki qeyd etdiyimiz problem dəyər funksiyasının rekursiv tərifi kimi yenidən yazıla bilər:

${\displaystyle V(x_{0})=\max _{a_{0}}\{F(x_{0},a_{0})+\beta V(x_{1})\}}$ , (3)

məhdudiyyətlərə tabedir:${\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}$ 

Tənlik (3)-də göstərilən zaman alt yazıları atıldıqda və növbəti vəziyyətin dəyəri qoşulduqda, daha da sadələşdirilə bilər:

${\displaystyle V(x)=\max _{a\in \Gamma (x)}\{F(x,a)+\beta V(T(x,a))\}.}$  (4)

${\displaystyle V(x)}$  Bellman tənliyidir. ${\displaystyle V(x)}$  formasında maximizasiya problemini bir qərar ilə həll etmiş oluruq. Məsələn, burdakı dəyər funksiyasını tapmaq üçün əlin-sağ-tərəfində olan hissədə maximizasiya problemini həll edirik. Problem artıq sadələşdiyi üçün, bu maksimizasiya artıq asandca tapıla bilər.

Bellman tənliyi konsepsional olaraq çətin görünən gələcək qərarı sadələşdirərək həllinə kömək edir.

Bellman tənliyinin iqtisadiyyatda hərtərəfli istifadə olunur. Bugün əsasən makroiqtisadi problemlərin həllində istifadə olunur.

Nensi Stokey, Robert E. Lukas və Edvard Preskott stoxastik və qeyri-stoxastik dinamik proqramlaşdırmanı mükəmməlləşdirərək yeni-nəsil iqtisadçılara kitablarında təqdim edirlər. Bellman tənliyi optimal iqtisadi artım, resurs hasilatı, prinsipal agent problemləri, dövlət maliyyəsi, biznes investisiyası, aktivlərin qiyməti, faktor təchizatı və sənaye təşkili daxil olmaqla, iqtisadiyyatda nəzəri problemlərin geniş spektrini həll etmək üçün istifadə olunur.^[9]