فهرست مطالب

1- مقدمه

2- مفاهيم و تعاريف اوليه

2-1- تعريف عامل

2-2- ويژگي‌هاي محيط

2-3- تعريف سيستم چندعامله

2-4- مدل‌هاي مارکوف در سيستم‌هاي چندعامله برای هماهنگی

2-4-1- فرآيند تصميم‌گيري ماركف چندعامله (MMDP)

2-4-2- مسائل تصميم‌گيري ماركف قابل مشاهده جزئي (POMDP)

2-4-2-1- چهارچوب POMDP

 2-4-2-1- 1-تشریح مدل

 2-4-2-1- 2-فضای حالت S

 2-4-2-1-3- فضای عمل A

 2-4-2-1-4- تابع انتقال T

     2-4-2-1-5- فضای مشاهده Z

     2-4-2-1-6- تابع پاداش R

 2-4-2-1-7- افق H و فاکتور کاهش ϒ

2-4-3- Multi-agent POMDP

2-4-4- فرآيند تصميم‌گيري تيمي چندعامله (MTDP)

2-4-5- بازي‌هاي غيرقطعي قابل مشاهده جزئي (POSG)

2-4-6- مسائل ارضاء محدوديت توزيع‌شده (DCSP)

2-4- خلاصه

3- زمينه‌هاي کاربردي

3-1- هماهنگی چند عامل در مزایده

3-2- استفاده از  POMDP در سیستم های چند عامل در زمینه مسیریابی  شبکه 

3-3- - یادگیری فعال در  POMDP  

3-4- فوتبال ربات‌ها

3-5- هدايت مبتني بر همكاري

3-6- کنترل ترافيک هوايي

3-7- مسيريابي و مديريت شبکه

3-8- خلاصه

4- هماهنگي در سيستم‌هاي چندعامله

4-1- روش‌هاي ايجاد هماهنگي در سيستم‌هاي چندعامله

4-2- خلاصه

5- ايجاد هماهنگي در سيستم‌هاي چندعامله با استفاده از تکنيک­هاي يادگيري

5-1- يادگيري تقويتي

5-1-1- يادگيري تقويتي تك‌عامله

5-1-1-1- يادگيري Q

5-1-2- يادگيري تقويتي چندعامله

5-1-2-1- يادگيري مستقل

5-1-2-2- يادگيري عمل گروهي

5-1-3- انواع الگوريتم‌هاي يادگيري تقويتي در سيستم‌هاي چندعامله

5-1-3-1- الگوريتم يادگيري Minimax-Q

5-1-3-2- الگوريتم يادگيري Nash-Q

5-1-3-3- الگوريتم يادگيري Friend-or-Foe Q (FFQ)

5-1-3-4- الگوريتم يادگيري rQ

5-2- اتوماتاي سلولي، اتوماتاي يادگير و اتوماتاي يادگير سلولي

5-2-1- اتوماتاي سلولي

5-2-2- اتوماتاي يادگير

5-2-3- اتوماتاي يادگير سلولي

5-2-4- فعاليت‌هاي انجام‌شده در زمينه استفاده از اتوماتاي يادگير در سيستم‌هاي چندعامله

5-3- خلاصه

فهرست منابع

فهرست اشکال

شکل 1- ساختار عامل]1[

شکل 2- ساختار سيستم چندعامله ]1[

شکل 3- رده بندی مدلهای مختلف مارکوف بر حسب قابلیت مشاهده و ارتباط

شکل 4- مدل POMDP

شکل 5- ارتباط بین مدل های مختلف با DEC-POMDP

شکل 6- مدل عامل ها در DCSP

شکل 7- مدل يادگيري تقويتي

شکل8- مقادير (1) ، (2)  و (3) خط‌مشي بهينه حاصل از هريك از آن‌ها

شکل9- شبه‌كد محاسبه مقادير  با استفاده    از روش   -LearningError! Bookmark not defined.

شکل 10- مدل يادگيري تقويتي چندعامله

شکل 11- لگوريتم يادگيري Minimax-Q

شکل 12- الگوريتم يادگيري Nash-Q

شکل 13- الگوريتم يادگيري rQ

شکل 14- ارتباط بين اتوماتاي يادگير و محيط

شکل 15- همسايگي ون نيومن ، مور ، اسميت و كول

شکل 16- قانون 54