Pribadi atau Sosial? Bagaimana mencapai kerjasama dalam lingkungan multi-agen

Hei! Nama saya Dmitry, dan saya ingin memberi tahu Anda tentang artikel kami "Menyeimbangkan Preferensi Rasional dan Preferensi Terkait Lainnya di Lingkungan Kompetitif-Koperasi", yang baru-baru ini diterima di konferensi AAMAS (A *). 

Dalam makalah ini, kami mengeksplorasi bagaimana sekelompok agen dapat dilatih untuk mencapai tujuan mereka sendiri dalam lingkungan campuran tanpa mengganggu atau bahkan saling membantu. Kami menganalisis beberapa solusi yang ada dan menawarkan solusi kami sendiri. Posting itu ternyata tingkat tinggi, detail teknisnya ada di artikel .

Siapa kita

Nama saya Dmitry Ivanov , saya adalah mahasiswa pascasarjana tahun ketiga di bidang ekonomi di St. Petersburg HSE. Saya bekerja di grup Pembelajaran Sistem dan Penguatan Agen di JetBrains Research, serta di Laboratorium Internasional untuk Teori Game dan Pengambilan Keputusan di HSE.

  , 1 “ ” — -, , . JetBrains Research, -- .

, : , . , . — (. 1).

. , : , . , 3 . , 2 . , , , 4 . : , , .. . .

— , (Peysakhovich and Lerer, 2017). , . . , — ‘Cooperate’ ‘Defect’. , . Sequential Social Dilemma (Leibo et al., 2017), , , .

, , — ( , ?) , . , ? : ?

: , (Rashid et al., 2018). : , . . (SW = Social Welfare): 

SW , , , (). — , . , . “” ? (. 1). , , Defect-Cooperate Cooperate-Cooperate: 4 , , ! , , SW , — , . , ,

, : , VDN, QMIX, COMA . , credit assignment reward disentanglement — , . — . SW , SW — . — , , .

Cooperative Reward Shaping

— , , . , , , λ:

( ) (Peysakhovich and Lerer, 2017; Lerer and Peysakhovich, 2019; Durugkar et al., 2020), , Cooperative Reward Shaping (CRS). . , “ ”. , , credit assignment. , .

, : , credit assignment . : , , — . , . , — — . — QMIX COMA!

? , . , . , SW -, . . , , BAROCCO — ?

. , — Eldorado (. 2). . — 1000 , +1. , -1. , . , . , .

:

1. BAROCCO : selfish ( ), CRS ( ), COMA ( + credit assignment, ). , . , .

   
   
   
   
   

2. BAROCCO , .. λ. , , .

   
   
   
   
   

_{. 3. Eldorado. — . CRS BAROCCO λ=1 , . Selfish - , λ=0, BAROCCO CRS . — λ BAROCCO. — , — , . — .}

:

1. BAROCCO ( ), 1000 2000 . , ( ) , : , . , , . , .

   
   
   
   
   

2. BAROCCO , , . , , - .

   
   
   
   
   

3. CRS COMA . Eldorado , . - , ( 1000 ), , , . , , .

   
   
   
   
   

4. , λ ( ) . 0.5. .

   
   
   
   
   

λ. , , -, ( ), -,  — . , . , reciprocity (), (Eccles et al., 2019; Lerer and Peysakhovich, 2019). , , . , .

: . , , . , , , , .