Music2Dance: Bagaimana Kami Mencoba Untuk Belajar Menari

Halo semuanya! Nama saya Vladislav Mosin, dan saya adalah siswa tahun ke-4 program Sarjana Matematika dan Informatika Terapan di St. Petersburg HSE. Musim panas lalu, bersama dengan Alina Pleshkova, seorang mahasiswa pascasarjana fakultas kami, saya magang di JetBrains Research. Kami mengerjakan proyek Music2Dance, yang tujuannya adalah mempelajari cara menghasilkan gerakan tarian yang sesuai dengan musik yang diberikan. Ini dapat digunakan, misalnya, dalam belajar menari sendiri: Saya mendengar musik, meluncurkan aplikasi, dan menunjukkan gerakan yang berpadu secara harmonis dengan musik ini.

Ke depan, saya akan mengatakan bahwa hasil kami, sayangnya, ternyata jauh dari model generasi gerakan terbaik yang ada sekarang. Tetapi jika Anda juga tertarik untuk menyelesaikan masalah ini, saya mengundang Anda di bawah kucing. 

. , — Dance Dance Revolution, , . — 2D-. 

C — 3D- . . 2020 DanceNet, . .

: , , . .

: onset, beats, chroma

, — — . , , , . , onset, beats chroma ( , ).

:  

. — — . , , , -. , (, 240x240) . 

, . , . , , , , . 

( ), .

. , 3D-, : , . , , . : , .

DanceNet

DanceNet coc : 

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

:

1. . Bi-LSTM .

   
   
   
   
   

2. . , Bi-LSTM .

   
   
   
   
   

3. - . .

   
   
   
   
   

4. . , . dilated () -.

   
   
   
   
   

DanceNet , , — , , .

, , . , . , , , . . , .

:

• 
  
  
  
  

• (DanceNet)

  
  
  
  
  

• (RL )

  
  
  
  
  

• 
  
  
  
  

. 2020 , . , , . , . , - . , : YouTube VIBE.

DanceNet

— , -, , -, .

RL

RL — , . ( ) , . 

. : .

, Q-Learning ( TD3, ) ( PPO). 

, . -, , . , , , . Humanoid, , .

, , .

S — , S_real — , R — .

, , , . , . .

, , DanceNet. , , , , . . , — YouTube , RL .

. !

---

:

• 10 BERT- ?

  
  
  
  
  

• ! Gym-Duckietown

  
  
  
  
  

• Google: ,

  
  
  
  
  

---