Menstabilkan video dari kamera bergerak, atau cara menerjemahkan semuanya ke dalam sistem koordinat tetap

Kemampuan Computer Vision (CV) sekarang sepenuhnya membentuk kembali lanskap pasar solusi Keselamatan Publik. Meskipun tidak mudah mengejutkan siapa pun dengan sistem pengawasan video tradisional, dan aneh untuk tidak menemukannya di tempat umum mana pun, penggunaan AI di area ini masih baru.

Kami sedang menyelidiki penerapan CV untuk berbagai tugas bisnis keselamatan publik. Dalam posting ini, kami menawarkan opsi untuk menerjemahkan video dari kamera bergerak ke dalam sistem koordinat tetap untuk analisis lebih lanjut.

Proyek ini sepenuhnya ada di GitHub .

---

Katakanlah kita memiliki beberapa jenis video dan kita ingin membangun sistem koordinat tetap untuknya untuk mengevaluasi lokasi objek relatif satu sama lain.

Mengapa ini dibutuhkan? Seringkali dalam tugas pengawasan publik, video yang perlu dianalisis direkam dengan kamera bergerak. Karena itu, muncul beberapa masalah dalam menentukan posisi objek relatif satu sama lain:

• Tidak jelas apa yang menyebabkan perubahan koordinat objek: kamera atau objek itu sendiri sedang bergerak;
• Saat mengubah pemandangan karena rotasi kamera, objek yang berbeda bisa mendapatkan koordinat yang sama, meskipun objek tersebut statis.

Gambar 1 - Objek identik memiliki koordinat yang berbeda karena gerakan kamera

Untuk membangun sistem koordinat tetap, Anda harus:

1. Tentukan asal koordinat;
2. Bandingkan dua bingkai yang berurutan satu sama lain;
3. , , (, , ..).

2 —

:

1. .
2. : , . . . SIFT, SURF ORB. , . , , , .

3 — matching visualization

1. , .

:

• a, e — x y ;
• b, d — ( a e );
• c, f — ;
• g, h — .

, , . (x,y) (x',y') :

:

$$

$$t\cdot(x',y',1)=H\cdot(x,y,1)(1)$$

:

k- .

N — (f₁,..., f_N). . matching points , f_k f_k-1.

:

— ;

(X_k, Y_k)=((x¹_k, y¹_k),…, (xⁿ_k, yⁿ_k)) – n matching points;

(X'_k, Y'_k) =((x'¹_k, y'¹_k),…, (x'ⁿ_k, y'ⁿ_k)) – n matching points ;

(X''_k, Y''_k) =((x''¹_k, y''¹_k),…, (x''ⁿ_k, y''ⁿ_k)) – k — n matching points , f_k-1.

H_k – , f_k-1 f_k.

, .

(X_k, Y_k) (X'_k, Y'_k). f₁ f_k , .. . H_k.

, (H₁,…, H_k-1). H_k (X_k-1, Y_k-1) (X_k, Y_k), , .

3:

3 — ,



, . a :

x¹_k= x¹_k-1 — a, , a : x'¹_k = x¹_k — a, 3. , , .

?

(H₁,…, H_k-1). , 1 k-1 mathcing points f_k-1 . (1), , — .

$$

$$H_{sup}=H_1\cdot(H_2\cdot(H_3...))(2)$$

, , , f_k-1 f_k, : (X_k-1, Y_k-1) (X_k, Y_k) ( (2)), (X'_k-1, Y'_k-1) (X''_k, Y''_k) H_k. , , (x¹_k, y¹_k) (x'¹_k, y'¹_k).

$$

$$t(x',y',1)=H_{sup} \cdot(x,y,1) (3)$$

: , ( , , .. ), - , . .

:

• "" matching points ((x¹_k, y¹_k),… ,(x'ⁿ_k, y'ⁿ_k)),
• H, k- k-1 .
• ((x'¹_k, y'¹_k),… ,(x'ⁿ_k, y'ⁿ_k))
• :
  
  
  • , ;
  • . , ;
  • - ( LENGTH_ACCOUNTED_POINTS len(matching points)), , , , .

, . .

"" , . , , , , . T , . , motion video segmentation.

.

GitHub , .

• evenvizion_component.py
• evenvizion_visualization.py
• compare_evenvizion_with_original_video.py

evenvizion_component.py

, evenvizion_component.py. , json , f_k-1 f_k. , json , . , , .

- , json --path_to_original_coordinate recalculated_coordinates.json , .

json :

{"frame_no": [{"x1": x coordinate, "y1": y coordinate}, ...], ...}

evenvizion_component.py , 3 ( matching and heatmap --show_matches --visualize_fixed_coordinate_system ).

evenvizion_visualization.py compare_evenvizion_with_original_video.py .

README.

, .

:

matching points — matching visualization:

5 — matching visualization

.

, , (heatmap visualization):

6 — heatmap visualization

20 , , . , . : r=sqrt(x²+y²), heatmap_constant , : 0 — , 1 — .

7 — fixed_coordinate_system_visualization

json , , fixed_coordinate_system_visualization ( 7).

evenvizion_visualization.py compare_evenvizion_with_original_video.py , ( ). 8 9 .

8 — visualize_camera_stabilization

9 — original_video_with_EvenVizion

Known issues

N/a . matching points , , 90 , . video motion segmentation, , , static points motion points. — .

. 4 matching points, , 4 , =None. : none_H_processing True, : H_k=H_k-1. False, H — , . .

. . . :

• . , , (, ).
• findHomography() opencv. .

Jadi, kita mendapatkan komponen yang memungkinkan kita memperkirakan posisi sebenarnya dari objek relatif satu sama lain, untuk menerjemahkan koordinat objek ke dalam sistem stasioner relatif terhadap bingkai. Karena Dalam solusi ini, yang utama adalah mengevaluasi transformasi bidang menggunakan poin-poin penting, kemudian, seperti yang ditunjukkan di atas, masalah dapat diselesaikan bahkan dalam kondisi pemotretan yang buruk (pergerakan kamera yang tajam, kondisi cuaca yang sulit, pemotretan pada malam hari, dll.).