Analisis video objek dalam transportasi

Ada banyak tugas di mana pemrosesan dan pemrosesan konten harus dilakukan "di tepi", yaitu di sekitar sumber data (kamera). Secara khusus, ini juga berlaku untuk tugas analitik video objek, misalnya, dalam kerangka proyek untuk mengoptimalkan infrastruktur transportasi.



Mari pertimbangkan beberapa solusi bersama dari integrator Rusia Larga Group dan pengembang sistem analitik video objek, Teknologi ComBox .







Tugas:

1. Penerapan penghitung penumpang di bus untuk mengontrol jumlah tiket yang terjual dan untuk mendapatkan statistik tentang kemacetan transportasi berdasarkan rute.
2. Kontrol pengemudi (deteksi merokok dan penggunaan ponsel).

Istilah:

1. Inferensi jaringan saraf dan pelaksanaan analitik "di tepi" untuk meminimalkan lalu lintas dan karena ketidakstabilan dan biaya tinggi saluran komunikasi.
2. Kemungkinan penggunaan bersama dan terpisah dari detektor yang berbeda (skalabilitas).
3. Transmisi data untuk diproses lebih lanjut melalui saluran komunikasi seluler.

Sebagai solusinya, kami memilih AAEON VPC-3350S, karena perangkat ini memiliki karakteristik berikut yang penting bagi kami:

• Modul LTE bawaan.
• VPU dapat ditingkatkan dengan akselerator Intel MyriadX.
• Intel HD Graphics 500 terintegrasi yang dapat menggunakan decoder dan encoder perangkat keras untuk memproses streaming video.
• Beberapa port LAN untuk koneksi langsung kamera jaringan tanpa perlu memasang sakelar.
• Kisaran suhu pengoperasian yang luas (-20 + 70).

AAEON VPC-3350S



Mari kita pertimbangkan kasus pertama dari aplikasi detektor yang terpisah. Di bidang car sharing sudah ada sanksi berupa denda bagi rokok di salon mobil sewaan. Jumlah denda bervariasi dari 5 hingga 15 ribu rubel tergantung pada perusahaan. Dibandingkan dengan analitik video objek dan sensor deteksi asap, sensor tersebut tidak menangkap vape dan perangkat lain untuk campuran asap, dan juga praktis tidak sensitif saat jendela mobil terbuka. Namun hal ini tidak meniadakan fakta pelanggaran dan oleh karena itu hukuman hukum berupa denda sesuai dengan kontrak.



Selain itu, beberapa jaringan saraf dapat diturunkan (berurutan) yang diterapkan dalam transportasi, seperti deteksi merokok dan deteksi fakta / waktu penggunaan ponsel. Jelas bahwa sistem seperti itu selanjutnya harus diskalakan, misalnya, dengan integrasi telematika dan koneksi ke bus CAN mobil untuk melacak penggunaan telepon hanya saat kendaraan bergerak, tetapi ini sudah merupakan detail integrasi.



Contoh ilustrasi dari apa yang secara khusus kami deteksi dan apa yang kami dapatkan sebagai hasilnya:











Demonstrasi pada bot di Telegram (masukan - gambar dari kamera smartphone atau dari galeri, keluaran - probabilitas):

• Deteksi merokok
• Deteksi penggunaan telepon oleh pengemudi

Secara khusus, versi AAEON VPC-3350S kami dilengkapi dengan prosesor Intel Atom x5 E3940. Jika perlu, Anda juga dapat memasang kartu ekspansi dengan Intel MyriadX dan mentransfer inferensi jaringan neural ke VPU tanpa modifikasi apa pun, karena kerangka kerja Intel OpenVINO digunakan.



Mari kita lihat kecepatan inferensi (FP16) di berbagai perangkat, termasuk CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius, dan solusi dari produsen lain:





Kecepatan inferensi (FP16) di berbagai perangkat, termasuk CPU, iGPU (Intel HD) AAEON VPC -3350, VPU Intel Movidius dan solusi pihak ketiga



Jadi, pada grafis iGPU dari prosesor Intel Atom x5 E3940, kami mendapatkan 54 FPS, dan melengkapi perangkat Intel Movidius VPU - 45 FPS lainnya. Untuk mendeteksi merokok, 15 FPS / kamera sudah cukup, yang akan memungkinkan pemrosesan hingga 3 utas pada satu grafik prosesor. Juga harus diingat bahwa selain mengalokasikan dan menggunakan sumber daya untuk inferensi, perlu juga untuk mendekode aliran RTSP yang masuk. Mari kita





lihat tes decoder: Uji decoder AAEON VPC 3350



Pada CPU maksimum dan beban grafis, kami mendekode 30 aliran 720p pada 15 FPS, yaitu, kami mendapatkan 450 bingkai untuk 720p. Untuk 1080p, itu sekitar 150 frame.



Mari pertimbangkan komposisi kit untuk digunakan dalam berbagi mobil dan langkah-langkah utama pemrosesan data:

1. Mobil dilengkapi dengan kamera IP yang didukung oleh Ethernet, PoE (satu untuk pengemudi atau dua: pengemudi, penumpang).
2. , AAEON NVR 3350.
3. .
4. .
5. ( ). . , , 50%, ( ).
6. /.
7. (10 ), . :
   
   
   • ,
   • .
   • pengenal kendaraan (GUID statis)
   • nomor kamera (0, 1)
   • jenis acara
8. Data peristiwa atas ketersediaan 3G / LTE ditransmisikan ke server pemrosesan data pusat dengan integrasi dengan sistem informasi berbagi mobil yang ada untuk operasi penagihan.

Mari kembali ke kasus kedua menggunakan AAEON VPC-3350S - deteksi dan penghitung penumpang di bus:







Tahapan pekerjaan yang dilakukan:

1. Pekerjaan persiapan (menguji kamera, memilih panjang fokus, mengatur kondisi batas masalah):
   
   
   • Menandai 600 bingkai dari beberapa kamera dengan panjang fokus berbeda
   • Pelatihan jaringan saraf pada nVidia GPU, 10 ribu langkah
   • Menguji model terhadap set data validasi
   • Mengonversi model ke Intel OpenVINO
   • Menguji model yang dihasilkan di Intel OpenVINO menggunakan set data validasi, membandingkan kualitas dan kecepatan dengan model sebelum konversi
   • , (, CPU, VPU)
2. ( + )
3. , 20 .
4. nVidia GPU
5. OpenVINO
7. :
   
   
   • gstreamer/ffserver
   • (, , , )
   • mongoDB/PostgreSQL
   • REST API
8. « »

Secara langsung, proses pembelajaran:







Antarmuka akun pribadi Grup Larga untuk klien dengan menampilkan laporan lalu lintas penumpang:





Antarmuka akun pribadi Grup Larga untuk klien dengan menampilkan laporan lalu lintas penumpang



Akun pribadi untuk klien dengan menampilkan laporan lalu lintas penumpang



Proses mendeteksi orang di area pintu masuk bus dan menandai zona



Algoritme penghitung:

1. Memotong aliran RTSP menjadi bingkai
2. Deteksi kepala di setiap frame
3. Analisis lintasan (menjaga kepala tetap dalam bingkai saat bergerak)
4. Analisis arah pergerakan berdasarkan urutan perpotongan 3 zona yang telah ditandai sebelumnya
5. Mencatat kejadian di database lokal, dengan mempertimbangkan arah pergerakan (masuk / keluar)
6. Menyediakan akses melalui REST API ke sistem informasi dan sistem pelaporan pihak ketiga

Karena solusi hybrid untuk inferensi jaringan saraf (tepi dan pemrosesan sebagian data di pusat data) awalnya diasumsikan, kami akan mempertimbangkan pro dan kontra dari kedua pendekatan:







Jadi, kami mendapatkan biaya minimum aliran di pusat data dengan pemrosesan terpusat, tetapi persyaratan tinggi untuk ketersediaan saluran cepat dan berkualitas tinggi komunikasi. Untuk solusi edge - biaya lebih tinggi, tetapi persyaratan minimal untuk saluran komunikasi dan tidak ada persyaratan untuk reservasi mereka.