Nama saya Anton Fedoseev, saya adalah pengembang platform AR untuk konferensi video, yang digunakan oleh fasilitas produksi kami. Kami meluncurkan layanan di mana karyawan kami dapat berkomunikasi melalui video dengan kolega dari wilayah lain, menerima konsultasi online dari para ahli - produsen peralatan (juga dari wilayah lain), dan perusahaan dapat menghemat dari 500 ribu rubel hingga beberapa juta untuk 1 panggilan video.
Dari mana penghematan ini berasal, apa keunikan menggunakan layanan semacam itu di fasilitas industri, mengapa kami tidak mengelola dengan analog yang ada di pasar dan bagaimana kami membuat produk kami - saya akan memberi tahu Anda di bawah pemotongan.
Sedikit sejarah
Proyek AR dimulai di SIBUR pada Januari 2018, bersamaan dengan dimulainya pengerjaan aktif pada integrasi konsep Industri 4.0 ke dalam berbagai skenario produksi di pabrik kami. Pada saat itu, SIBUR telah menganalisis sejumlah kasus yang terkait dengan perbaikan peralatan industri, dan perusahaan sedang memikirkan tentang cara mengurangi biaya untuk menarik spesialis eksternal dari pemasok peralatan dan perusahaan jasa ini, mengganti kunjungan langsung mereka dengan konsultasi tentang komunikasi audio dan video.
Pada tahun yang sama, kami menguji teknologi perawatan jarak jauh menggunakan kacamata AR, menggunakan sejumlah solusi yang tersedia di pasar, dan juga menyusun skenario dasar untuk penerapan teknologi semacam itu, menghitung efek ekonomi dari penerapannya. Kami menyadari bahwa proyek semacam itu bijaksana dan layak dari segi teknis. Dan perusahaan Tobolsk kami menjadi tempat uji coba.
Kami menamai produk kami "AR Remote Expert". Pada tahun 2019, dengan bantuan "Pakar Jarak Jauh" kami, yang masih mengerjakan perangkat lunak sementara mitra, lebih dari 300 panggilan video dilakukan - semua ini adalah kasus ketika pemasok peralatan, pakar internal, perwakilan perusahaan konstruksi mentransfer atau menerima semua informasi yang diperlukan melalui layanan AR, tanpa datang ke produksi kami. Dan pada Juni 2020, SIBUR memulai penyebaran aktif platform AR-nya sendiri untuk pemeliharaan dan perbaikan peralatan industri dari jarak jauh.
Apa itu layanan pemeliharaan dan perbaikan jarak jauh AR?
Layanan AR kami mudah digunakan dan, secara umum, mencakup 2 komponen utama: kacamata augmented reality RealWear dan Epson (tergantung kondisi lingkungan, lebih lanjut nanti) dan platform media seluler SIBUR sendiri berdasarkan sistem operasi Android yang terintegrasi dengannya. dikembangkan bekerja sama dengan G-Core Labs. Platform ini memungkinkan Anda untuk mendigitalkan seluruh proses pemeliharaan dan perbaikan, mengatur siaran HD, menggunakan WebRTC dan platform komunikasi lengkap untuk interaksi yang efektif antara spesialis di lokasi dengan ahli jarak jauh. Semua kontrol dilakukan dengan suara, tangan orang yang bekerja dengan instalasi tetap bebas sepenuhnya.
Perwakilan pemasok peralatan industri atau pakar SIBUR internal menghubungi spesialis pabrik, yang hanya menerima tautan ke email pribadinya dan memulai konferensi video di browser apa pun (Chrome, Edge, Mozilla, Safari, dll.) Di perangkat apa pun, di termasuk tablet dan smartphone.
Tidak perlu menginstal aplikasi atau program khusus apa pun.
SIBUR adalah perusahaan yang tersebar secara geografis, perusahaan kami beroperasi di lebih dari 20 wilayah di seluruh Rusia (dan tidak hanya), dari bagian Eropa negara itu hingga Siberia dan Timur Jauh. Kadang-kadang ada jarak ribuan kilometer antara pabrik dan ahli berkualifikasi yang dapat mengelola pemeliharaan atau perbaikan peralatan tertentu. Misalnya, dibutuhkan 7-9 jam untuk pergi dari pusat perusahaan di Moskow ke sebuah objek yang terletak di Siberia - selama waktu ini semuanya bisa berubah menjadi lebih baik atau lebih buruk. Dan bagaimana jika ahlinya tidak berada di Moskow, tetapi di negara lain? Pabrik mengoperasikan instalasi Rusia dan peralatan pabrikan Amerika, Jepang, Eropa dan Asia. Kami juga mempertimbangkan bahwa Anda perlu mengatur perjalanan bisnis, terkadang - dapatkan visa. Ini harus dicatat di sinibahwa konsultasi secara langsung dengan seorang spesialis tidaklah murah: ini adalah biaya perjalanan, biaya pembayaran untuk satu hari kerja penuh para ahli, atau bahkan beberapa hari (penagihan per jam tidak bekerja dalam format tatap muka). Satu konsultasi semacam itu dapat merugikan perusahaan dari beberapa ratus ribu hingga satu juta rubel. Lalu bagaimana jika pembatasan karantina, penutupan perbatasan dan penangguhan penerbangan internasional lagi? Itulah mengapa peluncuran platform AR untuk konsultasi jarak jauh sangat relevan bagi kami.penutupan perbatasan dan penangguhan penerbangan internasional? Itulah mengapa peluncuran platform AR untuk konsultasi jarak jauh sangat relevan bagi kami.penutupan perbatasan dan penangguhan penerbangan internasional? Itulah mengapa peluncuran platform AR untuk konsultasi jarak jauh sangat relevan bagi kami.
Layanan AR: fungsionalitas yang diperlukan dan bagaimana kami menerapkannya
Skenario utama untuk menggunakan layanan kami adalah panggilan video grup. Untuk mengurangi beban pada jaringan dan meningkatkan kualitas video yang ditransmisikan, kami menggunakan server media. Server media yang digunakan dalam proyek memungkinkan penggandaan aliran media yang masuk untuk beberapa klien, menyesuaikannya dengan saluran komunikasi setiap klien. Ini juga memungkinkan Anda untuk membuat pratinjau langsung pengguna, menghilangkan kebutuhan untuk mentransfer video ukuran penuh dari klien lain ke klien. Untuk kerja kelompok klien berdasarkan server media, alat seperti zooming dan perekaman diimplementasikan.
Saat mereka mengatakan "konferensi video", semua orang mewakili skype atau zoom. Tapi kami bekerja dengan antarmuka dan dokumen, dan dalam produksi kami bekerja dengan peralatan, jadi kami perlu tangan bebas untuk mendemonstrasikan prosesnya. Lingkungannya sendiri juga berbeda - alat komunikasi tidak boleh menimbulkan percikan api.
Untuk membebaskan tangan seorang spesialis "di lapangan", platform ini menyediakan kontrol suara penuh dari kacamata AR: sesuai perintah, mereka diaktifkan, memulai siaran jarak jauh, merekam video dan mengambil foto resolusi tinggi. Setelah sesi berakhir, catatan konsultasi disimpan di server perusahaan. Di awal sesi, nama dan tanda ahli yang terhubung, indikator kualitas koneksi jaringan, dan level baterai ditampilkan di microdisplay kacamata.
Dalam cuaca beku yang parah, kacamata bekerja dengan lancar selama 2 jam. Dan di sini kita kembali ke topik percikan. Di lokasi produksi kami, kami menggunakan peralatan yang dirancang untuk operasi di lingkungan berbahaya gas - ini adalah RealWear. Untuk pekerjaan di bengkel, dimungkinkan untuk menggunakan perangkat tahan debu dan kelembaban dalam desain industri. Di sini kami menggunakan peralatan Epson.
Tentang gambar itu
G-Core Labs membantu kami mengembangkan platform media. Gambaran yang stabil dan jelas, kemampuan untuk melihat detail peralatan yang kecil sekalipun - semua ini sangat penting bagi kami. Dalam hal ini, kami telah mengubah perilaku standar pustaka WebRTC, di mana ketika kecepatan koneksi ke jaringan menurun, kualitas gambar menurun, tetapi kecepatan bingkai tetap. Dalam kasus kami, kualitas gambarlah yang sangat penting, bahkan jika ada penundaan dalam pengiriman streaming video. Nah, jika koneksi benar-benar gagal, platform kami memprioritaskan menjaga koneksi audio dengan operator.
Selain gambar berkualitas tinggi, kami juga membutuhkan augmented reality - prompt, notifikasi. Dengan bantuan penunjuk virtual yang ditampilkan di layar mikro kacamata, karyawan pemasok peralatan dapat mengarahkan tindakan spesialis dari pabrik, yang menunjukkan di mana dia perlu melihat, apa yang harus berbalik dan ke mana harus mengontrol. Selain itu, obrolan dan pengiriman stiker dibangun ke dalam fungsionalitas platform AR. Yang terakhir diperlukan, misalnya, jika ada yang salah dengan koneksi. Dalam hal ini, ahli jarak jauh mengirimkan stiker sinyal - misalnya, "centang" jika semuanya dilakukan dengan benar, atau "berhenti" jika Anda perlu menghentikan tindakan.
Apa yang membuat layanan kami unik?
Fitur pembeda utama dari solusi SIBUR dari analog lain di pasar adalah kedalaman integrasinya ke dalam tugas dan proses produksi nyata perusahaan, digitalisasi komprehensif dari proses perbaikan dan keserbagunaan, yang memungkinkan layanan untuk digunakan di berbagai lokasi produksi.
Dalam solusi kami, kami menyusun model peran lengkap yang berfokus pada pelanggan bisnis - manajer produksi, manajer lokasi, mekanik, manajer layanan pelanggan teknis, dll. Layanan AR menyediakan sistem tiket, yang menyiratkan tidak hanya kemungkinan komunikasi video, tetapi juga digitalisasi penuh dari proses bisnis untuk melakukan konsultasi jarak jauh. Dengan bantuan sistem tiket ini, kami memandu pelanggan di sepanjang jalur penyelesaian masalah yang muncul, mulai dari memeriksa kelengkapan informasi yang diperlukan hingga menilai biaya kerja, kompetensi dan kualifikasi yang diperlukan dari pakar eksternal atau internal, memastikan keamanan informasi dan menjawab pertanyaan tentang siapa, pada waktu apa dan dengan siapa harus mengambil kacamata,bagaimana sistem ini didukung dan bagaimana sebenarnya semua interaksi ini berlangsung hingga servis atau perbaikan berhasil diselesaikan.
Tentu saja, di Rusia, Eropa, Asia dan Amerika terdapat sistem yang memungkinkan Anda untuk mengatur komunikasi video menggunakan kacamata augmented reality. Namun, hingga saat ini, keberhasilan implementasi proyek semacam itu di perusahaan industri sangat bergantung pada kualitas integrasi ke dalam proses internal, serta platform TI yang digunakan, yang disesuaikan untuk proses dan tugas industri.
Batasan dan tantangan: tidak - plugin dan WiFi, ya - LTE dan arsitektur layanan mikro
Salah satu persyaratan saat membuat platform adalah tidak adanya instalasi apa pun (plugin atau program) di komputer pengguna. Kami telah memenuhi persyaratan ini menggunakan klien web dan browser modern. Hampir semua browser modern (desktop dan seluler) mendukung teknologi WebRTC. Layanan kami dibangun di atasnya. Singkatnya, WebRTC memungkinkan Anda untuk membangun komunikasi audio dan video streaming antara peserta menggunakan protokol RTP, yang pada gilirannya dijalankan melalui UDP. Ada mekanisme untuk memilih jalur untuk membangun koneksi antar peserta (ICE), mekanisme untuk menegosiasikan format aliran media (SDP), algoritma untuk memperkirakan bandwidth saluran komunikasi, algoritma untuk mengadaptasi kompresi aliran data media dan algoritma pemrosesan media seperti pembatalan gema, dll.Baru-baru ini, WebRTC telah menerima distribusi yang baik di browser dan pengembangan. Menggunakan UDP untuk transfer data antar peserta tidak selalu memungkinkan karena adanya firewall, antivirus, router, dan NAT. Untuk mengatasi masalah ini, STUN dan TURN diciptakan. Untuk kasus di mana UDP tidak tersedia, sekarang dimungkinkan untuk menggunakan TCP untuk ICE. Dukungan TCP juga telah ditambahkan ke STUN dan TURN.
TCP meningkatkan ketersediaan layanan kami untuk klien eksternal yang mungkin berada di belakang NAT, firewall, firewall perusahaan, dan berbagai batasan jaringan lainnya. Namun, menggunakan protokol TCP alih-alih UDP membuat perubahan perilaku WebRTC. Selama transfer data media melalui protokol UDP, packet loss, duplikasi, penataan ulang, penundaan kecil mungkin terjadi. Semua situasi ini ditangani dengan benar oleh WebRTC: mungkin ada kemunculan jangka pendek artefak gambar atau distorsi suara. Saat menggunakan TCP, tidak ada kerugian, duplikasi, dan penyusunan ulang paket - ini dipantau oleh algoritme yang tertanam dalam protokol. Tapi ini semua diterjemahkan menjadi penundaan besar dan gangguan saat menerima paket.Secara visual, ini tampak seperti bingkai yang membeku dan akumulasi penundaan secara bertahap antara sumber video dan tampilan di klien lain. Setelah melakukan perubahan pada server media, kami secara praktis berhasil menghilangkan akumulasi latensi, tetapi pembekuan bingkai tidak dapat diatasi. Diputuskan untuk menonaktifkan sementara transmisi video dari server media jika terjadi penundaan yang lama dalam menerima paket. Solusi ini memungkinkan untuk menjaga komunikasi suara antar peserta, bahkan dalam kondisi jaringan yang buruk.Solusi ini memungkinkan untuk menjaga komunikasi suara antar peserta, bahkan dalam kondisi jaringan yang buruk.Solusi ini memungkinkan untuk menjaga komunikasi suara antar peserta, bahkan dalam kondisi jaringan yang buruk.
Semua kacamata pintar industri yang ada di pasaran terhubung ke jaringan melalui WiFi. Hal ini menimbulkan kesulitan tertentu dalam pengoperasian kacamata di wilayah yang luas di pabrik SIBUR. Menyediakan koneksi WiFi yang stabil ke semua tempat di pabrik tempat pekerjaan seharusnya dilakukan menggunakan kacamata pintar, mengingat skala pabrik dan pemasangannya, merupakan tantangan yang cukup berat. Lebih efisien dan lebih murah menggunakan jaringan nirkabel LTE di ruang terbuka. Namun, solusi seperti itu mengharuskan karyawan memiliki peralatan tambahan - modem LTE. Jaringan LTE juga terlindung dengan baik oleh struktur beton bertulang dari bengkel dan casing logam peralatan di dalamnya. Untuk menyediakan jangkauan di dalam gedung, modem LTE stasioner dan jaringan penyiar WiFi digunakan. Saat bekerja dengan kacamata pintar, kualitas koneksi ke server tidak stabil,terkadang putus. Agar tidak kehilangan informasi tentang apa yang dilakukan karyawan dengan kacamata dan bagaimana caranya, kacamata merekam video pada media internal. Video ini direkam dalam kualitas HD dan tidak tergantung pada kondisi jaringan. Kami memiliki kemampuan untuk menghapus data pada kacamata dari jarak jauh, serta menghapus data jika ada deteksi root.
Semua layanan SIBUR dibangun menggunakan arsitektur layanan mikro. Platform kami tidak terkecuali. Faktanya, ini terdiri dari dua layanan mikro: layanan mikro BPM dan layanan mikro panggilan video. Kami juga menggunakan layanan mikro yang digunakan atau dikembangkan oleh tim lain: layanan mikro otentikasi untuk bekerja dengan pengguna, layanan mikro notifikasi untuk surat dan surat SMS, dan beberapa lainnya. Layanan mikro berkomunikasi satu sama lain menggunakan gRPC. Klien berkomunikasi dengan layanan kami dengan cara yang sama: untuk kacamata pintar dan klien web. Namun, gRPC tidak secara langsung didukung oleh klien web. Mereka memiliki pustaka untuk bekerja dengan gRPC-web, yang tidak kompatibel dengan gRPC. Untuk mengakses layanan, gateway gRPC digunakan, yang menerjemahkan gRPC-web menjadi gRPC dan sebaliknya.
Saat ini, kami telah membangun platform modular yang menyediakan komunikasi video dan audio yang stabil dan berkualitas tinggi (sejauh jaringan memungkinkan), dan juga memiliki kemampuan untuk memperluas fungsinya dengan menambahkan modul dan peralatan baru. Masih banyak pekerjaan yang harus diselesaikan: rencana untuk integrasi yang lebih dekat dengan layanan informasi SIBUR lainnya, penelitian kacamata pintar dan helm AR dan VR generasi baru, implementasi alat augmented reality dan kolaborasi efektif dari kolega kami dan mitra pihak ketiga.