Halo, Habr! Bersama dengan Harmony OS, kami memperkenalkan versi kelima dari HMS Core, seperangkat alat yang dapat Anda gunakan untuk mengembangkan aplikasi untuk ekosistem Huawei. Kami menambahkan kemungkinan baru untuk bekerja dengan konten, berfokus pada keamanan data, interaksi antar perangkat, dan memperluas kemungkinan alat AI - kami membicarakan semua ini secara mendetail di konferensi HDC. Bersama , dan dalam artikel ini kami akan memberikan gambaran umum tentang kemampuan HMS baru.
Alat untuk bekerja dengan ML dan AI
Layanan utama untuk bekerja dengan AI termasuk dalam ML Kit dan memungkinkan Anda untuk bekerja dengan teknologi teks, suara, gambar, AR / VR. Di HMS Core 5.0, kami telah meningkatkan jumlah bahasa yang didukung menjadi 50 dan dapat menerjemahkan antara 20 bahasa, sementara rekaman teks dan suara diterima sebagai masukan. ML Kit juga dapat digunakan untuk memfilter spam dan gambar yang tidak senonoh.
Dengan ML Kit, Anda dapat mengonversi rekaman suara ke format teks dan sebaliknya, dan kami telah memperluas fungsi ini dengan Pembuat Kursus Video, yang secara otomatis membuat kursus pendidikan: dibutuhkan sebagai masukan program pendidikan, komentar guru dan parameter audio dan video yang telah ditetapkan - selama siaran, guru dapat merujuk ke materi yang diperlukan dan semua materi yang direkam dirangkai menjadi satu kursus.
Kami telah memberikan penekanan khusus pada pengenalan wajah, gerak tubuh dan pose. Berkat ini, dengan menggunakan ML Kit, Anda dapat melakukan autentikasi wajah - sistem terhubung melalui API dan dapat digunakan untuk akses cepat ke aplikasi tanpa tindakan tambahan apa pun.
Anda dapat bekerja dengan alat AI dan ML di berbagai level:
- HiAI , , NPU-.
- Ability Gallery AI .
AR/VR
Mesin AR kami menganalisis informasi tentang pencahayaan, bidang, bentuk objek, jenis permukaan, dan dapat mencari objek tertentu di luar angkasa. Secara terpisah, sistem dapat membangun skema 3D menggunakan titik jangkar dan melacak gerakan, gerak tubuh, dan ekspresi wajah manusia. Misalnya, 21 poin dialokasikan untuk menentukan posisi tangan, dan 23 poin dialokasikan untuk posisi tubuh. Sekarang sistem dapat mengenali 6 pose dan menganalisis 2 orang sekaligus.
Dengan versi kelima, HMS Core CameraKit menyediakan berbagai mode pemotretan: aperture lebar, mode potret, HDR, latar belakang buram, mode malam super dan lain-lain sejenisnya. AI juga dapat digunakan dalam pengambilan foto dan video untuk seleksi awal filter dan koreksi warna.
Kolaborasi perangkat
Versi baru HMS Core memiliki beberapa mesin baru untuk kolaborasi antar perangkat yang berbeda. Kami telah menyederhanakan interaksi antara perangkat dan hal-hal pintar menggunakan mesin DeviceVirtualization . Ini mengubah perangkat periferal menjadi objek virtual dan memungkinkan ponsel untuk bekerja dengannya dengan cara yang sama seperti fungsi normal.
Dalam arah yang sama, kami mengembangkan Mesin Cast , yang memungkinkan ponsel bekerja dalam mode multi-layar dan mengirimkan gambar ke TV dalam definisi tinggi. Kami juga berencana untuk menambahkan kemampuan untuk bekerja dengan Cast Engine melalui aplikasi lain.
Mesin OneHop Kit baru lainnyaberfungsi dengan NFC dan memungkinkan Anda mentransfer data dengan aman antar perangkat dengan satu sentuhan. Dengannya, Anda dapat menyinkronkan perangkat Huawei satu sama lain, mentransfer file, dan membuka aplikasi di perangkat lain dengan pengaturan yang sama seperti di perangkat utama. Sejauh ini, ini hanya berfungsi antara ponsel dan tablet Huawei, jadi kami menyediakan mesin Berbagi untuk komunikasi dengan perangkat lain , yang menyediakan kecepatan hingga 80 Mb / s melalui Bluetooth.
Video dan audio
Di versi baru, kami telah mengembangkan beberapa alat SDK baru untuk bekerja dengan audio dan video. Kit Audio dan Kit Video mendukung format file dan codec utama dan dapat dengan mudah diintegrasikan ke dalam aplikasi dan membaca, menyimpan dan menghapus daftar, memutar urutan, menyesuaikan kecepatan pemutaran. Semua audio dan video dilindungi oleh algoritma enkripsi.
Kit Audio kini memiliki mesin audio untuk merekam suara dalam kualitas tinggi dengan optimalisasi penundaan dan fungsi instrumen lainnya. Mesin video, pada gilirannya, mendukung protokol utama HTTP, HTTPS, HLS, DASH. Ini juga memungkinkan Anda untuk mengatur streaming dari layanan pihak ketiga menggunakan Video Kit WisePlayer SDK.
Berdasarkan layanan kamiHuawei Meetime telah meluncurkan Caas Kit untuk panggilan video, yang menyediakan pemutaran dan transmisi gambar HD bahkan dengan koneksi yang tidak stabil. Mesin ini juga memungkinkan Anda untuk berbagi layar, menggambar coretan dan, menggunakan teknologi virtualisasi, mentransfer gambar ke perangkat lain, yang dapat digunakan untuk konferensi bisnis.
Gambar dan rendering 3D
Image Kit telah muncul untuk pemrosesan gambar - ia menawarkan lebih dari 20 filter dan efek visual, termasuk animasi dengan rendering. Ini mencakup 2 SDK: Image Vision SDK untuk bekerja dengan filter warna dan Image Render SDK untuk menggunakan efek animasi.
Scene Kit dirancang untuk bekerja dengan objek 3D: ini menggunakan metode rendering yang benar secara fisik (PBR) dan memungkinkan aplikasi untuk terhubung melalui API dan menerima model 3D dari objek yang kompleks. Mesin menawarkan tiga skenario: SceneView untuk adegan bersama (non-AR), ARView untuk adegan AR bersama, dan FaceView untuk bekerja dengan wajah dalam adegan AR.
Analytics dan keamanan
Di Huawei Core 5.0, kami meluncurkan sistem pemberian tag Dynamic Tag Manager (DTM) untuk melacak aktivitas pemasaran pengguna: sistem ini terintegrasi dengan layanan Huawei itu sendiri dan dengan platform pihak ketiga untuk mengirim dan memproses data. Dengan menggunakan DTM, Anda dapat memperbarui tag secara dinamis di antarmuka pengguna web, melacak peristiwa tertentu, dan mengirim data ke platform analitik pihak ketiga. Sistem kami berfokus pada keamanan, itulah mengapa mesin DTM juga digunakan sebagai sistem antipenipuan untuk melacak aktivitas yang mencurigakan.
Salah satu fitur dari versi baru HMS adalah autentikasi wajah menggunakan LocalAuthentication Engine... Ia bekerja dengan kamera inframerah yang membangun model dari titik referensi dan diautentikasi dengan ML Kit.
Terakhir, kami memperhatikan perlindungan konten: untuk file audio, enkripsi cache digunakan, untuk video - sistem anti-litik dan otentikasi selama pemutaran, dan untuk bekerja dengan kamera - enkripsi ujung ke ujung. Semua data yang disimpan HMS di lingkungan TEE tepercaya , di mana enkripsi dilakukan.
Di mana saya dapat mengetahui lebih lanjut?
Semua rekaman konferensi HDC. Bersama tersedia di sini . Di sini Anda dapat mendengarkan laporan tentang pembaruan platform, skenario utama untuk bekerja dengan alat HMS dan mengajukan pertanyaan teknis di Forum Pengembang Huawei atau Stackoverflow dengan tag layanan-huawei-mobile .