Hari ini kami akan membahas mengapa sensor 3D dibutuhkan di smartphone, cara kerjanya, dan tentu saja, kami akan melakukan beberapa pengujian dan memeriksa pernyataan produsen.
Apa itu sensor 3D (sensor kedalaman)
Pertama, mari kita cari tahu, apa itu sensor 3D? Kamera menangkap proyeksi dunia sekitar ke dalam pesawat. Dari foto itu saja, orang tidak dapat memahami ukuran sebenarnya dari objek tersebut - apakah itu ukuran botol atau ukuran Menara Miring Pisa. Dan jarak ke sana juga sulit untuk dipahami.
Untuk memahami ukuran sebenarnya dari objek dalam foto, skala pemotretan, untuk membedakan mana yang lebih dekat dengan kamera, dan apa yang berikutnya, diperlukan sensor 3D. Mereka telah lama digunakan secara aktif dalam robotika, transportasi otonom, permainan, kedokteran, dan banyak tempat lainnya. Apalagi mata kita juga merupakan sensor 3D. Pada saat yang sama, tidak seperti sensor LiDAR dan ToF di smartphone, mata adalah sensor 3D pasif. Artinya, ia tidak memancarkan cahaya apa pun, tetapi hanya bekerja berdasarkan cahaya yang masuk. Hanya berkat ini kita bisa bergerak di luar angkasa dan berinteraksi dengan objek di sekitarnya. Sekarang sensor 3D telah muncul di smartphone.
Bagaimana ToF bekerja?
LiDAR di iPad, serta semua sensor 3D di smartphone Android, adalah sensor waktu terbang atau disingkat menjadi sensor ToF. Mereka menentukan jarak ke objek di sekitar, secara langsung mengukur berapa lama cahaya untuk bergerak dari kamera ke objek dan kembali. Ini sangat mirip dengan gema di gua, ia juga kembali kepada kita dengan penundaan setelah dipantulkan dari dinding. Dibutuhkan 3 nanodetik untuk terbang 1 meter cahaya, dan 30 picodetik untuk 1 cm. Segalanya tampak jelas. Tapi ada masalah.
Ini adalah interval yang sangat kecil. Bagaimana kamera mengukur ini? Dia tidak akan mengambil satu miliar frame per detik, lalu membandingkannya? Ada 2 pendekatan utama untuk menyelesaikan masalah ini: dToF (ToF langsung) dan iToF (ToF tidak langsung). Dan untuk lebih membuat Anda penasaran: sebagian besar smartphone Android hanya menggunakan sensor iToF, sementara LiDAR di Apple iPad dan kemungkinan besar di iPhone yang akan datang adalah perwakilan langka dari keluarga sensor dToF. Jadi, apa bedanya?
iToF - ToF tidak langsung
Mari kita mulai dengan iToF. Dalam sensor seperti itu, emitor mengirimkan cahaya termodulasi frekuensi tinggi, yaitu cahaya ini terus-menerus dinyalakan dan dimatikan pada frekuensi puluhan juta kali per detik. Karena kenyataan bahwa cahaya membutuhkan waktu untuk terbang ke objek dan kembali, fase, yaitu, keadaan ini berada di antara hidup dan mati, cahaya yang kembali ke kamera sedikit berbeda dari fase cahaya pada saat pengiriman. Pada sensor, sinyal asli dan yang dipantulkan kembali dari objek ditumpangkan satu sama lain, dan karenanya, pergeseran fasa ditentukan, yang memungkinkan kita untuk memahami jarak ke setiap titik objek.
dToF - ToF langsung
dToF bekerja sedikit berbeda. Sensor ini secara langsung mengukur perbedaan waktu antara mengirim cahaya dan mendeteksi pantulannya pada sensor. Untuk ini, yang disebut SPAD: dioda avalanche foton tunggal digunakan. Mereka dapat mendeteksi pulsa cahaya yang sangat kecil, bahkan menangkap foton tunggal. SPAD ini terletak di setiap piksel sensor. Dan sebagai pemancar dalam sensor semacam itu, sebagai aturan, yang disebut VCSEL - Rongga Vertikal, Laser Pemancar Permukaan digunakan. Ini adalah pemancar laser yang mirip dengan yang digunakan pada tikus laser dan banyak tempat lainnya. Sensor dToF di LiDAR dikembangkan bekerja sama dengan Sony dan merupakan sensor dToF komersial pertama yang diproduksi secara massal.
Mengapa iPad menggunakan sensor dToF adalah dugaan semua orang, tetapi mari kita soroti manfaat dari sensor semacam itu. Pertama, tidak seperti sensor iToF, pemancar tidak memancarkan dinding cahaya yang kokoh, tetapi hanya bersinar dalam arah terpisah, yang menghemat masa pakai baterai. Kedua, sensor dToF kurang rentan terhadap kesalahan dalam pengukuran kedalaman karena apa yang disebut interferensi multi jalur. Ini adalah masalah tipikal dengan sensor iToF. Ini terjadi karena pantulan cahaya antar objek sebelum masuk ke sensor dan mendistorsi pengukuran sensor.
Cara kerjanya, kami menemukan jawabannya, sekarang mari kita lihat mengapa sensor 3D digunakan di smartphone sama sekali.
Mengapa itu dibutuhkan di smartphone
1. Keamanan
Kami berhutang pengenalan besar-besaran pertama pada sensor 3D di ponsel cerdas ke Apple dan teknologi ID Wajah. Pengenalan wajah menggunakan data tiga dimensi jauh lebih akurat dan andal daripada pengenalan wajah klasik dari foto. Untuk ID Wajah, Apple menggunakan teknologi pencahayaan terstruktur, yang akan kami bahas lebih detail di lain waktu.
2. AR
Sebagian besar pabrikan mengklaim bahwa mode augmented reality yang lebih baik dan lebih akurat adalah tugas utama sensor 3D. Apalagi didukung langsung oleh Google. Baru-baru ini, mereka mempresentasikan pembaruan yang akan datang ke pustaka augmented reality ARCore mereka, yang memungkinkan penempatan objek virtual yang lebih realistis dalam kenyataan dan berinteraksi dengan objek nyata.
Untuk tugas yang sama, Apple telah membangun LiDAR ke dalam iPad Pro. Ini dapat dilakukan tanpa sensor 3D, tetapi semuanya bekerja dengan lebih akurat dan lebih andal, ditambah tugas menjadi jauh lebih mudah secara komputasi dan mengurangi prosesor. Sensor 3D membawa AR ke level lain.
3. Peningkatan foto
Beberapa produsen seperti Samsung dan HUAWEI mengatakan sensor 3D digunakan terutama untuk keburaman latar belakang yang lebih baik dan fokus otomatis yang lebih akurat saat merekam video. Dengan kata lain, ini memungkinkan Anda untuk meningkatkan kualitas foto dan video biasa.
4. Lainnya
Beberapa smartphone memiliki akses terbuka ke data sensor, sehingga semakin banyak aplikasi yang menawarkan aplikasi baru. Jadi, misalnya dengan bantuan aplikasi eksternal, sensor 3D dapat digunakan untuk pengukuran objek, pemindaian 3D, dan pelacakan gerak. Bahkan ada aplikasi yang memungkinkan Anda membuat perangkat night vision dari smartphone Anda.
Tes
Kami menemukan cara kerjanya dalam teori, sekarang mari kita lihat cara kerjanya dalam praktik, dan jika ada pengertian dari sensor 3D yang mahal ini di flagships. Untuk pengujian, kami mengambil Redmi Note 9S, ia memiliki sensor ToF dan kami mengambil beberapa gambar dalam mode potret, tetapi dalam kasus kedua kami hanya menutupi kamera 3D dengan jari kami. Dan inilah yang terjadi. Sederhana - blur benar-benar lebih besar dan lebih baik jika ToF berfungsi. Dan untuk frekuensi percobaan, kami mengambil Samsung Galaxy S20 Ultra yang juga mendapat kamera ToF. Dan temukan setidaknya satu perbedaan? Apa yang terjadi? Faktanya adalah bahwa tergantung pada pabrikannya, kamera ToF digunakan dengan cara yang berbeda dan dengan derajat yang berbeda-beda.
Kami dapat mengatakan bahwa beberapa produsen smartphone menempatkan sensor ToF di smartphone mereka bukan untuk pemasaran, untuk menambahkan kamera lain, melainkan untuk berjaga-jaga. Dan kemudian algoritme memutuskan apakah akan menggunakan kamera ini atau tidak? Pada saat yang sama, saat ini tidak diperlukan kamera LiDAR atau ToF. Jadi ini mungkin sedikit lebih pemasaran.
