Cara Kerja Pencarian Gambar Dropbox

Jika Anda perlu menemukan foto yang diambil saat piknik beberapa tahun yang lalu, Anda hampir tidak dapat mengingat nama yang secara otomatis ditetapkan oleh kamera ke file pada saat pengambilan gambar, misalnya, 04-07-2017 12.37.54.jpg . Anda melihat-lihat semuanya - foto, sketsa mereka, mencoba mengidentifikasi objek atau tanda dari apa yang Anda cari - dan tidak masalah apakah Anda mencari foto yang hilang atau ingin mencari foto yang layak di arsip untuk presentasi sebuah proyek baru.





Akan sangat bagus jika Dropbox dapat secara mandiri melihat semua gambar dan memilih gambar yang paling cocok dengan kata-kata dalam deskripsi! Inilah tugas yang kami tentukan sendiri saat membuat fungsi pencarian gambar .





, Dropbox , , , , Dropbox .






Hasil pencarian gambar dengan kata kunci "piknik"
""

, , , Dropbox.





: , () q j, s , , :





s = f(q, j).





- , , . : .





, . , . 





:





  • , , ;





  • , , ;





  • , , - .





— 2012 . Krizhevsky . ImageNet hallenge. , , , , Open Images ImageNet, , TensorFlow PyTorch, , . , :





Hasil penerapan pengklasifikasi gambar ke fotografi non-panggung biasa

, , . , , , , , ? , ?





, , , .





. jc . C- , C — ( ). , , , .





— . — word2vec — Mikolov . 2013 . Word2vec , , , , . d- , d .





, word2vec. , , :





  1. q d- qw, . w, — c.





  2. ciw. mĖ‚i = qw - ciw — i- . -1 1 , . ( mi = max(0, mĖ‚i)), , .





  3. , qc = [m1 m2 ... mC], C- , , — , , .





3 — - , qc = qwC, C — ciw.





qc — s = qcjc.





. . - , s = qcJ, J jc , s — .





. , — : , , .





, . , [0,35–0,62 0,70], .





, .





Proyeksi vektor kata kueri ke dalam ruang kategori

  EfficientNet, OpenImages. 8 500 . , . , Dropbox.





TensorFlow   ConceptNet Numberbatch. , , , , . : dog chien , .





AND, . , , beach ball, . , OR , beach ball (beach AND ball) OR (beach ball). , .





, , J . , , , , . ().





J , Dropbox Nautilus.





, Nautilus (forward index), (, ) , (inverted index), (posting list) , . :





Isi indeks pencarian untuk pencarian teks

, doc_1 doc_2 , . doc_3 , , . 





, , . doc_1 , doc_2, doc_1 .





. jc . .





Indeks pencarian konten untuk mencari gambar berdasarkan konten

, :





  1. qw C qc, . C — , , .





  2. , qc, . , , .





  3. jc qc, s. , .





- , . 10 000 10 000 , 40 . , 10 000 . , 40 80 . , , !





, , , , mĖ‚i , 5 000 . , 10 .





, , , . s = qcjc, qc — 10 000 , jc — 10 000 , . , s





qc jc , . , 10 qc 50 jc . :





  • 10 000- 50 , 50 . ; 50 ( ) 50 ( ) 300 .





  • 10 000, 50 , 200 . , 500 80.





  • qc 10 , 10 — . , .





, . , , , — .





-. , OCR- , .





?

, , Dropbox. . , , . , , , , , " , " .





, , . , "Machine Learning Deep Learning", NVIDIA.





, :





  • Data Scientist





  • Data Analyst





  • Data Engineering









  • Fullstack- Python





  • Java-





  • QA- JAVA





  • Frontend-









  • C++





  • Unity





  • -





  • iOS-





  • Android-









  • Machine Learning





  • "Machine Learning Deep Learning"





  • " Data Science"





  • " Machine Learning Data Science"





  • "Python -"





  • " "









  • DevOps








All Articles