Bagaimana kami membuat pemilihan otomatis untuk produk serupa

Pada artikel sebelumnya , saya berbicara tentang bagaimana kami belajar bagaimana membandingkan produk dari sumber yang berbeda dan mengisi kartu produk - karakteristik, gambar, deskripsi. Dan ketika harga pemasok, harga pesaing dan karakteristik barang diketahui, kelanjutan logisnya adalah mencari informasi tentang analog atau sekadar barang serupa di propertinya.



Ini dapat digunakan dengan cara yang berbeda, misalnya, menunjukkan kepada pelanggan beberapa posisi yang sama pada kartu produk, mungkin dia akan menyukai beberapa lagi. Jika ada sesuatu yang kehabisan stok, daftar produk serupa dalam stok juga akan berguna. Pilihan kedua adalah memberikan informasi ini kepada karyawan pusat panggilan sehingga mereka dapat dengan cepat (atau, pada prinsipnya, dapat) menawarkan analog jika produk yang diminta tidak tersedia, atau analog lebih sesuai dengan keinginan klien.



Bagaimana Anda bisa tahu apakah produknya serupa? Anda bisa membandingkan karakteristiknya, semakin cocok, semakin mirip produknya. Sayangnya, ini tidak bekerja semudah itu. Dalam praktiknya, ternyata, sebagai aturan, hampir tidak ada produk yang diisi semua karakteristiknya. 80% adalah hasil yang bagus. Kedua, beberapa karakteristik lebih penting daripada yang lain. Misalnya, TV 65 "sama sekali berbeda dari TV 22", meskipun keduanya memiliki 2 port USB. Atau, contoh lain, casing logam dan casing aluminium lebih dekat satu sama lain dibandingkan dengan plastik, meskipun memiliki tiga arti yang berbeda.



Jadi, untuk memilih produk serupa, kita perlu menyelesaikan tugas-tugas berikut:

1. Tetapkan karakteristik bobot. Ukuran diagonal itu penting, jumlah port USB kurang penting.
2. Tentukan range nilai masing-masing karakteristik, dan di atasnya diatur fungsi jarak antar nilai.
3. Tentukan strategi untuk menangani kasus ketika karakteristik diketahui untuk satu produk, tetapi tidak untuk produk lainnya.
4. Memiliki jarak antar nilai semua karakteristik, hitung jarak antar barang.
5. Pikirkan tentang kinerja, menghitung semua pasangan jarak memiliki kerumitan

   $$

   $$O(N^2)$$
   Dan jika menghitung 50 juta jarak untuk 10 ribu barang sepertinya bukan masalah besar, maka 50 miliar untuk 300 ribu sudah banyak.

Mari kita selesaikan masalah ini. Untuk beberapa hal, ini akan menjadi pekerjaan penelitian.

Bagaimana Kami Menentukan Bobot Fitur

Kami menggunakan dua ide dasar dengan bobot.

• Karakteristik yang mempengaruhi harga itu penting. Kebalikannya belum tentu benar. Misalnya, warna ponsel memang cukup penting, tetapi hampir tidak mempengaruhi harga.
• Untuk mengidentifikasi karakteristik penting yang tidak memengaruhi harga, kami berasumsi bahwa karakteristik tersebut, rata-rata, diisi dengan lebih baik.

Selanjutnya, untuk setiap kategori, kami memberikan bobot untuk semua karakteristik. Untuk melakukan ini, lakukan hal berikut:

1. Jika karakteristiknya numerik, maka kami mempertimbangkan korelasi dengan harga Pearson.
2. Jika pencacahan adalah dengan pilihan yang saling eksklusif (tetapi bukan angka), maka kami memesan elemennya dengan harga rata-rata barang dengan nilai ini, dan kami menghitung korelasi dengan harga Spearman.
3. Jika ada pilihan ganda, maka kami menguranginya menjadi satu set yang saling eksklusif (ya / tidak), dan kami menghitung korelasi masing-masing dengan harga menurut Spearman. Kami mengurangi koefisien yang dihasilkan tergantung pada jumlah opsi.
4. Kami menghitung persentase nilai yang diisi untuk masing-masing karakteristik dan menambah atau mengurangi bobotnya yang diperoleh sebelumnya.
5. Nilai yang diperoleh dapat digunakan sebagai bobot, tetapi dalam praktiknya, hasil terbaik diperoleh jika diubah lagi secara nonlinier, menjaga urutan.

Masing-masing langkah memiliki nuansa tersendiri, misalnya bagaimana menghitung harga jika dalam satu kasus hanya diketahui harga eceran, di lain hanya harga grosir, dan di ketiga harga tersebut dan lainnya. Atau salah satu toko membuat kesalahan dengan harga dan menjual meja samping tempat tidur dengan harga lemari dari seri yang sama.

Bagaimana kita menghitung jarak antar barang

Memilih algoritma yang digunakan untuk menghitung jarak antara nilai-nilai karakteristik, kita perlu mengingat bagaimana kita akan menghitung jarak antara barang, memiliki jarak antara karakteristik individu dan beratnya. Intuisi saya memberi tahu saya untuk memulai hanya dengan jarak dalam ruang n-dimensi, mis. akar kuadrat dari jumlah kuadrat jarak antara karakteristik.



Lebih lanjut, intuisi mengatakan bahwa dalam hal ini fungsi jarak antar nilai harus distributif, dan lebih baik lagi, jika pertidaksamaan segitiga terpenuhi. Saya tidak dapat membuktikan kebenaran persyaratan tersebut, tetapi kami akan mematuhi ketentuan ini.



Maka fungsi-fungsi berikut dapat diambil sebagai fungsi jarak:

• — , . , 35 , — 75 , 40 . .
• — (, ?), . .
• , .

Sekarang tentang kinerja. Dalam prakteknya ternyata dalam waktu yang wajar (sampai 5 menit) kita bisa menghitung jarak berpasangan antara 30 ribu barang. Tetapi pada saat yang sama, dalam beberapa kategori barang ada lebih banyak, misalnya, mungkin ada seratus ribu kasur di katalog, dan dalam hal ini kita berbicara tentang menambah waktu yang dihabiskan sebanyak 10 kali lipat.



Pengoptimalan kasus ini terlihat seperti ini: kami memesan semua produk berdasarkan nilai karakteristik dengan bobot tertinggi

$$

$$O(N*log(N))$$

Ini lebih cepat dari

$$

$$O(N^2)$$

Kemudian kami membagi semua produk menjadi kelompok yang tumpang tindih (katakanlah, tumpang tindih dengan 20%), dan menghitung jarak berpasangan dalam setiap kelompok. Dengan demikian, hingga 30 ribu produk dalam satu kategori, waktu pemrosesan meningkat

$$

$$O(N^2)$$

dan mulai dari 30 ribu - caranya

$$

$$O(N*log(N))$$

hasil

Saya akan memberikan beberapa contoh hasil pencarian otomatis untuk produk serupa menggunakan algoritma ini (yang pertama di tabel adalah produk yang kami cari produk serupa)





Contoh-contoh ini menunjukkan bahwa, pada prinsipnya, algoritme tersebut berfungsi dengan baik dan dipilih dalam kasus pertama mesin cuci otomatis yang berdiri sendiri dengan pemuatan horizontal dengan kedalaman yang sama dengan beban maksimum yang kira-kira sama (saya bukan spesialis yang hebat dalam mesin cuci, tetapi karakteristik inilah yang tampaknya penting bagi saya). Dalam kasus kedua - juga mesin cuci otomatis berdiri bebas, tetapi dengan pemuatan atas. Lebar dan kedalaman opsi yang diusulkan sama. Dalam kedua kasus tersebut, aktivator atau mesin built-in tidak ditawarkan, serta mesin yang dipasang di dinding, meskipun mereka ada dalam katalog.



Kemungkinannya adalah, spesialis peralatan besar dapat melakukan pekerjaan dengan lebih baik (kami mendiskusikan hasil dalam kategori yang berbeda dengan tenaga penjualan, mereka menyetujui sebagian besar opsi, tetapi juga menyarankan opsi yang tidak kami sertakan dalam hasil). Mencoba hasil untuk diri saya sendiri sebagai pembeli, saya menemukan rekomendasi seperti itu berguna, saya tidak menemukan kesalahan besar dalam harapan.



Jadi, setelah implementasi algoritma ini, yang hanya memiliki nama produk sebagai input, kami dapat secara otomatis menemukannya dari pemasok dan pesaing, mengisi karakteristiknya, memilih gambar, dan bahkan menawarkan analog. Ini sangat menyederhanakan pekerjaan manajer konten dan manajer penjualan.