Produk data terbaik lahir di ladang

Sebagian besar pesanan online kami dikumpulkan dari gudang, bukan dari gudang. Ini mengarah pada kesalahan antara apa yang ditampilkan di situs dan apa yang sebenarnya bisa kita kumpulkan dalam  pesanan online .

Karena tingginya tingkat turnover barang di toko dan kompleksitas sistem manajemen stok, kesalahan terjadi yang dapat dideteksi secara otomatis. Berdasarkan pengetahuan kami tentang sistem dan menggunakan rekayasa sosial, kami mengusulkan solusi yang memungkinkan kami untuk secara otomatis menemukan produk yang bermasalah dan menyesuaikan stok mereka sebelum dipublikasikan di situs web.

,    « ».    2011 . (  ,   13, 107),       ,   Data- .

«»

   ,   ,   «».       ,  .

•  —  .
•  — ,     .
•  — .
•  — .
•  — 5   .

,   ,      « »,  98%         .

8 000 .  , 40 000   .   , ?   ,   , ,   ,  ,  .   ,      - , , - « ».   ,   ,     -  .

-    ,  —   .

  ,     ,     Data Accelerator.  — data-,   data-driven.  Data Accelerator 126 ,   5      — « »,     .

 ,    ,   ,   . ,    .

  : Data Scientist, Data Engineer, Data Analyst, Product Owner  Scrum-.

:

• ,     (  );
•  eCom,    .

 , .

,    ,  ,  :   . ,   ,   3 , ,    ,   6 . , , ,    …

      ,       . . « » ,   ,   .

,  —    . ,    ,        .   ,     ,   1. , , ,    .   .  .

 — .  ,   . , , .   2500 ,   43,    .        «».

,   excel-,  ,     excel-  :   ,   .   ,  , ,   , , .

,   ,  60%   , .      ,    81%, ,  -, .

MVP.

 6 ,   proof of concept   , ,   ,  .    ,   ,   .

, , ,   ,   ,    — ,   , .    ,     , , .

«-1».

  ,   ,   : « ,   , , , ».     , , « » ,    .     4  , .

   ,   . -,   ,   , - , , .     ,       . -, ,        . ,  ,      .

ML-.

,   ML-,     6 .   ML-?

•    Catboost,   ,     .
•     ,        .
•     ,     ,  ,  ,   ,  ,    .
•   70 .
•     ,   Permutation Importance  ,   Catboost.
•   ,       80/20.
•   ,     .
• ,    ,     ,    train/valid-.
•     DVC,    S3.

  :

• ROC-AUC: 0.68
• Recall: 0.77

 —    .   ,   DataLake   GreenPlum.   ,  MongoDB,  .   GreenPlum  MongoDB   opensource- Apache- Apache AirFlow  Apache NiFi.

Python-,  Kubernetes.     ,   -   Apache Kafka,   ,         Apache Kafka.

  6    ,   15%    12%,   E-com   . ,   ,   .

  ,    ,    .   ,    — ,   ,     .           .

p.s. Avito.Tech, .