Juara pertama di AI Journey 2020 Digital Peter

Semoga harimu menyenangkan semuanya! Kontes AI internasional tahunan, yang diselenggarakan oleh Sberbank bersama dengan mitra Rusia dan asing, dalam kerangka konferensi Perjalanan Kecerdasan Buatan , baru saja berakhir . Tugas tahun ini: Digital Peter: pengenalan manuskrip Peter I , NoFloodWithAI: banjir di Sungai Amur dan AI 4 Humaniora: ruGPT-3 . Kali ini sekitar 1000 orang dari 43 negara mengikuti kompetisi tersebut.

Tim kami mengambil bagian dalam memecahkan masalah "Digital Peter: pengakuan manuskrip Peter I" dan memenangkan tempat pertama. Saya ingin memberi tahu Anda tentang apa yang kami lakukan dalam proses menyelesaikan kompetisi, siapa Ayah di sini , trik dan trik apa yang kami gunakan. Ada banyak informasi, akan ada banyak kata-kata khusus untuk mereka yang bukan subjeknya. Ini bukan tutorial, saya tidak akan menjelaskan dengan sangat detail, tetapi saya akan dengan senang hati menjawab pertanyaan di komentar.

Anda bisa melihat tim impian

Rencana

• Deskripsi tugas

  
  
  
  
  

• Langkah solusi

  
  
  
  
  

  1. Pemrosesan awal data

     
     
     
     
     

  2. Deskripsi jaringan saraf

     
     
     
     
     

  3. Augmentasi

     
     
     
     
     

  4. CharMasks

     
     
     
     
     

  5. Koreksi ejaan menggunakan XLMRoberta

     
     
     
     
     

  6. Ensemble + Ambang Koreksi Mantra

     
     
     
     
     

• Apa yang tidak berhasil

  
  
  
  
  

• Tim

  
  
  
  
  

• Kesimpulan

  
  
  
  
  

Deskripsi tugas

Format data, sumber daya yang tersedia, dan batasan

, : , I, (. ). , , - .

.

, - , - , , .

500 , , , , .

1.

, ( OOF), . ( ), ( ), , +90, -90 . (Resnet34 ) . , .

, .. . .

2.

, CTCLoss Attention. CTCLoss , Attention . CTCLoss, , Attention . .

Bs - , (w, h, c) - (, , ). . Hidden size - LSTM . Dict Size - , . Dense - Keras, Linear PyTorch.

3.

, . : ToGray, CLAHE, Rotate, CutOut.

CutOut .  , HandWrittenBlots, , , .  , ( ) . CutOut , HandWrittenBlots .  Augmixations. .

P.S. CutOut , .

4. CharMasks

, , CTC Loss. , , , ( , ). ( Action Labeling ).

. , , . , . XVII-XVIII (, ). , , .

, , , , . . , . . (Multi Word Expression) ( ) .

, , .. , . - :

5. Spell correction using XLMRoberta

, .

,     ( , ). NLP. XLMRoberta XVII-XVIII .., I. :

1. OCR ( ) ( ) ( + softmax), 3 (//blank ..) ;

2. : 3-4 , - .. //blank, , . zero-shot learning, , . OCR ('': 'p', '': 'o', '': 'e', '': 'c', '': 'a', '': 'x', '': 'u', '': ‘k’);

3. OCR step by step (!), ;

4. : ( 0 12), 50% padding ( ), 10% . ( ). XLMRoberta outputhiddenstates - NER, ;

5. GPU , TPU Colab

P.S.

( ), BeamSearch. .

6. Ensemble + Spell Correction Thresholds

, , , CTCLoss, . .    , . N "" . , , . . , , , ., +- .

Other Backbones. (EfficientNet, [SE, ECA]ResNet[xt], Mobilenet ), Resnet34.

Augmentations.   Albumentations (Brightness, Gamma, Blur ), , .

TTA (Test-Time Augmentations).  , holdout , public test - . , holdout.

Classic Blending.  , , , , , .

(). , ! :)

(github, linkedin, kaggle)

(github, linkedin, kaggle)

(github, linkedin, kaggle)

(linkedin, kaggle)

, , . , .

P.S. ( , public): 

| CER: 2.531 | WER: 13.5 | ACC: 62.107 | TIME: 32s |

submission .

P.P.S.

, ? :)