Pohon keputusan saraf dalam

Deskripsi 

Jaringan neural dalam telah terbukti efektif dalam memproses data sensorik seperti gambar dan audio. Namun, untuk data tabular, model pohon lebih populer. Properti model pohon yang baik adalah kemampuan interpretasinya yang alami. Dalam makalah ini, kami menyajikan Deep Neural Decision Trees (DNDT) - model mirip pohon yang diimplementasikan oleh jaringan saraf. DNDT secara internal diinterpretasikan sebagai pohon. Namun, karena ini juga merupakan jaringan neural (NN), ini dapat dengan mudah diimplementasikan dengan toolkit NN dan dilatih menggunakan algoritme penurunan gradien daripada algoritme greedy (algoritme partisi serakah). Kami mengevaluasi DNDT pada beberapa kumpulan data tabular, menguji keefektifannya, dan mengeksplorasi persamaan dan perbedaan antara DNDT dan pohon keputusan konvensional. Menarik,bahwa DNDT adalah pembelajaran mandiri di tingkat terpisah dan fungsional.

1. pengantar 

   
   
   
   
   

Interpretabilitas model prediktif itu penting, terutama dalam hal etika - hukum, medis dan keuangan, aplikasi penting di mana kami ingin memeriksa relevansi model secara manual. Jaringan saraf dalam (Lecun et al., 2015 [18]; Schmidhuber, 2015 [25]) telah mencapai hasil yang sangat baik di banyak bidang seperti visi komputer, pemrosesan ucapan, dan pemodelan bahasa. Namun, kurangnya interpretabilitas tidak memungkinkan keluarga model ini digunakan dalam aplikasi sebagai “kotak hitam” yang mana kita perlu mengetahui prosedur perkiraan untuk memverifikasi proses pengambilan keputusan. Selain itu, di beberapa area, seperti business intelligence (BI), seringkali lebih penting untuk mengetahui bagaimana setiap faktor memengaruhi ramalan, daripada kesimpulannya sendiri. Metode berbasis pohon keputusan (DT) seperti C4.5 (Quinlan,1993 [23]) dan CART (Breiman et al., 1984 [5]), memiliki keuntungan yang jelas dalam aspek ini, karena struktur pohon dapat dengan mudah dilacak dan persis bagaimana ramalan dibuat. 

– (DNDT),    . DNDT- ,   DNDT . , DNDT (NN), ,    DT: DNDT      NN; ,  «» . DNDT  -  GPU  « », NN (back-propagation). 

2.   

.  , ,   . / .   C4. 5 (Quinlan, 1993 [23]) CART (Breiman et al., 1984 [5]). , , . ,  « » (Breiman, 2001 [6])  XGBoost (Chen & Guestrin, 2016 [8]), . . 

. , ,    , (, ) , (Weller, 2017 [26]; Doshi-Velez, 2017 [11]).    ,    (Bostrom & Yudkowsky, 2014 [4]) , ,   .  .  - (Ribeiro et al., 2016 [24]), , ,   (Dash et al., 2015 [10]; Malioutov et al., 2017 [19]), (Kim et al., 2016 [15])   (Kim et al., 2017 [16]). 

. . Bul & Kontschieder (2014) [7]  « » ( Neural Decision Forests NDF) ,    . Deep-NDF (Kontschieder et al., 2015 [17]) , ( CNNs) ( ). DNDT . -, () ( ).    (back propagation). -, ( ), , (≥ 2) . , , ,   , . , (Bul & Kontschieder, 2014 [7]; Kontschieder et al., 2015 [17]) . . ,  Kontschieder et al. (2015 [17]), ,   , . 

,   (2017 [2]), «» , . «» ,  «»  , , .

   .  DT  «»  (Quinlan, 1993; Breiman et al., 1984 [23]). ,  «»  (Norouzi et al., 2015 [20]). ,   , (Norouzi et al., 2015 [20]) RNN (Xiong et al., 2017 [28]). ,  DNDT ,  , , DT,        SGD. , , DT  ( ), DNDT , . 

3.  

3.1. 

, , -  (Dougherty et al., 1995)  (),   DNDT. ,       x  ,   .    , . 

, x, N + 1 . n , . [β1, β2,…, βn]   , β1 < β2 < · · · < βn.    β , . , β. 

 softmax.

w- , , w = [1; 2; : : : ; n + 1]. b , 

τ> 0 - . τ → 0   . 

,   

 

x

, 1  «»   x, . ,   « » (Chung et al., 2017 [9]),  , ,  ,  . 

-  «» ( ) ,  Straight-Through (ST) Gumbel-Softmax (Jang et al., 2017):     ,  Gumbel-Max, (backward pass)  Gumbel-Softmax    (. Bengio (2013 [3]) . 

.1 , x [0, 1] 0.33 0.66 .  1 2,   o₁ = x, o₂ = 2x − 0.33, o₃ = 3x − 0.99.  

3.2   

 , ,    ⊗. ,

 x_d   f_d (x_d), , 

z  «» , , x. , , z . DNDT . 2. 

3.3   

. ,        . , (. 2, )    SGD. 

. DNDT - .    , -  Kronecker  . "" ,  «»   (Ho, 1998 [13]) - . , . ,   «»,     : , . DNDT. 

4.  

4.1  

DNDT ≈ 20  TensorFlow  PyTorch. , DNDT " " GPU - , , .

4.2   

DNDT ( TensorFlow (Abadi et al., 2015) [1]) ( Scikit-learn (Pedregosa et al., 2011 [22])) 14 ,  Kaggle  UCI ( . . 1). 

(DT)  :  'gini'   – 'best'. (NN) 50 . DNDT   -  ( ),   1 .    4.4.    12 ,  DNDT, 10 , 10   . . 

4.3  

DNDT,    . 1. .2. 

DT. DT , , . 

, . DNDT ,  «»  ,  . , ,  . , .  « » (Wolpert, 1996[27]). 

4.4   

DNDT . , , , ,  x_d,  x_d. 

, DNDT. , . -Car Evaluation, Pima, Iris  Haberman  1 5 , . 3. , . , DNDT : . 

, . . 4, , . , , DNDT , . 

4.5   

DNDT , . , ,  DT, ,   -  . , DNDT . DNDT 10 ,    - ,  . 

     - , , (, 0  iris) DNDT (. . 3 ). , DNDT   ,    .  ()     : , , ,  . 

4.6   

, 4.5, , DNDT DT   .   gini (),   (. 5), (.3). 

, , DNDT DT   , ,  Iris  3 . , , ,   DT 0 , DNDT . DNDT 2 ,  DT.  . . 2,    DNDT DT 70,9% 66,1% .  

,    DNDT DT,  Tau      . , .4, . 

4.7  GPU 

, DNDT - ,   DT. , , (. . 6).

5.   

DNDT. , NN ,   . , DT, DNDT , SGD GPU. . ; DNDT , CNN, ; , SGD DNDT , «»  DT  ; ,    NN   DT. 

1. Abadi, Mart´ın, Agarwal, Ashish, Barham, Paul, Brevdo, Eugene, Chen, Zhifeng, Citro, Craig, Corrado, Greg S., Davis, Andy, Dean, Jeffrey, Devin, Matthieu, Ghemawat, Sanjay, Goodfellow, Ian, Harp, Andrew, Irving, Geoffrey, Isard, Michael, Jia, Yangqing, Jozefowicz, Rafal, Kaiser, Lukasz, Kudlur, Manjunath, Levenberg, Josh, Mane, Dandelion, Monga, Rajat, Moore, ´ Sherry, Murray, Derek, Olah, Chris, Schuster, Mike, Shlens, Jonathon, Steiner, Benoit, Sutskever, Ilya, Talwar, Kunal, Tucker, Paul, Vanhoucke, Vincent, Vasudevan, Vijay, Viegas, Fernanda, Vinyals, Oriol, Warden, Pete, Wattenberg, Martin, Wicke, Martin, Yu, Yuan, and Zheng, Xiaoqiang. TensorFlow: Large-scale machine learning on heterogeneous systems, 2015. URL https://www.tensorflow.org/.

   
   
   
   
   

2. Balestriero, R. Neural Decision Trees. ArXiv e-prints, 2017.

   
   
   
   
   

3. Bengio, Yoshua. Estimating or propagating gradients through stochastic neurons. CoRR, abs/1305.2982, 2013.

   
   
   
   
   

4. Bostrom, Nick and Yudkowsky, Eliezer. The ethics of artificial intelligence, pp. 316334. Cambridge University Press, 2014.

   
   
   
   
   

5. Breiman, L., H. Friedman, J., A. Olshen, R., and J. Stone, C. Classification and Regression Trees. Chapman & Hall, New York, 1984.

   
   
   
   
   

6. Breiman, Leo. Random forests. Machine Learning, 45(1): 5–32, October 2001.

   
   
   
   
   

7. Bul, S. and Kontschieder, P. Neural decision forests for semantic image labelling. In CVPR, 2014.

   
   
   
   
   

8. Chen, Tianqi and Guestrin, Carlos. Xgboost: A scalable tree boosting system. In KDD, 2016.

   
   
   
   
   

9. Chung, J., Ahn, S., and Bengio, Y. Hierarchical Multiscale Recurrent Neural Networks. In ICLR, 2017.

   
   
   
   
   

10. Dash, S., Malioutov, D. M., and Varshney, K. R. Learning interpretable classification rules using sequential rowsampling. In ICASSP, 2015.

    
    
    
    
    

11. Doshi-Velez, Finale; Kim, Been. Towards a rigorous science of interpretable machine learning. ArXiv e-prints, 2017.

    
    
    
    
    

12. Dougherty, James, Kohavi, Ron, and Sahami, Mehran. Supervised and unsupervised discretization of continuous features. In ICML, 1995.

    
    
    
    
    

13. Ho, Tin Kam. The random subspace method for constructing decision forests. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(8):832–844, 1998.

    
    
    
    
    

14. Jang, E., Gu, S., and Poole, B. Categorical Reparameterization with Gumbel-Softmax. In ICLR, 20

    
    
    
    
    

15. Kim, B., Gilmer, J., Viegas, F., Erlingsson, U., and Wattenberg, M. TCAV: Relative concept importance testing with Linear Concept Activation Vectors. ArXiv e-prints, 2017.

    
    
    
    
    

16. Kim, Been, Khanna, Rajiv, and Koyejo, Sanmi. Examples are not enough, learn to criticize! Criticism for interpretability. In NIPS, 2016.

    
    
    
    
    

17. Kontschieder, P., Fiterau, M., Criminisi, A., and Bul, S. R. Deep neural decision forests. In ICCV, 2015.

    
    
    
    
    

18. Lecun, Yann, Bengio, Yoshua, and Hinton, Geoffrey. Deep learning. Nature, 521(7553):436–444, 5 2015.

    
    
    
    
    

19. Malioutov, Dmitry M., Varshney, Kush R., Emad, Amin, and Dash, Sanjeeb. Learning interpretable classification rules with boolean compressed sensing. In Transparent Data Mining for Big and Small Data, pp. 95–121. Springer International Publishing, 2017.

    
    
    
    
    

20. Norouzi, Mohammad, Collins, Maxwell D., Johnson, Matthew, Fleet, David J., and Kohli, Pushmeet. Efficient non-greedy optimization of decision trees. In NIPS, 2015.

    
    
    
    
    

21. Paszke, Adam, Gross, Sam, Chintala, Soumith, Chanan, Gregory, Yang, Edward, DeVito, Zachary, Lin, Zeming, Desmaison, Alban, Antiga, Luca, and Lerer, Adam. Automatic differentiation in pytorch. In NIPS Workshop on Autodiff, 2017.

    
    
    
    
    

22. Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., and Duchesnay, E. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12:2825–2830, 2011.

    
    
    
    
    

23. Quinlan, J. Ross. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers Inc., 1993.

    
    
    
    
    

24. Ribeiro, Marco Tulio, Singh, Sameer, and Guestrin, Carlos. ”why should i trust you?”: Explaining the predictions of any classifier. In KDD, 2016.

    
    
    
    
    

25. Schmidhuber, J. Pembelajaran mendalam di jaringan saraf: Gambaran umum. Neural Networks, 61: 85-117, 2015.

    
    
    
    
    

26. Weller, Adrian. Tantangan untuk transparansi. Dalam Lokakarya ICML tentang Interpretabilitas Manusia dalam Pembelajaran Mesin, hal. 55–62, 2017.

    
    
    
    
    

27. Wolpert, David H. Kurangnya perbedaan apriori antara algoritma pembelajaran. Komputasi Neural, 8 (7): 1341-1390, 1996.

    
    
    
    
    

28. Xiong, Zheng, Zhang, Wenpeng, dan Zhu, Wenwu. Mempelajari pohon keputusan dengan pembelajaran penguatan. Dalam Lokakarya NIPS tentang Meta-Learning, 2017.