Analisis Sentimen. Kami mendefinisikan pesan emosional di Habré

Analisis sentimen (atau analisis sentimen) adalah salah satu tugas yang dikerjakan oleh spesialis Ilmu Data. Dengan bantuan analisis semacam itu, Anda dapat mempelajari rangkaian pesan dan data lainnya dan menentukan bagaimana pesan tersebut diwarnai secara emosional - positif, negatif atau netral.





Mari kita lihat cara kerjanya - mari kita analisis sejumlah artikel berdasarkan kumpulan data Linis Crowd. Kami mengusulkan untuk menentukan model mana yang paling menjanjikan, misalnya, untuk pengembangan berbagai layanan pemantauan. Sebagai bidang subjek, kami akan memilih artikel yang bersifat teknis (misalnya, tentang Habré), yang dapat berguna untuk menerapkan pengumpulan opini secara otomatis.





Tonalitas adalah identifikasi kosakata yang diwarnai secara emosional dalam teks, serta penilaian emosional dari pendapat yang diungkapkan oleh penulis. 





, , “” . , ( ). , , .





, -. , , . 





: . – 70-80%, , .





:





  • . () . , .





  • , . . , , .





, . – . , IT- , . :





-1





:





0





:





1





:





2 :





  • . , , Linis Crowd.





  • , . python, .





  • -, Flask, - .





  • nltk - . , .





  • Fasttext. Word2Vec , , . . 500 , .





Fasttext ():

























– , .





1)

, , , , . , . .













, :





alpha = 0.3; fitprior = True; classprior = None





2)

, .





:





  • samplesize, . , .





  • max_features ( — ).





  • ( ). , , ( ). , , , . 









, : 





nestimators = 200; maxdepth = 3; random_state = 0





3)  

, . 





Embedding, 64- , LSTM (128 ) Dense (10 ).









Linis Crowd, 29 . .





  .





, . fasttext , 5 - 10 CPU. GPU 0.7 – 1.





  :





  • 60%. 





  • 20% 





  • 20% . 





, 70-80%. 









  • (88,32%)





  • (78,91%)





  • . RNN (83,26%)





, 88,32% . , 80%, .





! , . 





-, : 





  1. http://datareview.info/article/analiz-tonalnosti-teksta-kontseptsiya-metodyi-oblasti-primeneniya/





  2. https://habr.com/ru/company/palitrumlab/blog/262595/





  3. https://compress.ru/article.aspx?id=23115





  4. https://habr.com/ru/company/mailru/blog/417767/





  5. https://habr.com/ru/company/mailru/blog/516214/





  6. https://habr.com/ru/company/mailru/blog/516726/





  7. https://habr.com/ru/company/mailru/blog/516730/












All Articles