Clever Geek Handbook

Definisi komentar beracun dalam bahasa Rusia



Saat ini, jejaring sosial telah menjadi salah satu platform komunikasi utama baik online maupun dalam kehidupan nyata. Kebebasan untuk mengungkapkan sudut pandang yang berbeda, termasuk komentar yang beracun, agresif dan menyinggung, dapat memiliki konsekuensi negatif jangka panjang bagi pendapat dan kohesi sosial orang lain. Oleh karena itu, salah satu tugas terpenting masyarakat modern adalah pengembangan alat deteksi otomatis informasi beracun di Internet untuk mengurangi konsekuensi negatif.



Artikel ini menjelaskan cara mengatasi masalah ini untuk bahasa Rusia. Sebagai sumber data, kami menggunakan kumpulan data yang dipublikasikan secara anonim di Kaggle, selain itu memeriksa kualitas anotasi. Untuk membuat model pengklasifikasian, kami menyetel dua versi dari Multilingual Universal Sentence Encoder, Representations Bidirectional Encoder dari Transformers dan ruBERT. Model custom ruBERT menunjukkan F 1 = 92,20% merupakan hasil klasifikasi terbaik. Kami telah membuat model terlatih dan contoh kode tersedia untuk umum.



1. Perkenalan



Saat ini, masalah mengidentifikasi komentar beracun diselesaikan dengan baik menggunakan teknik pembelajaran mendalam lanjutan [1], [35]. Meskipun beberapa karya secara langsung menyelidiki topik mendeteksi hinaan, hasutan dan perkataan yang mendorong kebencian dalam bahasa Rusia [2], [8], [17], hanya ada satu kumpulan data yang tersedia untuk umum dengan komentar beracun berbahasa Rusia [5]. Itu diterbitkan di Kaggle tanpa penjelasan apa pun tentang proses anotasi, jadi untuk tujuan akademis dan praktis mungkin tidak dapat diandalkan tanpa studi mendalam tambahan.



Artikel ini didedikasikan untuk deteksi otomatis komentar beracun dalam bahasa Rusia. Untuk tugas ini, kami memeriksa anotasi dari Kumpulan Data Komentar Beracun Bahasa Rusia [5]. Kemudian, model klasifikasi dibuat berdasarkan fine-tuning versi multibahasa yang telah dilatih sebelumnya dari Multilingual Universal Sentence Encoder (M-USE) [48], Representasi Bidirectional Encoder dari Transformers (M-BERT) [13] dan ruBERT [22]. Model paling akurat ruBERT-Toxic menunjukkan F 1 = 92,20% pada masalah klasifikasi biner komentar beracun. Model M-BERT dan M-USE yang dihasilkan dapat diunduh dari github.



Struktur artikelnya adalah sebagai berikut. Di bagian 2kami menjelaskan secara singkat karya lain tentang topik ini, serta kumpulan data berbahasa Rusia yang tersedia. Di Bagian 3, kami memberikan gambaran umum tentang Kumpulan Data Komentar Beracun Bahasa Rusia dan menjelaskan proses untuk memeriksa anotasinya. Pada Bagian 4, kami menjelaskan perbaikan model bahasa untuk tugas klasifikasi teks. Di bagian 5, kami menjelaskan eksperimen klasifikasi. Terakhir, mari kita bahas tentang kinerja sistem dan arahan untuk penelitian di masa mendatang.



2. Karya lain tentang topik tersebut



Pekerjaan ekstensif telah dilakukan untuk mendeteksi komentar beracun di berbagai sumber data. Misalnya, Prabowo dan rekannya telah menggunakan klasifikasi Naive Bayesian Classification (NB), Support Vector Machines (SVM) dan Ensemble Decision Trees (RFDT) untuk mendeteksi kebencian dan bahasa yang menyinggung di Twitter Indonesia [34]. Hasil percobaan menunjukkan akurasi sebesar 68.43% untuk pendekatan hierarki dengan tanda kamus unigram dan model SVM. Dalam pekerjaan tim yang dipimpin oleh Founta [15], jaringan saraf pembelajaran mendalam berdasarkan GRU dengan embeddings GloVe yang telah dilatih sebelumnya diusulkan untuk klasifikasi teks beracun. Model tersebut menunjukkan akurasi tinggi pada lima set data, dengan AUC berkisar dari 92% hingga 98%.



Semakin banyak seminar dan kompetisi yang didedikasikan untuk mendeteksi komentar yang beracun, penuh kebencian, dan menyinggung. Misalnya, HatEval dan OffensEval di SemEval-2019; HASOC di FIRE-2019; Tugas Bersama tentang Identifikasi Bahasa Serangan di GermEval-2019 dan GermEval-2018; TRAC di COLING-2018. Model yang digunakan dalam masalah berkisar dari pembelajaran mesin tradisional (misalnya SVM dan regresi logistik) hingga pembelajaran mendalam (RNN, LSTM, GRU, CNN, CapsNet, termasuk mekanisme perhatian [45], [49], serta model lanjutan seperti ELMo [31], BERT [13] dan USE [9], [48]). Sejumlah besar tim yang telah mencapai hasil yang baik [18], [24], [27], [28], [30], [36], [38], menggunakan embeddings dari model bahasa pra-terlatih yang terdaftar.Karena representasi dari model yang dilatih sebelumnya bekerja dengan baik dalam klasifikasi, mereka banyak digunakan dalam penelitian selanjutnya. Misalnya, peneliti dari University of Lorraine melakukan klasifikasi biner multikelas pesan Twitter menggunakan dua pendekatan: melatih pengklasifikasi DNN dengan embeddings kosa kata yang telah dilatih sebelumnya dan model BERT yang telah dilatih sebelumnya dengan cermat [14]. Pendekatan kedua menunjukkan hasil yang jauh lebih baik dibandingkan dengan CNN dan jaringan saraf dua arah LSTM berdasarkan FastText embeddings.dengan melatih pengklasifikasi DNN dengan embeddings kosakata yang telah dilatih sebelumnya, dan model BERT yang telah dilatih sebelumnya dengan cermat [14]. Pendekatan kedua menunjukkan hasil yang jauh lebih baik dibandingkan dengan CNN dan jaringan saraf dua arah LSTM berdasarkan FastText embeddings.dengan melatih pengklasifikasi DNN dengan embeddings kosakata yang telah dilatih sebelumnya, dan model BERT yang telah dilatih sebelumnya dengan cermat [14]. Pendekatan kedua menunjukkan hasil yang jauh lebih baik dibandingkan dengan CNN dan jaringan saraf dua arah LSTM berdasarkan FastText embeddings.



Meskipun sejumlah besar penelitian [7], [33], [41] telah dikhususkan untuk mempelajari perilaku beracun dan agresif di jejaring sosial berbahasa Rusia, tidak banyak perhatian yang diberikan pada klasifikasi otomatis mereka. Untuk menentukan agresivitas dalam teks berbahasa Inggris dan Rusia, Gordeev menggunakan jaringan saraf konvolusional dan pengklasifikasi hutan acak (RFC) [17]. Kumpulan pesan yang diberi anotasi agresif berisi sekitar 1000 pesan dalam bahasa Rusia dan hampir sama dalam bahasa Inggris, tetapi tidak tersedia untuk umum. Model CNN yang terlatih menunjukkan akurasi klasifikasi biner teks berbahasa Rusia 66,68%. Berdasarkan hasil tersebut, penulis menyimpulkan bahwa jaringan saraf konvolusional dan pendekatan berbasis pembelajaran dalam lebih menjanjikan untuk mengidentifikasi teks agresif.Andruziak dkk. Mengusulkan pendekatan probabilistik tanpa pengawasan dengan kosakata sumber untuk mengklasifikasikan komentar menyinggung YouTube yang ditulis dalam bahasa Ukraina dan Rusia [2]. Para penulis telah menerbitkan kumpulan data berlabel manual dari 2.000 komentar, tetapi berisi teks Rusia dan Ukraina, sehingga tidak dapat langsung digunakan untuk meneliti teks berbahasa Rusia.



Beberapa penelitian baru-baru ini berfokus pada identifikasi otomatis sikap terhadap migran dan kelompok etnis di jejaring sosial berbahasa Rusia, termasuk identifikasi serangan berdasarkan identitas. Bodrunova dengan rekan penulisnya mempelajari 363.000 publikasi berbahasa Rusia di LiveJournal tentang topik sikap terhadap migran dari republik pasca-Soviet dibandingkan dengan negara lain [8]. Ternyata di blog berbahasa Rusia, para migran tidak menimbulkan diskusi yang berarti dan tidak mengalami perlakuan yang paling buruk. Pada saat yang sama, perwakilan dari bangsa Kaukasia Utara dan Asia Tengah diperlakukan dengan cara yang sangat berbeda. Sekelompok peneliti yang dipimpin oleh Bessudnov menemukan bahwa orang Rusia secara tradisional lebih bermusuhan dengan orang-orang dari Kaukasus dan Asia Tengah; pada saat yang sama, orang Ukraina dan Moldova secara umum diterima sebagai tetangga potensial [6].Dan menurut temuan kolektif yang dipimpin oleh Koltsova, sikap terhadap perwakilan dari kebangsaan Asia Tengah dan Ukraina adalah yang paling negatif [19]. Meskipun beberapa penelitian akademis berfokus pada mengidentifikasi perkataan yang beracun, menyinggung, dan kebencian, tidak ada penulis yang membuat kumpulan data bahasa Rusia mereka tersedia untuk umum. Sejauh yang kami tahu, Kumpulan Data Komentar Beracun Bahasa Rusia [5] adalah satu-satunya kumpulan komentar beracun berbahasa Rusia di domain publik. Namun, itu diterbitkan di Kaggle tanpa menjelaskan proses pembuatan dan anotasi, jadi tanpa studi rinci tidak disarankan untuk digunakan dalam proyek akademik dan praktis.Meskipun beberapa penelitian akademis berfokus pada definisi perkataan yang beracun, menyinggung, dan kebencian, tidak ada penulis yang membuat kumpulan data bahasa Rusia mereka tersedia untuk umum. Sejauh yang kami tahu, Kumpulan Data Komentar Beracun Bahasa Rusia [5] adalah satu-satunya kumpulan komentar beracun berbahasa Rusia di domain publik. Namun, itu diterbitkan di Kaggle tanpa menjelaskan proses pembuatan dan anotasi, jadi tanpa studi terperinci tidak disarankan untuk digunakan dalam proyek akademik dan praktis.Meskipun beberapa penelitian akademis berfokus pada mengidentifikasi perkataan yang beracun, menyinggung, dan kebencian, tidak ada penulis yang membuat kumpulan data bahasa Rusia mereka tersedia untuk umum. Sejauh yang kami tahu, Kumpulan Data Komentar Beracun Bahasa Rusia [5] adalah satu-satunya kumpulan komentar beracun berbahasa Rusia di domain publik. Namun, itu diterbitkan di Kaggle tanpa menjelaskan proses pembuatan dan anotasi, jadi tanpa studi rinci tidak disarankan untuk digunakan dalam proyek akademik dan praktis.Kumpulan Data Komentar Beracun Bahasa Rusia [5] adalah satu-satunya kumpulan komentar beracun berbahasa Rusia di domain publik. Namun, itu diterbitkan di Kaggle tanpa menjelaskan proses pembuatan dan anotasi, jadi tanpa studi terperinci tidak disarankan untuk digunakan dalam proyek akademik dan praktis.Kumpulan Data Komentar Beracun Bahasa Rusia [5] adalah satu-satunya kumpulan komentar beracun berbahasa Rusia di domain publik. Namun, itu diterbitkan di Kaggle tanpa menjelaskan proses pembuatan dan anotasi, jadi tanpa studi terperinci tidak disarankan untuk digunakan dalam proyek akademik dan praktis.



Karena ada sedikit penelitian yang dikhususkan untuk definisi komentar beracun bahasa Rusia, kami memutuskan untuk mengevaluasi hasil kerja model pembelajaran mendalam pada Kumpulan Data Komentar Beracun Bahasa Rusia [5]. Kami tidak mengetahui adanya studi klasifikasi berdasarkan sumber data ini. Model BERT Multilingual dan Multilingual USE merupakan model yang paling tersebar luas dan berhasil dalam proyek penelitian terbaru. Dan hanya mereka yang secara resmi mendukung bahasa Rusia. Kami memilih untuk menggunakan fine-tuning sebagai pendekatan transfer pembelajaran karena dalam studi terbaru memberikan hasil klasifikasi terbaik [13], [22], [43], [48].



3. Kumpulan data dengan komentar beracun



Set Rusia Bahasa Toxic Komentar Dataset [5] adalah kumpulan komentar beranotasi dari situs Dvach dan Peekaboo . Itu diterbitkan di Kaggle pada tahun 2019 dan berisi 14.412 komentar, di mana 4.826 di antaranya diberi label beracun dan 9.586 tidak beracun. Panjang komentar rata-rata adalah 175 karakter, minimum 21, dan maksimum 7 403.



Untuk memeriksa kualitas anotasi, kami memberi anotasi secara manual pada beberapa komentar dan membandingkannya dengan tag asli menggunakan perjanjian antar-anotator. Kami memutuskan untuk menganggap anotasi yang ada sudah benar saat mencapai kesepakatan antar-anotator yang signifikan atau tinggi.



Pertama, kami menandai 3000 komentar secara manual dan membandingkan label kelas yang dihasilkan dengan yang asli. Anotasi ditulis oleh anggota berbahasa Rusia dari platform crowdsourcing Yandex.Toloka, yang telah digunakan dalam beberapa studi akademis teks berbahasa Rusia [10], [29], [32], [44]. Sebagai panduan untuk markup, kami menggunakan petunjuk pengenalan toksisitas dengan atribut tambahan yang digunakan dalam Tantangan Klasifikasi Komentar Beracun Jigsaw. Para anotator diminta untuk menentukan toksisitas dalam teks, yang levelnya harus ditunjukkan untuk setiap komentar. Untuk meningkatkan akurasi markup dan membatasi kemungkinan penipuan, kami menggunakan teknik berikut:



  • Kami menetapkan level anotator berdasarkan jawaban mereka untuk mengontrol tugas dan melarang mereka yang memberikan jawaban yang salah.
  • Akses terbatas ke tugas bagi mereka yang merespons terlalu cepat.
  • Akses terbatas ke tugas topik, tidak memasukkan captcha yang benar beberapa kali berturut-turut.


Setiap komentar dianotasi oleh 3-8 anotator menggunakan teknik tumpang tindih dinamis . Hasilnya dikumpulkan menggunakan metode Dawid-Skene [12] berdasarkan rekomendasi Yandex.Toloka. Para anotator menunjukkan tingkat kesesuaian antar-anotator yang tinggi, dengan alpha Kripppendorf sebesar 0,81. Dan koefisien kappa Cohen antara label asli dan agregat kami adalah 0,68, yang sesuai dengan tingkat kesesuaian antar-anotator yang signifikan [11]. Oleh karena itu, kami memutuskan untuk mempertimbangkan markup kumpulan data sebagai benar, terutama mempertimbangkan kemungkinan perbedaan dalam petunjuk anotasi.



4. Model pembelajaran mesin



4.1. Pendekatan dasar



Untuk pendekatan dasar, kami mengambil satu pendekatan pembelajaran mesin dasar dan satu pendekatan jaringan saraf modern. Dalam kedua kasus tersebut, kami melakukan beberapa persiapan awal: kami mengganti URL dan nama panggilan dengan kata kunci, menghapus tanda baca, dan mengganti huruf besar dengan huruf kecil.



Pertama, kami menerapkan model Multinomial Naive Bayes (MNB), yang bekerja dengan baik dalam masalah klasifikasi teks [16], [40]. Untuk membuat model tersebut, kami mengambil vektorisasi Bag-of-Words dan TF-IDF. Model kedua adalah jaringan saraf memori jangka pendek dua arah (Bidirectional Long Short-Term Memory (BiLSTM)). Untuk lapisan embedding, kami telah melatih embeddings Word2Vec ( dim= 300) [25] berdasarkan koleksi pesan Twitter berbahasa Rusia dari RuTweetCorp [37]. Dan di atas embeddings Word2Vec, kami menambahkan dua layer Bidirectional LSTM. Kemudian kami menambahkan lapisan terhubung sepenuhnya yang tersembunyi dan lapisan keluaran sigmoid. Untuk mengurangi overfitting, kami menambahkan lapisan regularisasi dengan noise Gaussian dan lapisan pengecualian (Pelepasan) ke jaringan neural. Kami menggunakan pengoptimal Adam dengan kecepatan pembelajaran awal 0,001 dan lintas entropi biner kategoris sebagai fungsi kerugian. Model dilatih dengan embeddings tetap selama 10 epoch. Kami mencoba membuka kunci embeddings di era yang berbeda sambil mengurangi kecepatan pembelajaran, tetapi hasilnya lebih buruk. Mungkin alasannya adalah ukuran set pelatihan [4].



4.2. Model BERT



Dua versi model BERT BASE multibahasa sekarang tersedia secara resmi , tetapi hanya versi Cased yang direkomendasikan secara resmi. BERT BASE mengambil urutan tidak lebih dari 512 token dan mengembalikan representasinya. Tokenisasi dilakukan menggunakan WordPiece [46] dengan normalisasi teks awal dan pemisahan tanda baca. Peneliti dari MIPT melatih BERT BASE Cased dan menerbitkan ruBERT - model untuk bahasa Rusia [22]. Kami menggunakan kedua model - BERT BASE multibahasaCased dan ruBERT, yang berisi 12 blok transformasi berurutan, memiliki ukuran tersembunyi 768, berisi 12 kepala perhatian-diri dan 110 juta parameter. Tahap fine tuning dilakukan dengan parameter yang direkomendasikan dari [43] dan repositori resmi : tiga periode pembelajaran, tahap pemanasan 10%, panjang urutan maksimum 128, ukuran paket 32, kecepatan pembelajaran 5e-5.



4.3. Model MUSE



USE Trans Multilingual mengambil urutan tidak lebih dari 100 token sebagai input , dan Multilingual USE CNN mengambil urutan tidak lebih dari 256 token. SentencePiece [20] tokenisasi digunakan untuk semua bahasa yang didukung. Kami menggunakan Multibahasa USE Trans terlatih , yang mendukung 16 bahasa, termasuk Rusia, berisi encoder-converter dengan 6 lapisan transformasi, 8 blok head perhatian, memiliki ukuran filter 2048, ukuran tersembunyi 512. Kami juga menggunakan Multilingual USE CNN terlatih yang mendukung 16 bahasa, termasuk Rusia, berisi encoder CNN dengan dua lapisan CNN, lebar filter (1, 2, 3, 5), memiliki ukuran filter. Untuk kedua model, kami menggunakan parameter yang direkomendasikan denganHalaman TensorFlow Hub : 100 waktu pembelajaran, 32 ukuran batch, kecepatan pembelajaran 3e-4.



5. Eksperimen



Kami membandingkan pendekatan baseline dan transfer pembelajaran:



  • Pengklasifikasi Multinomial Naive Bayes;
  • Jaringan Neural Bidirectional Long Short-Term Memory (BiLSTM);
  • versi multibahasa Representasi Bidirectional Encoder dari Transformers (M-BERT);
  • ruBERT;
  • dua versi Multilingual Universal Sentence Encoder (M-USE).


Kualitas klasifikasi model terlatih pada set pengujian (20%) ditunjukkan pada tabel. Semua model bahasa yang disetel melebihi tingkat dasar dalam akurasi, ingatan, dan pengukuran F 1 . ruBERT menunjukkan F 1 = 92,20%, ini adalah hasil terbaik.



Klasifikasi biner dari komentar beracun berbahasa Rusia:



Sistem P. R F 1
MNB 87,01 % 81,22 % 83,21 %
BiLSTM 86,56 % 86,65 % 86,59 %
M − BERTBASE − Toxic 91,19 % 91,10 % 91,15 %
ruBert − Toxic 91,91 % 92,51 % 92,20 %
M − USECNN − Toxic 89,69 % 90,14% 89,91 %
M − USETrans − Toxic 90,85 % 91,92 % 91,35 %


6.



Dalam artikel ini, kami telah menggunakan dua versi yang telah disesuaikan dari Multilingual Universal Sentence Encoder [48], Representasi Multilingual Bidirectional Encoder dari Transformers [13] dan ruBERT [22] untuk mengidentifikasi komentar beracun berbahasa Rusia. Tuned rubert Toxic menunjukkan F 1 = 92,20% merupakan hasil klasifikasi terbaik.



Model M-BERT dan M-USE yang dihasilkan tersedia di github.



Sumber sastra



Daftar
  1. Aken, B. van et al.: Challenges for toxic comment classification: An in-depth error analysis. In: Proceedings of the 2nd workshop on abusive language online (ALW2). pp. 33–42. Association for Computational Linguistics, Brussels, Belgium (2018).
  2. Andrusyak, B. et al.: Detection of abusive speech for mixed sociolects of russian and ukrainian languages. In: The 12th workshop on recent advances in slavonic natural languages processing, RASLAN 2018, karlova studanka, czech republic, december 7–9, 2018. pp. 77–84 (2018).
  3. Basile, V. et al.: SemEval-2019 task 5: Multilingual detection of hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 54–63. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  4. Baziotis, C. et al.: DataStories at SemEval-2017 task 4: Deep LSTM with attention for message-level and topic-based sentiment analysis. In: Proceedings of the 11th international workshop on semantic evaluation (SemEval-2017). pp. 747–754. Association for Computational Linguistics, Vancouver, Canada (2017).
  5. Belchikov, A.: Russian language toxic comments, https://www.kaggle.com/ blackmoon/russian-language-toxic-comments.
  6. Bessudnov, A., Shcherbak, A.: Ethnic discrimination in multi-ethnic societies: Evidence from russia. European Sociological Review. (2019).
  7. Biryukova, E. V. et al.: READER’S comment in on-line magazine as a genre of internet discourse (by the material of the german and russian languages). Philological Sciences. Issues of Theory and Practice. 12, 1, 79–82 (2018).
  8. Bodrunova, S. S. et al.: Who’s bad? Attitudes toward resettlers from the post-soviet south versus other nations in the russian blogosphere. International Journal of Communication. 11, 23 (2017).
  9. Cer, D. M. et al.: Universal sentence encoder. ArXiv. abs/1803.11175, (2018).
  10. Chernyak, E. et al.: Char-rnn for word stress detection in east slavic languages. CoRR. abs/1906.04082, (2019).
  11. Cohen, J.: A coefficient of agreement for nominal scales. Educational and psychological measurement. 20, 1, 37–46 (1960).
  12. Dawid, A. P., Skene, A. M.: Maximum likelihood estimation of observer errorrates using the em algorithm. Journal of the Royal Statistical Society: Series C (Applied Statistics). 28, 1, 20–28 (1979).
  13. Devlin, J. et al.: BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 4171–4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).
  14. d’Sa, A. G. et al.: BERT and fastText embeddings for automatic detection of toxic speech. In: SIIE 2020-information systems and economic intelligence. (2020).
  15. Founta, A. M. et al.: A unified deep learning architecture for abuse detection. In: Proceedings of the 10th acm conference on web science. pp. 105–114. Association for Computing Machinery, New York, NY, USA (2019).
  16. Frank, E., Bouckaert, R.: Naive bayes for text classification with unbalanced classes. In: Fürnkranz, J. et al. (eds.) Knowledge discovery in databases: PKDD 2006. pp. 503–510. Springer Berlin Heidelberg, Berlin, Heidelberg (2006).
  17. Gordeev, D.: Detecting state of aggression in sentences using cnn. In: International conference on speech and computer. pp. 240–245. Springer (2016).
  18. Indurthi, V. et al.: FERMI at SemEval-2019 task 5: Using sentence embeddings to identify hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 70–74. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  19. Koltsova, O. et al.: FINDING and analyzing judgements on ethnicity in the russian-language social media. AoIR Selected Papers of Internet Research. (2017).
  20. Kudo, T., Richardson, J.: SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In: Proceedings of the 2018 conference on empirical methods in natural language processing: System demonstrations. pp. 66–71. Association for Computational Linguistics, Brussels, Belgium (2018).
  21. Kumar, R. et al. eds: Proceedings of the first workshop on trolling, aggression and cyberbullying (TRAC-2018). Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018).
  22. Kuratov, Y., Arkhipov, M.: Adaptation of deep bidirectional multilingual transformers for Russian language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 333–340. RSUH, Moscow, Russia (2019).
  23. Lenhart, A. et al.: Online harassment, digital abuse, and cyberstalking in america. Data; Society Research Institute (2016).
  24. Liu, P. et al.: NULI at SemEval-2019 task 6: Transfer learning for offensive language detection using bidirectional transformers. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 87–91. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  25. Mikolov, T. et al.: Distributed representations of words and phrases and their compositionality. In: Proceedings of the 26th international conference on neural information processing systems—volume 2. pp. 3111–3119. Curran Associates Inc., Red Hook, NY, USA (2013).
  26. Mishra, P. et al.: Abusive language detection with graph convolutional networks. In: Proceedings of the 2019 conference of the north american chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 2145–2150 (2019).
  27. Mishra, S., Mishra, S.: 3Idiots at HASOC 2019: Fine-tuning transformer neural networks for hate speech identification in indo-european languages. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 208–213 (2019).
  28. Nikolov, A., Radivchev, V.: Nikolov-radivchev at SemEval-2019 task 6: Offensive tweet classification with BERT and ensembles. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 691–695. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  29. Panchenko, A. et al.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 547–564. RSUH, Moscow, Russia (2018).
  30. Paraschiv, A., Cercel, D.-C.: UPB at germeval-2019 task 2: BERT-based offensive language classification of german tweets. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 396–402 (2019).
  31. Peters, M. et al.: Deep contextualized word representations. In: Proceedings of the 2018 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long papers). pp. 2227–2237. Association for Computational Linguistics, New Orleans, Louisiana (2018).
  32. Ponomareva, M. et al.: Automated word stress detection in Russian. In: Proceedings of the first workshop on subword and character level models in NLP. pp. 31–35. Association for Computational Linguistics, Copenhagen, Denmark (2017).
  33. Potapova, R., Komalova, L.: Lexico-semantical indices of «deprivation–aggression» modality correlation in social network discourse. In: International conference on speech and computer. pp. 493–502. Springer (2017).
  34. Prabowo, F. A. et al.: Hierarchical multi-label classification to identify hate speech and abusive language on indonesian twitter. In: 2019 6th international conference on information technology, computer and electrical engineering (icitacee). pp. 1–5 (2019).
  35. Risch, J., Krestel, R.: Toxic comment detection in online discussions. In: Deep learning-based approaches for sentiment analysis. pp. 85–109. Springer (2020).
  36. Risch, J. et al.: HpiDEDIS at germeval 2019: Offensive language identification using a german bert model. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 403–408 (2019).
  37. Rubtsova, Y.: A method for development and analysis of short text corpus for the review classification task. Proceedings of conferences Digital Libraries: Advanced Methods and Technologies, Digital Collections (RCDL’2013). Pp. 269–275 (2013).
  38. Ruiter, D. et al.: LSV-uds at HASOC 2019: The problem of defining hate. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 263–270 (2019).
  39. Sambasivan, N. et al.: «They don’t leave us alone anywhere we go»: Gender and digital abuse in south asia. In: Proceedings of the 2019 chi conference on human factors in computing systems. Association for Computing Machinery, New York, NY, USA (2019).
  40. Sang-Bum Kim et al.: Some effective techniques for naive bayes text classification. IEEE Transactions on Knowledge and Data Engineering. 18, 11, 1457–1466 (2006).
  41. Shkapenko, T., Vertelova, I.: Hate speech markers in internet comments to translated articles from polish media. Political Linguistics. 70, 4, Pages 104–111 (2018).
  42. Strus, J. M. et al.: Overview of germeval task 2, 2019 shared task on the identification of offensive language. Presented at the (2019).
  43. Sun, C. et al.: How to fine-tune bert for text classification? In: Sun, M. et al. (eds.) Chinese computational linguistics. pp. 194–206. Springer International Publishing, Cham (2019).
  44. Ustalov, D., Igushkin, S.: Sense inventory alignment using lexical substitutions and crowdsourcing. In: 2016 international fruct conference on intelligence, social media and web (ismw fruct). (2016).
  45. Vaswani, A. et al.: Attention is all you need. In: Proceedings of the 31st international conference on neural information processing systems. pp. 6000–6010. Curran Associates Inc., Red Hook, NY, USA (2017).
  46. Wu, Y. et al.: Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144. (2016).
  47. Yang, F. et al.: Exploring deep multimodal fusion of text and photo for hate speech classification. In: Proceedings of the third workshop on abusive language online. pp. 11–18. Association for Computational Linguistics, Florence, Italy (2019).
  48. Yang, Y. et al.: Multilingual universal sentence encoder for semantic retrieval. CoRR. abs/1907.04307, (2019).
  49. Yang, Z. et al.: Hierarchical attention networks for document classification. In: Proceedings of the 2016 conference of the north American chapter of the association for computational linguistics: Human language technologies. pp. 1480–1489. pp. Association for Computational Linguistics, San Diego, California (2016).


More articles:


All Articles