Kita semua ingin mengetahui apa yang sedang terjadi, jadi kita menghabiskan sebagian waktu kita untuk membaca berita, dan sekarang semakin banyak berita yang datang bukan dari situs berita atau surat kabar, tetapi dari beberapa jenis saluran telegram. Akibatnya, setelah beberapa waktu, ternyata Anda berlangganan ke selusin (dan mungkin lusinan saluran) yang terus-menerus menulis sesuatu - akibatnya, banyak waktu dihabiskan untuk "tidak melewatkan sesuatu". Tetapi jika Anda melihatnya, kebanyakan dari mereka menulis tentang satu hal, hanya berbeda. Maka muncullah ide untuk mengajari AI memilih berita yang benar-benar penting. Tentu saja, ada TOP yang berbeda, seperti Yandex.News atau semacamnya hasil hari ini dari beberapa outlet media terkemuka, tetapi ada nuansa di mana-mana. Dalam artikel ini saya akan mencoba menjelaskan nuansa ini dan apa yang kami lakukan dan apa yang tidak kami lakukan.
Nuansa dan sumber
, – , , , - – , " ". , ., , – , . – , .
:
-,
, , - (-, , )
– , , 100 . 10 . ( ) – . - . ,
100 , "" . , – , , - , GQ, .. - , , - .
, , , , , .. , - . , . – , ( )... - . , – , "" ( , , - ). , - , , .
:
" ", –
"", – .. ""
"" – .. - ,
, , :
( )
– NLP NER – ,
- ""
– 3 , : , ( ), – . , , - .
"" NLP
NLP, BERT, . . - . – , MVP :
. , NLP , – , .. - , . , , .
, BERT – , , , .
, MVP BERT , 20 – ( ), , BERT - , .. , . , , , – , ( ).
:
Spacy, , :
NLP , : NER, , ,
( BERT)
- , , Spacy.
, , : Natasha-spacy, , . , - , , .
, – , . – : . – , , . , NER PER, LOC, ORG , "" "" , .. .
- , , .. CONLLU, . :
-. - NER. . , . , - . – « », , . , ( CONLLU), CONLLU. , , .
"" "" – . , regexp-, .
, "" "". - :
, ,
, .. , "" "" , " "
– - , , , , 3- –
. , , .
, " ". Facebook( themeduza, forbesrussia) , , ria.ru. – - . ! - , , , . ~ .
, "" "" , , , , , .
, – . " " , - .
– , , . 4-5 , , , , - "".
4 GB RAM, 2 vCPUs 8% CPU, . , airflow, ( - airflow " " 16 GB RAM, 4 vCPUs 32%). , . , DAG-, – .
" X", . :
( , , , )
, – NER , "" , ( )
"source": {
"id": 1115468824,
"username": "lentadnya",
"title": " ",
"participants": 47148
},
"text": "«, , »: . , ",
"views": 405,
"link": "https://t.me/lentadnya/16263",
"interesting": 0.12,
"reaction": {
"enjoyment": 0.04400996118783951,
"sadness": 0.0019097710028290749,
"disgust": 0.8650462031364441,
"anger": 0.08112426102161407,
"fear": 0.00790974497795105
},
"entities": [
"",
" ",
"",
""
],
"tags": [
"",
" ",
"",
""
]
, .
№1: "" , , . , – 3-4 , . .. , .. , . – .
№2: NER – . , , . . - 100 (, ) NER . 85%. . , BERT "" , - , -.
№3: , , , , , . . - "" . , "", . , ( ), NER " ". , , , . "" , - " " – . "" . , "" , , . .
Nah, siapa pun yang telah membaca sampai saat ini, saya harap ini akan menarik, tetapi seperti apa tampilan teratas kami: https://t.me/mygenda .
Nah, seperti yang dikatakan blogger mode: berlangganan, bagikan komentar, dan ajukan pertanyaan. Saya harap ini menarik.