Membangun Infrastruktur Pelacakan Terdistribusi Netflix

Untuk calon siswa pada kursus "Arsitek Beban Tinggi" dan semua orang yang tertarik, kami menyiapkan terjemahan untuk artikel yang menarik.



Kami juga mengundang Anda untuk menyaksikan pelajaran terbuka
"Pola penskalaan horizontal penyimpanan".










Grup kami -  Kevin LewNarayanan ArunachalamElizabeth CarrettoDustin Haffner , Andrey Ushakov,  Seth KatzGreg BurrellRam Whiteheilling (Ram Vaithilingam)Mike Smith  dan  Maulik Pandey





«@Netflixhelps  " " ?» — Netflix Twitter





, , — , . . Edgar, . , , Edgar.





:

Edgar , Netflix,    , - . , () Netflix, (CDN) . , . , . .





, , , . , . Edgar — , .





Gambar 1. Memecahkan Masalah Kerusakan Sesi Edgar
1. Edgar

Edgar, , . , , Java- . 2017 , Open-Tracing Open-Zipkin, , , Netflix.





Open-Zipkin, Java Spring Boot.  Mantis  , Cassandra. : , . , , . .





: ?

, . , , . . , , , .





. - .   HTTP B3  Open-Zipkin. , , , Java Node, ( paved road). legacy-, , Spring Boot. « », (Python, NodeJS, Ruby on Rails .), paved road.  ,   .





, , . Edgar . , Edgar . , , .





: ?

, , , , . , , , . , , , .





, , , . , .





( ).   , 100 % , . , . , , . - . .





 





Mantis — Netflix. Mantis , , backpressure. Mantis   Mantis Publish. , . , . Mantis . Mantis  Raven    Mantis (MQL). , .





Elasticsearch: , . , . - Elasticsearch, . , Elasticsearch . - , .  Cassandra  : . Cassandra , .





Cassandra. , . ,    . , :





  1.  Elastic Block Store (EBS) EC2 SSD.





  2. , .





  3. , .





Cassandra, EC2 SSD. EBS Elastic SSD , AWS EBS EC2. , Cassandra . 2019 Cloud Database Engineering (CDE) EBS EBS Elastic.





Time Window Compaction Strategy (TWCS, « ») Cassandra SSTable, - EBS. , , SSTable , . , Zstd Cassandra . Cassandra 71 % 35 , .





, Edgar 1 % . , , , , . Mantis . , Edgar. , , , , , . 20 % . , .





, . Edgar 10 . . , , . , Cassandra Cassandra S3.  Cassandra, , , S3.





Tabel 1. Timeline pengoptimalan penyimpanan
1.

Edgar, .









,  Telltale  Netflix. Telltale -  Atlas. .









- , -    (FIT).









, ,     . , , AWS.





A-/B-





data science  A-/B-  , A/B.





?

Netflix . Edgar :





  • . , , .





  • , Netflix .





  • , , , .





, Edgar , « " " ?». , Netflix , « »!





, . ,   .






"Highload Architect".





" ".












All Articles