- perangkat sekumpulan log, yang memungkinkan kita memahami apa yang terjadi dengan pembayaran dan transaksi (serta dengan komponen dan layanan secara umum);
- pekerjaan insinyur data dalam pembelajaran mesin;
- implementasi dan transformasi CI / CD.
Kami berbagi pengalaman berharga agar Anda tidak melakukan kesalahan kami. Semoga bermanfaat!
Rake kami adalah kunci kesuksesan Anda
Maxim Ogryzkov, Administrator Sistem Senior
Pembicaraan ini akan membahas tentang pemrosesan log dari beberapa pusat data dengan akses melalui satu antarmuka. Mari kita bahas alasan dan konsekuensi dari peningkatan klaster. Saya akan memberi tahu Anda tentang pengangkutan pengiriman log dari sistem dan lingkungan yang berbeda, dan di mana hubungan Apache Kafka dengannya. Dan juga mengapa kami tidak menggunakan logstash dan cara "melampirkan" cluster dengan satu permintaan di Kibana.
1:17 Apa pembicaraannya tentang: sekelompok log
1:43 Bagaimana log masuk ke cluster?
3:50 Mengapa kami memilih Apache Kafka
5:02 Rsyslog: keuntungan menggunakan
9:00 Di mana menyimpan log dari DC yang berbeda?
12:08Bagaimana jika jumlah datanya terlalu besar?
14:00 Pembaruan cluster.
20:30 Rake dan solusi kami
22:35 Translog
24:25 Permintaan massal
26:28 Opendistro-perfomance-analyzer
28:28 Index Shrink
29:49 Librdkafka
31:37 Ringkasan: seperti apa cluster kami sekarang
Insinyur Data dalam Pembelajaran Mesin
Evgeny Vinogradov, Kepala Departemen Pengembangan Gudang Data
Sebuah cerita tentang bagaimana pekerjaan industri pada eksperimen di ML terlihat - masalah mana yang diselesaikan di tingkat model, dan mana yang hanya di tingkat data, dan bagaimana menyediakan proses pembelajaran yang terkontrol.
1:40 Tentang pembicara
2:41 Siapa yang terlibat dalam proyek DS?
8:30 Apa itu proyek Ilmu Data?
14:15 Prosedur dalam proyek DS
15:42 Proses pengumpulan dataset
20:26 Bagaimana semuanya
bekerja di Apache Kafka 29:10 Apa yang terjadi setelah mengumpulkan
dataset 29:21Bagaimana cara memilih model?
30:40 Contoh masalah yang dapat dipecahkan oleh seorang data engineer
34:38 Teknologi apa saja yang dapat dikerjakan oleh semua ini?
35:03 Kesimpulan laporan
CI / CD untuk insinyur data: perjalanan pulang pergi
Anton Spirin, Pengembang Senior BI
Laporan tentang penerapan prinsip CI / CD dalam pengembangan BI, tujuan, transformasinya dan mengatasi kesulitan.
2:00 Pertanyaan tentang pembicara
2:44 Deskripsi masalah
4:28 Siapakah insinyur data?
5:43 CI / CD - apa pekerjaan seorang insinyur?
6:55 Lebih lanjut tentang tumpukan dan sistem informasi
8:00 Titik awal: tempat kami memulai
10:34 Perubahan tahap pertama
15:50 Semuanya tampak baik-baik saja, tapi ... peningkatan tahap kedua
19:01 Hampir demo: JenkinsFile, Pipelines
20:44 Apa yang kami dapatkan di pintu keluar?
22:43 Berapa lama waktu yang dibutuhkan? Statistik rilis
23:37 Tantangan kami dan apa yang bisa dilakukan secara berbeda. Rencana masa depan
Semua laporan dari konferensi TI besar YuMoneyDay . Materi tentang PM, pengujian, dan pengembangan seluler sedang dalam proses.