Dua ASIC Argos di bawah heatsink aluminium raksasa pada kartu PCI-E ukuran penuh.
Teknisi Google berbagi informasi tentang proyek Argos. Ini adalah jenis perangkat baru - perangkat keras pembuat enkode video atau unit pengkodean video (VCU), dalam semangat tren saat ini menuju chip khusus seperti GPU GPU dan Prosesor TPU Tensor.
Untuk informasi lebih lanjut tentang desain Argos, lihat makalah penelitian "Akselerasi video skala gudang: desain bersama dan penyebaran di alam liar" yang diterbitkan untuk konferensi ASPLOS 2021 pada bulan April 2021 (doi: 10.1145 / 3445814.3446723, pdf ).
VCU perangkat keras membantu Anda mentranskode video dengan cepat ke lebih dari sepuluh format yang didukung oleh YouTube untuk tampilan yang lancar dan penghematan bandwidth. Server YouTube berada di bawah tekanan yang sangat besar sehingga pengembangan chip YouTube berpemilik dengan cepat terbayar. Secara alami, perangkat tidak akan dijual secara luas, tetapi akan terus digunakan secara eksklusif di pusat data Google. Hanya berkat publikasi di konferensi ilmiah, publik mengetahui bahwa Google telah menggunakan perangkat unik ini selama lebih dari setahun.
Penulis artikel ilmiah menulis bahwa chip Argos meningkatkan efisiensi komputasi "hingga 20-33 kali lipat dibandingkan dengan sistem kami yang dioptimalkan sebelumnya yang menjalankan perangkat lunak pada server tradisional."
Paket VCU adalah kartu PCI-E ukuran penuh, sangat mirip dengan GPU. Dilihat dari foto prototipe (pada KDPV), kartu tersebut memiliki konektor daya 8-pin yang terpisah, karena daya dari motherboard melalui PCI-E tidak cukup untuk memberi daya pada VCU.
Sirkuit mikro VCU di bawah mikroskop, foto ukuran penuh
Pengaturan elemen pada sirkuit mikro VCU
Ada 10 "inti pengkodean" pada chip, dan dokumentasinya mengatakan bahwa "semua elemen lain terbuat dari blok IP siap pakai." Satu inti mengkodekan aliran 2160p secara real time, hingga 60 FPS.
Peta dirancang khusus untuk pusat data Google. Setiap cluster komputasi YouTube berisi bagian VCU yang terisolasi dengan kartu baru, sehingga tidak perlu menginstalnya di semua server. VCU dirancang khusus setelah akselerator GPU agar sesuai dengan konektor dan baki unit server yang ada.
Saat ini, "ribuan perangkat Argos VCU" sudah berjalan di pusat data Google. Berkat mereka, video 4K di YouTube "tersedia dalam beberapa jam, dan tidak dalam beberapa hari, seperti sebelumnya," kata salah satu pengembang sistem dalam komentar untuk CNET.
Tabel tersebut membandingkan kinerja dan biaya kepemilikan penyiapan server versus menjalankan algoritme pada chip Intel Skylake dan GPU Nvidia T4.
Perbandingan kinerja transcoder perangkat keras Intel Skylake, Nvidia T4 dan Argos VPU
Saat ini, YouTube menghasilkan sekitar sepertiga lalu lintas Internet di dunia. Saat layanan diluncurkan pada tahun 2005, mempertahankan dan menjalankannya dianggap sebagai tugas yang mustahil . Google benar-benar menyelamatkan startup yang merugi dengan membelinya pada tahun 2006 seharga $ 1,65 miliar , dan telah secara aktif mencoba mengurangi biaya pemeliharaan sejak saat itu. Untuk melakukan ini, Google harus memformat ulang struktur Internet dengan memasang server cache di ISP di seluruh dunia.
Saat ini, masalah infrastruktur utama YouTube adalah mengirimkan video kepada pengguna dengan kualitas setinggi mungkin untuk perangkat dan bandwidth mereka. Ini berarti pilihan beberapa codec dan ukuran bingkai, yang memerlukan transcoding waktu nyata. Misalnya, untuk satu perangkat tertentu, video 8K tersedia dalam sembilan resolusi: 144p, 240p, 360p, 480p, 720p, 1080p, 1440p, 2160p, dan asli 4320p (8K).
Beberapa dari mereka juga dikodekan dengan codec yang berbeda. Perusahaan ingin menawarkan video dalam kodek yang paling canggih dan efisien, tetapi tidak didukung atau diperlambat pada perangkat seluler lawas.
Bandingkan lama H.264 (kiri) dengan vp9 modern (kanan), bingkai H.264 , bingkai vp9
Perbandingan kualitas yang dirasakan dari aliran video H.264 dan VP9 menurut tes PSNR
Untuk perangkat modern, video VP9 efektif biasanya digunakan, dan untuk perangkat yang lebih lama, dukungan H.264 dipertahankan. Codec video lainnya belum diungkapkan, tetapi Google sedang membicarakan tentang dukungan untuk "ponsel clamshell beresolusi rendah". Artinya, dapat diasumsikan bahwa codec pra-H.264 seperti 3GP didukung untuk perangkat kuno.
Semua video dalam basis data YouTube harus terus-menerus dikodekan ulang saat codec baru yang lebih efisien tersedia. Ini bermanfaat bagi Google untuk melakukan ini untuk menghemat lalu lintas.
Sulit untuk memperkirakan jumlah total video di YouTube. Perusahaan hanya mempublikasikan angka pertumbuhan yang tidak jelas (seperti "500 jam video diupload setiap menit"). Kami mungkin berbicara tentang exabyte.
Transkode video hampir sepenuhnya dialihkan ke transkoder perangkat keras 12 bulan setelah penginstalannya.
Beban tambahan pada VCU diberlakukan oleh siaran YouTube Live, di mana transkode dilakukan ke semua format secara langsung dengan penundaan tidak lebih dari 100 md. Beban kerja tambahan berasal dari Google Drive dan Google Foto.
Codec sangat penting untuk kesuksesan YouTube sehingga sejak pembelian layanan tersebut, Google benar-benar memikul sebagian besar beban pengembangan codec baru. Pada tahun 2009, dia membeli On2 Technologies (codec VP6 mereka digunakan untuk video Flash di versi pertama YouTube), dan telah merilis versi baru terus menerus sejak saat itu. Setelah VP8 dan VP9, berikutnya adalah AV1, yang disematkan harapan besar.
Versi baru transcoder dengan dukungan perangkat keras untuk AV1 telah dikembangkan untuk AV1. Menurut CNET , chip generasi kedua sudah secara bertahap dimasukkan ke dalam server farm Google.
Lihat juga: