Namun, publikasi ini jarang menarik perhatian, tidak seperti, katakanlah, Fox News. Dan ada alasan bagus untuk itu! Fox News adalah teater absurditas dengan badut, dan mereka benar-benar pantas menerima semua kritik yang mereka dapatkan.
Tapi saya penasaran dengan New York Times. Mereka mewakili dunia di sekitar mereka dalam sudut pandang tertentu, dan penglihatan mereka (setidaknya di lingkaran saya), meskipun seseorang dapat setuju atau tidak setuju dengannya, dianggap sebagai sesuatu yang diterima secara default.
Saya ingin melihat lebih dekat visi ini. Oleh karena itu, selama beberapa minggu ke depan, saya akan menerbitkan serangkaian artikel di The New York Times, menganalisis data yang dikumpulkan dari halaman beranda situs mereka menggunakan web scraping, serta dari API resmi . Artikel pertama akan fokus hanya dan secara eksklusif pada pengujian A / B: bagaimana New York Times menguji berita utama artikel dan bagaimana berita itu berubah dari waktu ke waktu.
Pengujian A / B dan New York Times
Begini, ini tahun 2021, saya lebih suka terkejut jika ternyata New York Times tidak menguji berita utama dengan cara apa pun. Ya, mereka sendiri membicarakannya dalam teks biasa :
“Selain itu, Times mempraktikkan apa yang disebut pengujian A / B dari versi digital berita utama untuk konten di halaman beranda: selama sekitar setengah jam, satu judul ditampilkan kepada setengah dari pembaca, dan satu lagi, judul alternatif untuk yang lain setengah. Di akhir pengujian, The Times meninggalkan judul yang menarik sebagian besar pembaca. "
Tapi saya masih punya pertanyaan:
- Berapa banyak artikel yang melalui pengujian A / B?
- Berapa banyak judul yang diulang untuk masing-masing judul?
- Apakah ini masuk akal?
- Seberapa berbeda headline-nya?
Metodologi
Saya menulis skrip yang melakukan hal berikut:
- Mengikis halaman beranda situs web New York Times.
- Menarik semua header dari kumpulan data.
- Tautkan mereka ke metadata artikel yang disediakan di Times API resmi
- Mendorong semuanya ke dalam tabel
Skrip berjalan setiap lima menit. Saya memulai observasi saya pada 13 Februari, jadi di bawah ini adalah kesimpulan berdasarkan data yang dikumpulkan selama tiga minggu.
hasil
Sesuai sepenuhnya dengan pernyataannya, New York Times melakukan pengujian A / B terhadap berita utama artikel. Di suatu tempat di 29% materi memiliki beberapa judul. Jumlah maksimum judul yang dicatat untuk satu artikel saat ini adalah delapan .
Dalam banyak kasus, perubahan bermuara pada perbaikan kecil: sering terjadi di situs web New York Times bahwa tanda baca atau kesalahan ejaan dikoreksi setelah publikasi. Dan itu juga terjadi bahwa copywriter tampaknya tidak dapat memutuskan apakah akan menulis alasan dengan huruf kapital atau dengan yang kecil?
Dalam kasus lain, New York Times mengubah judulnya saat informasi baru tersedia. Inilah keseluruhan cerita mencekam yang terdiri dari serangkaian judul:
- SpaceX akan meluncurkan roket prototipe lain ke Mars dalam mode uji coba (10%)
- SpaceX telah menangguhkan pengujian roket prototipe untuk terbang ke Mars (1%)
- SpaceX akan melakukan upaya lain untuk meluncurkan roket prototipe ke Mars (13%)
- Roket prototipe SpaceX pergi ke Mars, mendarat dan meledak (14%)
- Roket prototipe dari SpaceX kali ini berhasil mendarat di Mars sebelum ledakan (24%)
- Roket prototipe SpaceX kali ini berhasil mendarat di Mars sebelum ledakan (10%)
- Roket prototipe SpaceX meledak setelah mendarat di Mars (27%)
Namun sebagian besar, perubahan judul jelas merupakan hasil pengujian A / B yang dilakukan untuk mengumpulkan lebih banyak klik. Misalnya, berikut adalah artikel tentang Biden dan kebijakan manajemennya - judulnya telah berubah secara radikal.
- Pidato yang tenang dan program berskala besar (7%)
- Biden menentang Trump, dan berhasil (93%)
Satu-satunya tujuan dari penggantian ini adalah untuk meningkatkan keterlibatan. Dan itu berhasil! Artikel ini menjadi populer hanya beberapa jam setelah tajuk utama diubah (dan ini menegaskan hipotesis saya bahwa kaum liberal suka membaca sesuatu tentang Trump).
Tetapi tidak semua pengujian A / B berhasil. Berikut adalah contoh pengujian A / B yang jelas-jelas gagal - Anda mungkin harus melelahkan mata untuk melihat titik biru kecil dengan latar belakang merah.
- Pernahkah Anda melihat berapa banyak orang Israel yang baru saja mengunjungi UEA? (seratus%)
- Josaphat gelisah! Pernahkah Anda melihat berapa banyak orang Israel yang baru saja mengunjungi UEA? (0%)
Saya harap kegagalan ini tidak menyurutkan editor aneh yang memikirkan Josaphat the Jumper. Apa yang sangat kurang dari New York Times adalah referensi ke kartun Bugs Bunny .
Namun secara umum, ada pola dalam perubahannya: seiring waktu, berita utama cenderung terdengar lebih dramatis. Ambil contoh, sebuah artikel tentang Cuomo dan skandal seputar kehidupan seksnya:
- Cuomo diserang karena rencananya untuk menyelidiki tuduhan pelecehan (6%)
- Terkepung oleh serangan, Cuomo mengubah rencana untuk menyelidiki tuduhan pelecehan (25%)
- Terkepung tuduhan pelecehan, Cuomo meminta maaf (69%)
Setelah penggantian pertama, ternyata Cuomo tidak hanya diserang, tetapi secara harfiah dikepung, dan setelah penggantian kedua, dia tiba-tiba beralih dari revisi sederhana rencana menjadi permintaan maaf. Selain itu, taktiknya berhasil: pada grafik, Anda dapat melihat bagaimana, saat judulnya disesuaikan, artikel tersebut naik semakin tinggi dalam peringkat pemirsa.
Dalam artikel tentang pidato Trump di konferensi Konservatif, semuanya ternyata lebih menghasut:
- Trump mengajukan banding kepada kaum konservatif dan berencana untuk memimpin partai Republik (3%)
- Trump mengungkapkan rencana untuk memimpin partai Republik di konferensi konservatif (7%)
- Trump menyatakan dirinya sebagai pemimpin Republik dalam pidatonya di konferensi konservatif (2%)
- Trump mengisyaratkan masa jabatan ketiga di konferensi Konservatif dan berjanji untuk mempersatukan Partai Republik (4%)
- Trump berjanji untuk mempersatukan Partai Republik, lalu menyalahkan mereka yang mendukung pemakzulan (6%)
- Trump mengungkapkan korban Partai Republik di konferensi konservatif, tembakan peringatan untuk seluruh partai (79%)
Semuanya dimulai dengan Trump berbicara kepada Konservatif dan menyatakan dirinya sebagai pemimpin Partai Republik, tetapi judul terakhir adalah daftar korban dan tembakan peringatan. Dan - siapa sangka - karena semua kesedihan ini, artikel tersebut lepas landas dan jatuh ke dalam jumlah "paling banyak dibaca".
Nah, contoh terakhir adalah artikel sensasional berdasarkan wawancara yang diberikan Meghan Markle kepada Oprah:
- , – , (3%)
- , – , (1%)
- , (80%)
- « »: , (16%)
Saya bahkan tidak terlalu malas untuk menonton wawancara dua jam ini dan saya dapat memberi tahu Anda bahwa dua judul pertama mencerminkan isinya berkali-kali lebih baik. Ya, Meghan mengaku memiliki pikiran untuk bunuh diri, tetapi ini adalah selingan lima menit dalam sebuah wawancara yang mengatakan banyak hal lain. Misalnya, tidak ada judul yang menyebutkan dampak rasisme pada kondisi mental Meghan - dan topik ini telah diberikan lebih banyak waktu daripada pemikiran untuk bunuh diri.
Apakah ada pengaruhnya?
Artikel yang saya bahas di atas telah mengumpulkan banyak perhatian tambahan berkat pengujian A / B. Tapi bagaimana dengan bahan lainnya?
Saya membuat beberapa perhitungan dan menemukan bahwa untuk artikel yang melalui prosedur pengujian, kemungkinan menjadi "panas" meningkat sebesar 80%. Selain itu, tidak mengherankan, jumlah total tajuk berita yang diuji berkorelasi dengan peningkatan keterlibatan .
Penafian: Ada korelasi antara jumlah tajuk utama dan keterlibatan, tetapi sulit untuk menentukan mana di antara penyebab dan akibatnya. Menurut pendapat saya, logis untuk mengasumsikan bahwa semakin banyak variasi judul yang diuji, semakin besar kemungkinan orang akan membaca, menyukai, atau berbagi di media sosial. Di sisi lain, ada kemungkinan New York Times menghabiskan lebih banyak waktu untuk memoles artikel yang telah menarik minat publik. Meskipun, dalam kerangka observasi pribadi, saya harus mengatakan bahwa banyak artikel yang saya lihat melewati serangkaian tajuk utama bahkan sebelum mereka memimpin.
Jadi apa yang telah saya pelajari?
The New York Times melakukan pengujian judul A / B untuk meningkatkan keterlibatan pembaca
.
Secara keseluruhan, pengujian tidak diterapkan secara luas.
Sebenarnya, saya sedikit terkejut bahwa pengujian mencakup sejumlah kecil heading. Untuk sebagian besar artikel, pengujian tidak diterapkan sama sekali, dan jika diterapkan, biasanya hanya dua judul yang digunakan.
Saya berasumsi secara samar bahwa editor New York Times meminta karyawan untuk mengirimkan semua artikel dengan, yah, di sana, enam judul, dan beberapa sistem otomatis akan menjalankan keenam artikel ini dalam satu jam pertama. Tapi ini jelas bukan masalahnya, meskipun data menunjukkan bahwa pengujian A / B yang lebih agresif akan menghasilkan lebih banyak keterlibatan.
Satu penjelasan yang mungkin: 62% keuntungan New York Times berasal dari langganan dan hanya 27% dari iklan (dan angka ini menurun setiap tahun). Ini berarti penayangan tidak sepenting langganan - dan jika ada satu clickbait terus menerus di beranda, ini dapat menakuti calon pelanggan.
Namun, hasilnya adalah berita utama yang menyentuh emosi.
The New York Times, tentu saja, tidak tunduk pada tingkat BuzzFeed, tetapi, bagaimanapun, harus diingat bahwa pandangan mereka tentang berbagai hal juga tidak dapat disebut netral. Seperti yang ditunjukkan contoh di atas, setelah pengujian A / B, judul memberikan warna yang lebih dramatis pada peristiwa daripada yang sebenarnya. Mereka yang terus-menerus membaca sumber ini mungkin mendapat kesan bahwa dunia ini lebih menakutkan dan lebih tidak terduga daripada yang sebenarnya.
Lebih lanjut
Pada artikel selanjutnya saya akan menjelajahi halaman muka website New York Times, yaitu:
- Berapa lama artikel tergantung di sana
- Manakah dari artikel yang tertunda di sana, dan mana yang pergi dengan cepat
- Jenis konten apa yang paling sering muncul di beranda dan mana yang paling tidak mungkin
- Bagaimana waktu yang dihabiskan di beranda berhubungan dengan keterlibatan secara keseluruhan
- Dan hal menarik lainnya.
Data
Jika instans EC2 gratis saya masih hidup, Anda dapat melacak sendiri data header secara real time. Ingatlah dua hal: data disajikan mulai dari 13 Februari 2021 dan tiba dengan sedikit kelambatan, karena cache diperbarui setiap tiga puluh menit.