Bagaimana pengembang backend tahu bahwa kueri SQL akan bekerja dengan baik dalam produksi? Di perusahaan besar atau berkembang pesat, tidak semua orang memiliki akses ke "produk". Dan dengan akses, tidak semua permintaan dapat diperiksa dengan mudah, dan membuat salinan database seringkali membutuhkan waktu berjam-jam. Untuk mengatasi masalah ini, kami membuat DBA buatan - Joe. Ini telah berhasil diterapkan di beberapa perusahaan dan telah membantu lebih dari selusin pengembang.
Video:
Halo! Nama saya Anatoly Stansler. Saya bekerja untuk perusahaan Postgres.ai . Kami berkomitmen untuk mempercepat proses pengembangan dengan menghilangkan penundaan Postgres dari pengembang, DBA, dan QA.
Kami memiliki klien yang hebat dan hari ini bagian dari laporan akan dikhususkan untuk kasus-kasus yang kami temui saat bekerja dengan mereka. Saya akan memberi tahu Anda bagaimana kami membantu mereka memecahkan beberapa masalah yang cukup serius.
, : « ?». review, , DBA-. – .
, , , . , . , , .
- prod - ? . , ? . , .
– prod. , , , - . prod, .
, . , .
?
staging - prod. prod, . , , staging.
- , . . prod.
?
- , staging . , - , – , . Staging . , . . , .
- , , , . . .
, , , - , , . - , , .
, , , - production.
, ? , , .
, ? , .
, , production, , .
, , , , , , . . .
, – . , cloud. 200 . , , . .
, prod .
? , .
.
, , . , 10 , 10 . , , . .
:
– 4,5 .
30 .
, . . , .
. .
OpenZFS.
OpenZFS – copy-on-write , . . . .
:
LVM,
(, Pure Storage).
Database Lab, , . . OpenZFS, LVM .
? , , , , , , .
, - , : «, , - ».
. , .
. , , , , .
, :
– , . production. , , . WAL-E, WAL-G Barman. , - Cloud-, , RDS Cloud SQL, . - , , , production, , .
– , Database Lab. Cloud, On-premise. , ZFS . .
, , , - dev. dev . , 4,5 , ZFS 3,5 . . dev .
.
, DBA , .
QA- , prod. environment QA , . , , , , - , .
. , , .
:
«», .
, .
, . . , .
. prod. .
. .
- , .
, ?
.
, , , . .
, . , ? .
? , , Slack-. .
? . . . . . , - , . .
Slack . , thread , , DBA, .
, , . , , , , .
, - .
, . . . .
production, .
Postgres . . Postgres, . . Shared Buffer Cache.
, Shared Buffer Cache Postgres , .
.
, , . - Shared Buffer Cache – 25 % , .
, , 4 instance, . . 4 . , , , .
, Buffer Cache , , . . , . , .
, prod , Postgres . , SeqScan. , ?
, Postgres Shared Buffer , effective_cache_size.
Effective_cache_size – , , . . Buffer Cache . . .
Postgres, , - , . , production.
. , , :
, prod.
.
, , , .
, , prod, , , , . , . . , , – ( ) , .
, Joe .
. – 1 . , 10 .
, . , 2,5 . , .
B Joe , .
, , . - , , .
, . , , . , 142 .
, , index scan , , ( ), .
- , .
, .
, , 2,5 156 , . 6 .
index only scan.
, - . Flame Graphs.
, . Flame Graphs : , , . . .
. , , .
, explain.depesz.com. , - , , .
, , explain.depesz.com, , .
– explain.dalibo.com. , . , , , -, .
, , Slack . , , , , thread Slack .
, . Update Database Lab, open source. Joe . . .
, - , Delphix, enterprise-. , . Postgres. open source. !
. !
! ! , , . . , .
, ? , . , 10 , , 10 . , . . , , ?
. . - , , , , fail-.
, . . . ? . ?
- ttl . , ttl.
, ?
1 , . . idle – 1 . , . , . , – .
, , , . ZFS? LVM? , c LVM . ? , , .
ZFS? , , . . instances . , . , . . LVM?
LVM meetup. – . ZFS . . . ZFS , Linux . . . . ZFS . , , . , , . . . . , . community, . ZFS – .
: ? , . , – . Pure Storage . .
, . – , , . . , .
ZFS . DelPhix, 300 . fortune 100 — 50 , . . NASA . . . open source Core. , open source. , . , . , . SELECT , . , DBA . . , . , . ZFS, . community , open source . .*
! ! . . . ? : , , - , - job . CPU , IO, ? .
. , ZFS , prod ZFS, ext4, . ?
. , . . , staging . , - , - . . prod. - , - – , , , - .
, , . , , , -, . , . , - .
. . , production , , ? - ? – - MySQL?
. , . Joe, , . ? Joe . , . , – . , .
MySQL. , state . Postgres, Postgres. . Postgres. , , . .
, MySQL. . , . .. MySQL . , ZFS.
! . , , , . , ?
, . , Postgres. ?
, , . , , , prod . - . prod, , prod , .
, , . , , .
?
, , , . . . , .
, , , , . , . . .
. cloud- , , Google, Amazon . .
. MySQL . , , , , . , , , , Postgres, , , instance.
. , . , , , . . , . 100 , . ? , , , , ?
, ZFS . , . , . , .
, , , , ?
, .
, , , ?
, .
. ?
, . - . . , . , . . data corruption . , , . . , .
, ! Joe . , . , Explain Analyze, .
. , : «SELECT FROM WHERE email = ». . . , - . . . , , , . - , .
! ! . Slack , - instances, ?
Sekarang ada link ke Slack, yaitu tidak ada messenger lain, tapi saya sangat ingin mendukung messenger lain juga. Apa yang bisa kau lakukan? Anda dapat menerapkan DB Lab tanpa Joe, berjalan menggunakan REST API atau menggunakan platform kami dan membuat klon dan terhubung dengan PSQL. Tetapi Anda dapat melakukan ini jika Anda siap memberi pengembang Anda akses ke data, karena tidak akan ada lagi layar.
Saya tidak membutuhkan lapisan ini, tetapi saya membutuhkan kesempatan seperti itu.
Lalu - ya, itu bisa dilakukan.