Data lebih dari satu juta izin bangunan (catatan dalam dua dataset) dari Departemen Konstruksi San Francisco memungkinkan kita untuk menganalisis tidak hanya aktivitas konstruksi di kota , tetapi juga secara kritis memeriksa tren dan sejarah industri konstruksi terbaru selama 40 tahun terakhir , dari 1980 hingga 2019.
Data terbuka memberikan peluang untuk mengeksplorasi faktor-faktor utama yang mempengaruhi dan akan mempengaruhi perkembangan industri konstruksi di kota, membaginya menjadi "eksternal" (booming ekonomi dan krisis) dan "internal" (dampak liburan dan siklus musiman-tahunan).
Kandungan
Membuka data dan ikhtisar baseline
kegiatan konstruksi tahunan di San Francisco
Harapan dan kenyataan ketika menyusun perkiraan biaya
Kegiatan konstruksi tergantung pada musim tahun ini
Total investasi dalam real estat San Francisco
Di mana area telah diinvestasikan dalam 40 tahun terakhir
Rata-rata perkiraan biaya aplikasi oleh kota kabupaten
Statistik Total Permintaan berdasarkan Bulan dan Hari
Masa Depan Industri Konstruksi San Francisco
Buka data dan ikhtisar parameter asli.
Ini bukan terjemahan artikel. Saya menulis di LinkedIn dan agar tidak membuat bagan dalam beberapa bahasa - semua bagan dalam bahasa Inggris. Tautan ke Notebook Jupyter dengan data dan grafik (bagi mereka yang terdaftar di Kaggle - silakan masukkan plus Notebook - Terima kasih).
Tautan ke versi bahasa Inggris: Pasang surut Industri Konstruksi San Francisco. Tren dan Sejarah Konstruksi.
Data izin bangunan untuk kota San Francisco - diambil dari portal data terbuka - data.sfgov.org . Portal ini memiliki beberapa dataset tentang topik konstruksi. Dua dataset tersebut menyimpan dan memperbarui data tentang izin yang dikeluarkan untuk pembangunan atau perbaikan fasilitas di kota:
- Izin membangun untuk periode 1980-2013 (850 ribu entri)
- Izin membangun setelah 2013 (280.000 catatan, data diunduh, dan diperbarui setiap minggu)
Kumpulan data ini berisi informasi tentang izin bangunan yang dikeluarkan, dengan berbagai karakteristik objek yang mengeluarkan izin tersebut. Jumlah total entri (izin) yang diterima pada periode 1980-2019 adalah 1.137.695 izin .
Parameter utama dari dataset ini yang digunakan untuk analisis:
- permit_creation_date - tanggal pembuatan aplikasi (pada kenyataannya, hari dimulainya pekerjaan konstruksi)
- desctription - deskripsi aplikasi (dua atau tiga kata kunci yang menggambarkan objek konstruksi (pekerjaan) yang izinnya dibuat)
- estim_cost - estimasi (estimasi) biaya pekerjaan konstruksi
- revisi_cost - biaya revisi (biaya pekerjaan setelah revaluasi, kenaikan atau penurunan volume awal aplikasi)
- existing_use - jenis perumahan (rumah satu, dua keluarga, apartemen, kantor, produksi, dll.)
- kode pos, lokasi - kode pos dan koordinat objek
Kegiatan Konstruksi Tahunan di San Francisco
Dalam grafik di bawah ini, taksiran biaya dan revisi biaya disajikan sebagai distribusi total biaya pekerjaan per bulan.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Untuk mengurangi “emisi” bulanan, data bulanan dikelompokkan berdasarkan tahun. Grafik jumlah uang yang diinvestasikan selama bertahun-tahun telah menerima bentuk yang lebih logis, dan dapat diterima untuk analisis.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Dengan pergerakan tahunan jumlah biaya (semua izin untuk tahun ini) di fasilitas perkotaan , faktor ekonomi terlihat jelas bahwa dari 1980 hingga 2019 memengaruhi jumlah dan biaya proyek konstruksi, atau dengan cara lain pada investasi real estat San Francisco.
Jumlah izin bangunan (jumlah pekerjaan konstruksi atau jumlah investasi) selama 40 tahun terakhir telah terkait erat dengan kegiatan ekonomi di Lembah Silikon.
Puncak pertama kegiatan konstruksi dikaitkan dengan hype elektronik pertengahan 80-an di lembah. Penurunan berikutnya dalam elektronik dan perbankan pada tahun 1985 menyebabkan pasar real estat regional menurun, yang tidak pulih selama hampir sepuluh tahun.
Setelah itu, dua kali lagi (pada 1993-2000 dan 2009-2016), sebelum gelembung Dotcom runtuh dan ledakan teknologi beberapa tahun terakhir, industri konstruksi San Francisco mengalami pertumbuhan parabola beberapa ribu persen .
Dengan menghilangkan puncak dan penurunan menengah dan meninggalkan nilai minimum dan maksimum pada setiap siklus ekonomi, kita dapat melihat seberapa besar fluktuasi pasar yang melanda industri selama 40 tahun terakhir.
Peningkatan terbesar dalam investasi di bidang konstruksi terjadi selama booming dot-com, ketika dari 1993 hingga 2001, $ 10 miliar diinvestasikan dalam perbaikan dan konstruksi, atau sekitar $ 1 miliar per tahun. Jika Anda menghitung dalam meter persegi (biaya 1m² pada tahun 1995 - $ 3.000) - ini adalah sekitar 350.000 m2 per tahun selama 10 tahun, mulai dari tahun 1993.
Pertumbuhan total investasi tahunan selama periode ini adalah 1215%.
Perusahaan-perusahaan yang menyewakan peralatan konstruksi selama periode ini mirip dengan perusahaan yang menjual sekop selama demam emas (di wilayah yang sama pada pertengahan abad ke-19). Hanya alih-alih sekop - pada tahun 2000-an, sudah ada crane dan pompa beton, untuk perusahaan konstruksi yang baru dibentuk yang ingin menghasilkan uang dari boom konstruksi.
Setelah masing-masing dari banyak krisis yang dialami industri konstruksi selama bertahun-tahun, selama dua tahun setelah krisis, investasi (jumlah permohonan izin) dalam konstruksi setiap kali turun setidaknya 50% .
Krisis terbesar di industri konstruksi San Francisco terjadi pada tahun 90-an. Di mana, dengan frekuensi 5 tahun, industri tersebut turun (-85% antara 1983-1986), kemudian naik lagi (+ 895% antara 1988-1992), tersisa secara tahunan pada 1981, 1986, 1988, 1993 - pada level yang sama.
Setelah tahun 1993, semua resesi berikutnya dalam industri konstruksi tidak lebih dari 50%. Tetapi krisis ekonomi yang mendekat (karena COVID-19) dapat menciptakan rekor krisis di industri konstruksi pada periode 2017-2021, yang jatuhnya untuk periode 2017-2019 lebih dari 60% secara total.
Pertumbuhan penduduk San Francisco selama periode 1980-1993 juga menunjukkan pertumbuhan yang hampir eksponensial... Kekuatan ekonomi dan energi inovatif Lembah Silikon adalah fondasi kokoh di mana hiperbola Ekonomi Baru, Renaisans Amerika, dan dot-com dibangun. Itu adalah pusat ekonomi baru. Tetapi berbeda dengan pertumbuhan investasi real estat, setelah puncak dotcom, populasi benar-benar mencapai dataran tinggi.
Jika sebelum puncak dotcom pada tahun 2001, sejak 1950 pertumbuhan populasi tahunan telah sekitar 1% per tahun. Kemudian, setelah runtuhnya gelembung, masuknya populasi baru telah melambat dan sejak tahun 2001 hanya 0,2 persen per tahun.
Pada 2019 (untuk pertama kalinya sejak 1950), dinamika pertumbuhan menunjukkan arus keluar populasi (-0,21% atau 7.000 orang) dari kota San Francisco.
Ekspektasi dan kenyataan dalam estimasi biaya
Dalam dataset yang digunakan, data tentang biaya mengizinkan objek bangunan dibagi menjadi:
- awal perkiraan biaya ( estimated_cost )
- biaya pekerjaan setelah revaluasi ( direvisi_cost )
Selama masa boom, tujuan utama revaluasi adalah untuk meningkatkan nilai awal, ketika investor (pemilik bangunan) memiliki selera setelah dimulainya konstruksi.
Selama krisis, mereka berusaha untuk tidak melampaui perkiraan biaya, dan perkiraan awal praktis tidak mengalami perubahan apa pun (kecuali untuk gempa bumi 1989).
Dari grafik yang diplotkan pada selisih antara biaya revaluasi dan taksiran (direvisi_kost - taksiran), Anda dapat mengamati bahwa:
Jumlah kenaikan biaya selama revaluasi volume pekerjaan konstruksi - secara langsung tergantung pada siklus boom ekonomi
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Selama periode pertumbuhan ekonomi yang cepat, pelanggan kerja (investor) membelanjakan uang mereka dengan cukup murah hati, meningkatkan permintaan mereka setelah mulai bekerja.
Klien (investor), merasa aman secara finansial, meminta kontraktor atau arsitek bangunan untuk memperpanjang izin bangunan yang sudah dikeluarkan. Ini mungkin merupakan keputusan untuk menambah panjang awal kolam atau menambah luas rumah (setelah mulai bekerja dan penerbitan izin bangunan).
Di puncak dot-com, biaya "tambahan" seperti itu mencapai "ekstra" 1 miliar per tahun.
Jika Anda melihat tabel ini sudah dalam persentase perubahan, maka puncak kenaikan estimasi (100% atau 2 kali dari perkiraan biaya awal) jatuh pada tahun sebelum gempa bumi yang terjadi pada tahun 1989 di dekat kota. Saya mengira bahwa setelah gempa bumi, proyek konstruksi yang dimulai pada tahun 1988 membutuhkan lebih banyak waktu dan uang untuk implementasi setelah gempa bumi pada tahun 1989.
Sebaliknya, revisi ke bawah dari perkiraan biaya (yang terjadi hanya sekali dari 1980 hingga 2019) beberapa tahun sebelum gempa bumi, mungkin disebabkan oleh kenyataan bahwa beberapa objek yang dimulai pada 1986-1987 dibekukan atau investasi dalam objek-objek ini dipotong kembali. Sesuai jadwalrata-rata, untuk setiap objek dimulai pada tahun 1987, pengurangan estimasi biaya adalah -20% dari rencana semula .
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Peningkatan perkiraan biaya awal lebih dari 40% diindikasikan atau mungkin merupakan akibat dari gelembung yang akan datang di pasar keuangan dan, selanjutnya, konstruksi.
Apa alasan penurunan spread (perbedaan) antara estimasi dan nilai revisi setelah 2007?
Mungkin investor mulai hati-hati melihat angka-angka (jumlah rata-rata lebih dari 20 tahun meningkat dari $ 100 ribu menjadi $ 2 juta), atau mungkin departemen konstruksi, memperingatkan dan memperlambat gelembung yang muncul di pasar real estat, memperkenalkan aturan dan batasan baru untuk mengurangi kemungkinan manipulasi. dan kemungkinan risiko yang akan muncul selama tahun-tahun krisis.
Kegiatan konstruksi tergantung pada musim tahun ini
Dengan mengelompokkan data berdasarkan minggu kalender dalam setahun (54 minggu), Anda dapat mengamati aktivitas pembangunan kota San Francisco tergantung pada musim dan waktu dalam setahun.
Menjelang Natal, semua organisasi konstruksi berusaha untuk mendapatkan izin untuk objek "besar" baru (pada saat yang sama! Jumlah! Izin di bulan yang sama berada di level yang sama sepanjang tahun). Investor, berencana untuk menerima objek mereka selama tahun berikutnya, menyimpulkan kontrak di bulan-bulan musim dingin, mengandalkan diskon besar (karena kontrak musim panas, sebagian besar, berakhir pada akhir tahun dan perusahaan konstruksi tertarik untuk menerima aplikasi baru).
Sebelum Natal, jumlah terbesar diajukan dalam aplikasi (peningkatan dari rata-rata 1-1,5 miliar per bulan. Menjadi 5 miliar pada Desember saja).Pada saat yang sama, jumlah total aplikasi per bulan tetap pada level yang sama (lihat bagian di bawah ini: statistik jumlah total aplikasi berdasarkan bulan dan hari)
Setelah liburan musim dingin, industri konstruksi secara aktif (hampir tanpa peningkatan jumlah izin) merencanakan dan mengimplementasikan pesanan "Natal" sehingga pada pertengahan tahun (sebelum liburan "Hari Kemerdekaan") - untuk memiliki waktu untuk membebaskan sumber daya sebelum gelombang baru kontrak musim panas, yang dimulai segera setelah liburan Juni.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Data persentase yang sama (garis oranye) juga menunjukkan bahwa industri ini bekerja “dengan lancar” sepanjang tahun, tetapi sebelum dan sesudah liburan, aktivitas perizinan meningkat menjadi 150% dalam periode antara minggu 20-24 (sebelum Hari Kemerdekaan), dan menurun segera setelah liburan hingga -70%.
Sebelum Halloween dan Natal, aktivitas di industri konstruksi di San Francisco selama minggu 43-44 meningkat 150% (dari bawah ke puncak) dan kemudian menurun ke nol selama liburan.
Dengan demikian, industri ini dalam siklus enam bulan, yang dibagi dengan liburan "Hari Kemerdekaan Amerika Serikat" (minggu 20) dan "Natal" (minggu 52).
Total Investasi Real Estat San Francisco
Berdasarkan data izin bangunan di kota:
Total investasi dalam proyek konstruksi di San Francisco dari tahun 1980 hingga 2019 adalah $ 91,5 miliar.
sf_worth = data_location_lang_long.cost.sum()
Nilai pasar total dari semua properti residensial di San Francisco, dinilai dengan pajak properti (yang merupakan nilai yang dinilai dari semua real estat dan semua properti pribadi yang dimiliki oleh San Francisco) mencapai $ 208 miliar pada tahun 2016 .
Di mana wilayah San Francisco telah berinvestasi selama 40 tahun terakhir
Dengan bantuan perpustakaan Folium, mari kita lihat di mana $ 91,5 miliar ini diinvestasikan oleh distrik. Untuk melakukan ini, pengelompokan data dengan kode pos, mewakili nilai yang dihasilkan menggunakan lingkaran (fungsi Lingkaran dari perpustakaan Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Distrik menunjukkan bahwa sebagian besar kue secara logis pergi ke DownTown. Setelah menyederhanakan pengelompokan semua objek sesuai dengan jarak ke pusat kota dan waktu yang dibutuhkan untuk mencapai pusat kota (tentu saja, rumah-rumah mahal juga sedang dibangun di pantai), semua izin dibagi menjadi 4 kelompok: 'Pusat Kota', '<0,5 H Pusat Kota', '< 1H Downtown ',' Outside SF '.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Dari 91,5 miliar yang diinvestasikan di kota, hampir 70 miliar (75% dari semua investasi) yang diinvestasikan dalam perbaikan dan konstruksi berada di pusat kota (zona hijau) dan di wilayah kota dalam radius 2 km. dari pusat (zona biru).
Perkiraan biaya rata-rata aplikasi konstruksi oleh kabupaten kota
Semua data, seperti dalam kasus jumlah total investasi, dikelompokkan berdasarkan kode pos. Hanya dalam kasus ini dengan rata-rata (.mean ()) perkiraan biaya aplikasi dengan kode pos.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Di daerah biasa kota (lebih dari 2 km. Dari pusat kota) - perkiraan biaya rata-rata aplikasi untuk pembangunan adalah $ 50 ribu.
Perkiraan biaya rata-rata di daerah pusat kota sekitar tiga kali lebih tinggi ($ 150 ribu hingga $ 400 ribu) daripada di daerah lain ($ 30-50 ribu).
Selain nilai tanah, tiga faktor menentukan total biaya konstruksi perumahan: tenaga kerja, bahan, dan biaya pemerintah. Ketiga komponen ini lebih tinggi di California daripada di bagian lain negara itu. Kode dan standar bangunan California dianggap sebagai yang paling komprehensif dan ketat di negara ini (karena gempa bumi dan peraturan lingkungan), seringkali membutuhkan bahan dan tenaga yang lebih mahal.
Misalnya, pemerintah mengharuskan pembangun untuk menggunakan bahan bangunan berkualitas tinggi (jendela, isolasi, sistem pemanas dan pendingin) untuk mencapai standar efisiensi energi yang tinggi.
Dari statistik umum tentang biaya rata-rata aplikasi untuk izin, dua lokasi tersingkir:
- Treasure Island adalah pulau buatan di Teluk San Francisco. Perkiraan biaya rata-rata izin bangunan adalah $ 6,5 juta.
- Mission Bay - (Tinggal 2.926) Rata-rata perkiraan biaya izin bangunan - $ 1,5 juta.
Bahkan, tawaran rata-rata tinggi di kedua wilayah ini dikaitkan dengan jumlah tawaran terkecil untuk lokasi pos ini (masing-masing 145 dan 3064, konstruksi di pulau ini sangat terbatas), sedangkan untuk sisa kode pos untuk periode 1980-2019, sekitar 1300 diterima aplikasi per tahun (total, rata-rata 30-50 ribu aplikasi untuk seluruh periode).
Menurut parameter "jumlah aplikasi", distribusi ide-rata yang merata dari jumlah aplikasi per satu kode pos terlihat di seluruh kota.
Statistik jumlah total aplikasi berdasarkan bulan dan hari
Statistik umum tentang jumlah total aplikasi berdasarkan bulan dan hari dalam seminggu dari 1980 hingga 2019 menunjukkan bahwa bulan-bulan "paling tenang" untuk departemen konstruksi adalah musim semi dan musim dingin. Pada saat yang sama, jumlah investasi yang ditunjukkan dalam aplikasi sangat bervariasi, dan berbeda dari bulan ke bulan pada waktu (lihat juga “Kegiatan konstruksi tergantung pada musim tahun”). Di antara hari-hari dalam seminggu pada hari Senin, beban kerja di departemen sekitar 20% lebih sedikit daripada pada sisa minggu itu.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Sedangkan dalam hal jumlah aplikasi Juni dan Juli praktis sama, dalam hal total perkiraan biaya, perbedaannya mencapai 100% (4,3 miliar pada Mei dan Juli dan 8,2 miliar pada Juni).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Masa depan industri konstruksi San Francisco, memprediksi aktivitas berdasarkan pola.
Sebagai kesimpulan, kami membandingkan grafik kegiatan konstruksi di San Francisco dengan grafik harga Bitcoin (2015-2018) dan grafik harga emas (1940 - 1980).
Pola (dari pola bahasa Inggris - model, sampel) - dalam analisis teknis disebut kombinasi berulang harga, volume atau indikator yang terus-menerus. Analisis pola didasarkan pada salah satu aksioma analisis teknis: “sejarah berulang dengan sendirinya” - diyakini bahwa kombinasi berulang dari data mengarah pada hasil yang serupa.
Pola utama yang bisa ditebak pada grafik aktivitas tahunan adalah "Head and Shoulders" - pola pembalikan tren.Dinamakan demikian karena grafiknya terlihat seperti kepala manusia (puncak) dan bahu di samping (puncak yang lebih kecil). Ketika harga memutus garis yang menghubungkan palung, pola dianggap selesai, dan pergerakan cenderung terjadi ke bawah.
Pergerakan aktivitas dalam industri konstruksi di San Francisco hampir sepenuhnya bertepatan dengan jadwal pertumbuhan untuk emas dan bitcoin. Indikator historis dari ketiga grafik pergerakan harga dan aktivitas ini menunjukkan kesamaan yang signifikan.
Untuk memprediksi perilaku pasar konstruksi di masa depan, perlu untuk menghitung koefisien korelasi dengan masing-masing dari dua tren ini.
Dua variabel acak disebut berkorelasi jika momen korelasinya (atau koefisien korelasi) adalah nol; dan disebut kuantitas tidak berkorelasi jika momen korelasinya nol.
Jika nilai yang diperoleh lebih dekat ke 0 daripada ke 1, maka berbicara tentang pola yang jelas tidak masuk akal. Ini adalah masalah matematika yang sulit, yang mungkin ditangani oleh rekan senior yang mungkin tertarik dengan topik ini.
Jika sebuah! tidak ilmiah! lihat topik pengembangan lebih lanjut dari industri konstruksi di San Francisco: jika polanya cocok lebih jauh dengan harga bitcoin, makauntuk opsi pesimistis ini , tidak akan mudah bagi waktu pasca krisis untuk keluar dari krisis di industri konstruksi di San Francisco.
Dalam skenario yang lebih "optimis" , pertumbuhan eksponensial berulang dari industri konstruksi dimungkinkan jika aktivitas di sini mengikuti skenario "harga emas". Dalam skenario ini, dalam 20-30 tahun (mungkin dalam 10), sektor konstruksi akan mengharapkan peningkatan lapangan kerja dan pengembangan baru.
Pada bagian selanjutnya, saya akan melihat lebih dekat pada industri konstruksi individu (perbaikan atap, dapur, konstruksi tangga, kamar mandi, jika Anda memiliki keinginan untuk industri atau data lainnya - silakan menulis di komentar) dan membandingkan inflasi untuk jenis pekerjaan tertentu dengan tingkat bunga tetap pada pinjaman hipotek dan imbal hasil obligasi pemerintah AS (Fixed Mortgage Rates & US Treasury Yield).
Tautan ke Jupyter Notebook: San Francisco. Sektor bangunan 1980-2019.
Tolong, bagi mereka yang memiliki Notebook Kaggle - put plus (Terima kasih!).
(Komentar dan klarifikasi tentang kode akan ditambahkan ke Notebook nanti)
Tautan ke versi bahasa Inggris: Pasang surut Industri Konstruksi San Francisco. Tren dan Sejarah Konstruksi.
Jika Anda menyukai konten saya, harap pertimbangkan untuk membelikan saya kopi.
Terima kasih atas dukunganmu!
Beli kopi untuk penulis