pengantar
Miriam baru berusia 21 tahun ketika dia bertemu Nick. Dia adalah seorang fotografer, baru saja lulus dari perguruan tinggi, dan melayani meja. Dia 16 tahun lebih tua darinya dan memiliki bisnis di bidang keuangan. Dia menawan dan karismatik; mengajaknya kencan mewah dan membayar semuanya. Dia dengan cepat jatuh di bawah pengaruhnya.
Semuanya dimulai dengan satu kartu kredit. Dia satu-satunya dengan Miriam saat itu. Nick meningkatkan utangnya dengan pembelian bisnis sebesar $ 5.000 dan melunasi dengan cepat keesokan harinya. Miriam, yang meminta saya untuk tidak mengungkapkan nama asli mereka karena takut mengganggu proses perceraian, menemukan bahwa trik Nick meningkatkan peringkat kreditnya. Tumbuh dengan ayah tunggal dalam keluarga berpenghasilan rendah, dia memercayai pengetahuan Nick lebih dari dirinya sendiri. Nick dengan mudah mendukungnya, mengatakan bahwa dia tidak mengerti keuangan. Dia membuka beberapa kartu kredit lagi untuknya atas namanya sendiri.
Masalahnya dimulai tiga tahun kemudian. Nick meminta Miriam berhenti dari pekerjaannya untuk membantunya dalam bisnis, dan dia melakukannya. Nick menyuruhnya pergi ke sekolah pascasarjana dan tidak khawatir dia akan memperburuk hutang siswa yang sudah ada. Miriam mematuhi Nick lagi. Dia berjanji untuk mengurus semuanya, dan dia percaya padanya. Nick berhenti membayar tagihan kartu kredit tak lama kemudian. Akun Miriam mulai memudar.
Namun, Miriam tetap bersama Nick. Mereka menikah dan memiliki tiga anak. Dan kemudian suatu hari agen FBI menggerebek rumah mereka dan menangkap Nick. Seorang hakim federal memutuskan Nick bersalah hampir $ 250.000 dalam penipuan. Miriam menemukan jumlah hutangnya dalam puluhan ribu dolar, yang dikeluarkan Nick atas namanya. “Pada hari dia masuk penjara, saya memiliki uang tunai $ 250, rumah dan mobil dengan jaminan, dan tiga anak,” kata Miriam. "Dalam sebulan, saya berubah dari bisa mempekerjakan seorang pengasuh, dari tinggal di rumah yang bagus dan sebagainya, menjadi kemiskinan sejati."
Miriam mengalami apa yang disebutnya “hutang paksa,” suatu bentuk kekerasan yang biasanya dilakukan oleh pasangan dekat atau anggota keluarga. Pelecehan ekonomi adalah masalah yang sudah berlangsung lama: perbankan digital telah mempermudah untuk membuka rekening dan meminjamkan atas nama korban, kata Carla Sanchez-Adams, pengacara bantuan hukum di Texas RioGrande. Di era algoritme peringkat kredit otomatis, konsekuensinya bisa jauh lebih menghancurkan.
Skor kredit telah digunakan untuk menilai kelayakan kredit konsumen selama beberapa dekade, tetapi sekarang karena kalkulasi didasarkan pada algoritme, mereka jauh lebih penting: skor tersebut tidak hanya memperhitungkan lebih banyak data secara signifikan, baik dalam hal volume dan jenis, tetapi juga semakin memengaruhi apakah Anda bisa membeli mobil, menyewa apartemen atau mendapatkan pekerjaan tetap. Dampak mereka yang meluas berarti bahwa jika Anda memiliki kredit buruk, hampir tidak mungkin untuk pulih. Lebih buruk lagi, algoritme dimiliki oleh perusahaan swasta yang tidak mengungkapkan bagaimana algoritme ini sampai pada solusi mereka. Para korban dapat menuruni tangga sosial yang terkadang berakhir dengan kehilangan rumah atau kembali ke pelaku kekerasan.
Algoritme penilaian kredit bukanlah satu-satunya hal yang memengaruhi kesejahteraan ekonomi masyarakat dan akses mereka ke layanan dasar. Algoritme sekarang memutuskan anak mana yang akan dirawat di panti asuhan, pasien mana yang menerima perawatan medis, keluarga mana yang menerima akses ke tempat tinggal yang stabil. Kita yang memiliki kemampuan dapat menjalani hidup kita tanpa menyadari hal semacam itu. Tetapi bagi orang-orang berpenghasilan rendah, pertumbuhan yang cepat dan pengenalan sistem pengambilan keputusan otomatis telah menciptakan jaring tersembunyi dari jebakan yang saling berhubungan.
Untungnya, semakin banyak pengacara sipil yang mengatur masalah ini. Setelah meminjam buku teks tentang memerangi algoritme penilaian risiko dari dunia kriminal, mereka berusaha mempelajari sistem ini, membuat komunitas, dan mengembangkan strategi perilaku dalam litigasi. “Pada dasarnya setiap pengacara sipil mulai menangani materi ini karena semua klien kami dipengaruhi oleh sistem ini,” kata Michelle Gilman, profesor hukum klinis di Universitas Baltimore. - Kita perlu bangun dan belajar. Jika kita ingin menjadi pengacara yang benar-benar baik dan holistik, kita harus menyadari apa yang terjadi. "
"Apakah saya akan memeriksa ulang algoritme?"
Gilman telah berpraktek hukum di Baltimore selama 20 tahun. Pekerjaannya sebagai advokat sipil dan anti-kemiskinan selalu bermuara pada hal yang sama: dia telah mewakili orang-orang yang kehilangan akses ke kebutuhan dasar seperti perumahan, makanan, pendidikan, pekerjaan atau perawatan kesehatan. Terkadang pekerjaan semacam ini berarti bentrok dengan badan pemerintah. Dalam kasus lain, itu adalah agen pelaporan kredit atau pemilik rumah. Perebutan hak klien semakin memengaruhi satu atau beberapa algoritme.
“Dengan klien kami, ini terjadi secara bertahap,” katanya. “Mereka terjerat dengan banyak algoritma berbeda yang mencegah penggunaan layanan dasar. Dan pelanggan mungkin tidak menyadarinya karena banyak dari sistem ini tidak terlihat. "
Bagi orang-orang yang berpenghasilan rendah, satu kesulitan ekonomi sementara dapat menyebabkan lingkaran setan yang terkadang berakhir dengan kebangkrutan atau tunawisma.
Gilman tidak ingat persis saat dia menyadari bahwa beberapa keputusan tentang penerimaan dibuat oleh algoritme. Tetapi ketika transisi ini baru saja dimulai, jarang terlihat jelas. Pada suatu kesempatan, Gilman mewakili seorang klien lansia dengan disabilitas yang secara misterius terputus dari perawatan rumah bersponsornya. “Kami tidak tahu mengapa,” kenangnya. Dia semakin buruk, dan biasanya, jika Anda menjadi lebih buruk, Anda mendapatkan lebih banyak jam, bukan lebih sedikit. "
Sampai Gilman dan kliennya berdiri di ruang sidang di tengah persidangan, seorang saksi mata yang mewakili negara melaporkan bahwa pemerintah baru saja menerapkan algoritme baru. Saksi, suster, tidak bisa menjelaskan apapun.
“Tentu saja tidak - mereka membelinya dari rak [tentang produk massal yang tidak dipesan],” kata Gilman. “Dia adalah seorang perawat, bukan ilmuwan komputer. Dia tidak bisa menjawab faktor apa yang mempengaruhi perilaku sistem. Bagaimana mereka ditimbang? Apa hasil yang diharapkan? " Jadi saya bersama pengacara mahasiswa saya yang berada di klinik hukum bersama saya dan dia bertanya sesuatu seperti, "Oh, apakah saya akan memeriksa ulang algoritme?"
Bagi Kevin De Liban, pengacara di firma hukum Arkansas Legal Aid, perubahan itu sama berbahaya. Pada 2014, negara bagiannya juga memperkenalkan sistem baru untuk mendistribusikan perawatan kesehatan di rumah yang didanai, memotong sejumlah orang yang sebelumnya memenuhi syarat untuk perawatan tersebut. Pada saat itu, dia dan rekan-rekannya tidak dapat menentukan akar penyebab penghentian ini. Mereka hanya tahu bahwa ada sesuatu yang berubah. “Kita bisa memahami bahwa ada perubahan sistem pemeringkatan dari kuesioner kertas dengan 20 pertanyaan menjadi kuesioner elektronik dengan 283 pertanyaan,” akunya.
Hanya dua tahun kemudian, ketika kesalahan dalam algoritme kembali menyebabkan tindakan hukum, De Liban akhirnya mencapai inti permasalahan. Dia menyadari bahwa perawat memberi tahu pasien, "Komputer yang melakukannya - bukan saya."
“Inilah yang membuat kami waspada,” katanya. “Jika saya tahu apa yang saya ketahui di tahun 2016, saya mungkin akan lebih melindungi klien di tahun 2014," tambah De Liban.
Seseorang melewati banyak sistem setiap hari
Sejak saat itu, Gilman mendapatkan banyak pengalaman. Mewakili klien dengan berbagai masalah, dia menyaksikan kemunculan dan tabrakan dua jaringan algoritmik. Jaringan pertama terdiri dari algoritme pelaporan kredit, seperti yang dijebak oleh Miriam, yang memengaruhi akses ke barang dan layanan pribadi seperti mobil, rumah, dan pekerjaan. Jaringan kedua berisi algoritme yang diadopsi oleh lembaga pemerintah yang memengaruhi akses ke barang publik seperti perawatan kesehatan, pengangguran, dan layanan dukungan anak.
Dalam hal pelaporan kredit, pertumbuhan algoritme telah didorong oleh perkembangan data yang semakin mudah dikumpulkan dan disebarluaskan. Laporan kredit bukanlah hal baru, tetapi dampaknya jauh lebih luas akhir-akhir ini. Agen pelaporan konsumen, termasuk biro kredit, perusahaan verifikasi penyewa, dan sebagainya, mengumpulkan informasi ini dari berbagai sumber: catatan publik, media sosial, penjelajahan web, perbankan, penggunaan aplikasi, dan lainnya. Algoritme kemudian menetapkan skor "kelayakan" orang, yang akan terus berlanjut hingga pemeriksaan latar belakang yang dilakukan oleh pemberi pinjaman, pemberi kerja, tuan tanah, dan bahkan sekolah.
Lembaga pemerintah, di sisi lain, dipaksa untuk mengadopsi algoritme ketika mereka ingin meningkatkan sistem mereka. Adopsi aplikasi web dan alat digital dimulai pada awal 2000-an dan dilanjutkan dengan pergeseran ke arah sistem otomatis yang lebih digerakkan oleh data dan kecerdasan buatan. Ada alasan bagus untuk mengupayakan perubahan seperti itu. Selama pandemi, banyak sistem tunjangan pengangguran berjuang untuk mengatasi banyaknya permintaan baru, yang mengakibatkan penundaan yang signifikan. Mengupgrade sistem lama ini menjanjikan hasil yang lebih cepat dan lebih andal.
Tetapi proses pengadaan perangkat lunak jarang transparan sehingga tidak ada akuntabilitas. Instansi pemerintah sering kali membeli alat pengambilan keputusan otomatis langsung dari vendor swasta. Akibatnya, ketika sistem bermasalah, orang-orang yang terkena dampak dan pengacara mereka tidak tahu apa-apa. "Mereka tidak memperingatkan tentang hal ini di mana pun," keluh Julia Simon-Michel, pengacara di firma hukum Philadelphia Legal Assistance. “Ini jarang ditulis dalam manual atau bantuan apa pun. Kami dirugikan. "
Kurangnya pengawasan publik juga membuat algoritme lebih rentan terhadap kesalahan. Salah satu masalah paling mengerikan terjadi di Michigan pada 2013. Setelah banyak upaya untuk mengotomatiskan sistem tunjangan pengangguran negara bagian, algoritmesalah memberi label lebih dari 34.000 orang sebagai scammer . “Hal ini mengakibatkan hilangnya banyak manfaat,” kata Simon-Michel. - Ada kebangkrutan, sayangnya ada kasus bunuh diri. Itu benar-benar berantakan. "
Gilman khawatir hutang dan penggusuran terkait virus corona akan dikodifikasikan menjadi poin kredit, membuatnya selamanya sulit bagi orang untuk mendapatkan pekerjaan, apartemen, dan pinjaman.
Orang-orang berpenghasilan rendah menanggung beban transisi ke algoritme. Mereka adalah orang-orang yang paling rentan terhadap kesulitan ekonomi sementara yang dikodifikasi dalam laporan konsumen, dan mereka yang membutuhkan dan mencari keuntungan. Selama bertahun-tahun, Gilman telah melihat semakin banyak kasus di mana klien berisiko memasuki lingkaran setan. “Seseorang melewati banyak sistem setiap hari,” katanya. - Maksudku itu terjadi pada semua orang. Tapi konsekuensinya jauh lebih buruk bagi orang miskin dan minoritas. "
Dia mengutip kasus terkini di klinik hukumnya sebagai contoh. Seorang anggota keluarga kehilangan pekerjaannya karena pandemi dan kehilangan tunjangan pengangguran karena kegagalan sistem otomatis. Keluarga tersebut kemudian berhenti membayar sewa, yang menyebabkan pemilik rumah menuntut mereka karena penggusuran. Meski penggusuran tidak akan legal karena moratorium pengendalian dan pencegahan penyakit, klaim akan tetap direkam secara publik. Catatan ini kemudian dapat digunakan dalam algoritme pemilihan penyewa, yang dapat mempersulit keluarga untuk menemukan perumahan yang stabil di masa mendatang. Ketidakmampuan mereka untuk membayar sewa dan utilitas juga bisa menjadi pukulan telak bagi nilai kredit mereka, dengan konsekuensi lagi. “Jika orang mencoba menggunakan ponsel atau mengambil pinjaman, membeli mobil, atau melamar pekerjaan, efek riak yang menurun ini akan terjadi,” kata Gilman.
Setiap situasi manusia akan berubah menjadi situasi algoritma
Pada bulan September, Gilman, yang sekarang bekerja di Institute for Data and Society Research, merilis laporan yang menguraikan semua algoritme yang mungkin dihadapi pengacara kemiskinan. Laporan yang disebut "Kemiskinan Algoritma» ( Kemiskinan Lawgorithms ) dan dirancang sebagai pedoman untuk pengacara di lapangan. Laporan tersebut dibagi ke dalam area praktik tertentu seperti hukum konsumen, hukum keluarga, hukum perumahan, dan barang publik. Laporan tersebut menjelaskan bagaimana menghadapi tantangan yang ditimbulkan oleh algoritma dan teknologi berbasis data lainnya dalam undang-undang yang ada.
Misalnya, jika klien ditolak membeli apartemen karena peringkat kredit yang rendah, laporan tersebut merekomendasikan agar pengacara terlebih dahulu memeriksa apakah data yang dimasukkan ke dalam sistem penilaian akurat. Berdasarkan Fair Credit Reporting Act, agen pelapor diwajibkan untuk memastikan keakuratan informasi mereka, tetapi ini tidak selalu terjadi. Menantang klaim yang salah dapat membantu memulihkan kredit klien dan dengan demikian akses ke perumahan. Namun, laporan tersebut mengakui bahwa hukum yang ada hanya dapat membantu mencapai hal ini. Masih ada celah regulasi yang perlu diisi, kata Gilman.
Gilman berharap laporan itu akan menjadi peringatan. Banyak rekannya masih tidak memahami apa yang terjadi dan tidak dapat mengajukan pertanyaan yang tepat untuk menemukan algoritme. Orang-orang yang sadar masalah tersebar di seluruh Amerika Serikat, mempelajari masalah, menuju ke titik masalah, dan melawan algoritma saja. Gilman melihat peluang untuk menyatukan mereka dan menciptakan komunitas yang lebih luas dari orang-orang yang dapat saling membantu. “Kita semua perlu belajar lebih banyak dan belajar lebih banyak - tidak hanya dalam hal hukum, tapi juga dalam sistem itu sendiri,” kata Gilman. Pada akhirnya, sepertinya setiap situasi manusia akan berubah menjadi situasi algoritme. "
Untuk jangka panjang, Gilman mencari inspirasi di dunia peradilan pidana. Pengacara kriminal "bekerja di depan kurva," katanya. Mereka mengatur diri mereka sendiri ke dalam komunitas dan melawan algoritme penilaian risiko yang menentukan penilaian, sehingga menunda penerapannya. Gilman ingin pengacara sipil melakukan hal yang sama: menciptakan gerakan untuk membawa pengawasan dan regulasi publik ke jaringan algoritme tersembunyi yang dihadapi klien mereka. “Dalam beberapa kasus, sistem mungkin harus ditutup begitu saja karena tidak ada cara untuk membuatnya adil,” katanya.
Adapun Miriam, setelah keyakinan Nick, dia pergi selamanya. Miriam dan anak-anaknya pindah ke negara bagian baru dan menghubungi organisasi nirlaba yang mendukung orang-orang yang selamat dari hutang paksa dan kekerasan dalam rumah tangga. Dengan bantuan organisasi, Miriam mengambil beberapa kursus untuk mengajarinya cara mengelola keuangan. Organisasi tersebut telah membantu Miriam menutup banyak hutang paksa dan mempelajari lebih lanjut tentang algoritma kredit. Ketika dia pergi untuk membeli mobil dengan bantuan ayahnya, yang menjadi penjamin, peringkat kreditnya hampir mencapai batas minimum. Sejak itu, pembayaran mobil dan hutang pelajarnya yang terus menerus secara bertahap meningkatkan nilai kreditnya.
Miriam masih harus waspada. Nick memiliki nomor jaminan sosialnya dan mereka belum bercerai. Dia terus-menerus khawatir Nick akan membuka akun lain dan mengambil pinjaman baru atas namanya. Untuk sementara, dia memeriksa pernyataan kartu kreditnya setiap hari untuk mengetahui adanya penipuan. Tapi sekarang dia melihat ke depan. Ayah Miriam, yang berusia 60-an, ingin pensiun dan pindah. Keduanya kini fokus bersiap membeli rumah. "Saya sangat bersemangat tentang hal ini. Sasaran saya adalah meningkatkannya menjadi 700 pada akhir tahun, "katanya tentang nilai kreditnya," dan kemudian saya pasti akan siap untuk membeli rumah. " “Saya tidak pernah tinggal di rumah saya sendiri,” tambahnya. "Ayah saya dan saya bekerja sama untuk menghemat uang untuk rumah kami sendiri."
Jangan lupakan kode promo HABR , yang menambahkan 10% diskon pada banner.
E
- Pengembang frontend
- Pengembang Web Profesi
- Python untuk Kursus Pengembangan Web
- Kursus Lanjutan "Machine Learning Pro + Deep Learning"
- Kursus Machine Learning
- Kursus "Matematika dan Pembelajaran Mesin untuk Ilmu Data"
- Profesi Ethical hacker
- Pengembang Game Unity
- Kursus JavaScript
- Profesi pengembang Java
- C++
- DevOps
- iOS-
- Android-