Panggilan Komputasi AI / ML Real-time
Mari kita mulai dengan contoh dari pengalaman praktik Ilmu Data perusahaan InterSystems:
- Portal pembeli yang "dimuat" terhubung ke sistem rekomendasi online. Terdapat restrukturisasi tindakan promo pada skala jaringan retail (misalnya, sebagai pengganti garis tindakan promo yang "datar", matriks "taktik-segmen" sekarang akan digunakan). Apa yang terjadi dengan mesin rekomendasi? Apa yang terjadi dengan penyerahan dan pemutakhiran data ke mekanisme rekomendasi (jumlah data masukan meningkat 25.000 kali lipat)? Apa yang terjadi dengan pengembangan rekomendasi (kebutuhan untuk mengurangi ambang penyaringan aturan rekomendasi hingga seribu kali lipat karena peningkatan seribu kali lipat dalam jumlah dan "bermacam-macam")?
- Ada sistem untuk memantau kemungkinan berkembangnya cacat pada node peralatan Sistem kontrol proses dihubungkan ke sistem pemantauan, mentransmisikan ribuan parameter proses teknologi setiap detik. Apa yang terjadi pada sistem pemantauan yang dulunya bekerja pada "sampel manual" (apakah mampu menyediakan pemantauan probabilitas setiap detik)? Apa yang akan terjadi jika blok baru yang terdiri dari beberapa ratus kolom muncul dalam data masukan dengan pembacaan sensor yang baru saja ditambahkan ke sistem kontrol proses (apakah perlu dan untuk berapa lama sistem pemantauan harus menghentikan untuk memasukkan data dari sensor baru ke dalam analisis)?
- Sebuah kompleks AI / ML-mekanisme (rekomendasi, pemantauan, prognostik), menggunakan hasil kerja masing-masing, telah dibuat. Berapa jam kerja yang diperlukan setiap bulan untuk menyesuaikan pengoperasian kompleks ini dengan perubahan dalam data masukan? Apa yang dimaksud dengan “perlambatan” umum dengan dukungan kompleks untuk pengambilan keputusan manajemen (frekuensi kemunculan informasi pendukung baru di dalamnya mengenai frekuensi kemunculan data masukan baru)?
Meringkas ini dan banyak contoh lainnya, kami telah sampai pada perumusan tantangan yang muncul dalam transisi ke penggunaan pembelajaran mesin dan mekanisme kecerdasan buatan secara real time:
- Apakah kita puas dengan ketepatan waktu pembuatan dan adaptasi (pada situasi yang berubah) pengembangan AI / ML di perusahaan kita?
- Sejauh mana solusi AI / ML yang kami gunakan mendukung manajemen bisnis waktu nyata?
- Apakah solusi AI / ML yang kami gunakan mampu secara mandiri (tanpa pengembang) beradaptasi dengan perubahan data dan dalam praktik manajemen bisnis?
Artikel kami adalah ikhtisar mendetail tentang kemampuan platform InterSystems IRIS dalam hal dukungan universal untuk penerapan mekanisme AI / ML, perakitan (integrasi) solusi AI / ML, dan pelatihan (pengujian) solusi AI / ML pada aliran data intensif. Kami akan beralih ke riset pasar, contoh praktis solusi AI / ML, dan aspek konseptual dari apa yang kami sebut platform AI / ML real-time di artikel ini.
Apa yang kami ketahui dari survei: aplikasi waktu nyata
Hasil survei tahun 2019 terhadap sekitar 800 profesional TI oleh Lightbend berbicara sendiri:
Gambar 1 Konsumen terkemuka data waktu nyata
Mengutip cuplikan penting dari laporan survei ini dalam terjemahan kami:
“… Tren popularitas alat integrasi aliran data dan, pada saat yang sama, dukungan untuk komputasi dalam kontainer memberikan respons sinergis terhadap permintaan pasar untuk proposal solusi efektif yang lebih cepat, lebih rasional, dan dinamis. Aliran data memungkinkan informasi untuk ditransfer lebih cepat daripada data paket tradisional. Selain itu, kemampuan untuk menerapkan teknik komputasi dengan cepat seperti rekomendasi berbasis AI / ML, menciptakan keunggulan kompetitif melalui peningkatan kepuasan pelanggan. Perlombaan menuju ketangkasan juga memengaruhi semua peran dalam paradigma DevOps - membuat pengembangan dan penerapan aplikasi lebih efisien. ... Delapan ratus empat profesional TI memberikan informasi tentang penggunaan aliran data di organisasi mereka.Responden sebagian besar berada di negara-negara Barat (41% di Eropa dan 37% di Amerika Utara) dan hampir merata di antara perusahaan kecil, menengah dan besar. ...
... Kecerdasan buatan bukanlah hype. Lima puluh delapan persen dari mereka yang sudah menggunakan pemrosesan aliran data dalam aplikasi AI / ML yang produktif mengonfirmasi bahwa penggunaannya dalam AI / ML akan mengalami peningkatan terbesar di tahun depan (dibandingkan dengan aplikasi lain).
- Mayoritas dari mereka yang disurvei percaya bahwa penggunaan aliran data AI / ML akan melihat keuntungan terbesar di tahun depan.
- Aplikasi dalam AI / ML akan berkembang tidak hanya melalui jenis skenario yang relatif baru, tetapi juga melalui skenario tradisional di mana data real-time semakin banyak digunakan.
- Selain AI / ML, tingkat antusiasme di antara pengguna pipeline data IoT sangat mengesankan - 48% dari mereka yang telah mengintegrasikan data IoT mengklaim bahwa pembuatan skrip pada data ini akan mengalami peningkatan yang signifikan dalam waktu dekat. ... "
Dari survei yang cukup menarik ini, jelas terlihat bahwa persepsi skenario pembelajaran mesin dan kecerdasan buatan sebagai pemimpin dalam konsumsi aliran data sudah "dalam proses". Namun pengamatan yang tidak kalah pentingnya adalah persepsi AI / ML waktu nyata melalui optik DevOps: di sini kita sudah dapat mulai berbicara tentang transformasi budaya dominan "AI / ML sekali pakai dengan kumpulan data yang dapat diakses sepenuhnya".
Konsep platform AI / ML waktu nyata
Salah satu aplikasi AI / ML real-time yang khas adalah kontrol proses dalam manufaktur. Dengan menggunakan contohnya dan mempertimbangkan refleksi sebelumnya, kami akan merumuskan konsep platform AI / ML waktu nyata.
Penggunaan kecerdasan buatan dan pembelajaran mesin dalam kontrol proses memiliki sejumlah fitur:
- : ( , )
- , , , , (, )
- , « » , ,
Fitur-fitur ini memaksa kami, selain menerima dan pemrosesan real-time dasar dari "input pita lebar" yang intens dari proses tersebut, untuk melakukan (secara paralel) aplikasi, pelatihan, dan kontrol kualitas hasil kerja model AI / ML - juga dalam waktu nyata. "Bingkai" yang "dilihat" oleh model kami di jendela geser relevansi terus berubah - dan dengannya kualitas hasil kerja model AI / ML yang dilatih pada salah satu "bingkai" di masa lalu juga berubah. Jika kualitas hasil kerja model AI / ML menurun (misalnya: nilai kesalahan klasifikasi "alarm-normal" telah melampaui batas yang telah kami tentukan), pelatihan tambahan model harus dimulai secara otomatis pada "bingkai" yang lebih relevan - dan pilihan saat untuk memulai pelatihan model tambahan harus durasi pelatihan itu sendiri,dan dinamika penurunan kualitas model versi saat ini (karena versi model saat ini terus diterapkan selama model sedang dilatih, dan hingga versi "yang baru dilatih" terbentuk).
InterSystems IRIS memiliki kemampuan platform utama untuk mengaktifkan solusi AI / ML untuk kontrol proses waktu nyata. Kemampuan ini dapat dibagi menjadi tiga kelompok utama:
- Penerapan / Pengiriman Berkelanjutan (CD) dari mekanisme AI / ML yang baru atau yang diadaptasi menjadi solusi produktif yang beroperasi secara waktu nyata pada platform IRIS InterSystems
- Continuous Integration (CI) menjadi solusi produktif tunggal untuk aliran data yang masuk dari proses teknologi, antrian data untuk aplikasi / pelatihan / kontrol kualitas mekanisme AI / ML dan interaksi data / kode / kontrol dengan lingkungan pemodelan matematika, yang diatur dalam platform real-time InterSystems IRIS
- (-) (Continuous Training, CT) AI/ML-, , (« »), InterSystems IRIS
Klasifikasi kapabilitas platform dalam kaitannya dengan pembelajaran mesin dan kecerdasan buatan secara tepat ke dalam kelompok tersebut bukanlah kebetulan. Mari kita kutip publikasi metodologis Google, yang memberikan dasar konseptual untuk klasifikasi ini, dalam terjemahan kita:
“… Konsep DevOps, yang populer saat ini, mencakup pengembangan dan pengoperasian sistem informasi skala besar. Keuntungan penerapan konsep ini adalah memperpendek siklus pengembangan, mempercepat penerapan pengembangan, dan perencanaan rilis yang fleksibel. Untuk mendapatkan keuntungan ini, DevOps melibatkan setidaknya dua praktik:
- Integrasi Berkelanjutan (CI)
- Pengiriman Berkelanjutan (CD)
Praktik ini juga berlaku untuk platform AI / ML untuk memastikan pembangunan solusi AI / ML yang produktif dan andal.
Platform AI / ML berbeda dari sistem informasi lain dalam aspek berikut:
- Kompetensi Tim: Saat membuat solusi AI / ML, tim biasanya menyertakan ilmuwan data atau "akademisi" ilmu data yang melakukan analisis data, pengembangan model, dan validasi. Anggota tim ini mungkin atau mungkin bukan pengembang profesional kode produktif.
- : AI/ML- . , , , , . « / », , .
- : AI/ML- , . , .
- : AI/ML- , . AI/ML- , . , - , .
- Produktif: Mesin AI / ML mungkin kekurangan kinerja bukan hanya karena pemrograman yang tidak efisien, tetapi juga karena sifat data masukan yang terus berubah. Dengan kata lain, performa mesin AI / ML dapat menurun karena berbagai alasan dibandingkan performa desain konvensional. Ini mengarah pada kebutuhan untuk memantau (online) kinerja mesin AI / ML kami, serta mengirim pemberitahuan atau membuang hasil jika indikator kinerja tidak memenuhi harapan.
Platform AI / ML mirip dengan sistem informasi lain karena keduanya memerlukan integrasi kode berkelanjutan dengan kontrol versi, pengujian unit, pengujian integrasi, penerapan pengembangan berkelanjutan. Namun, dalam kasus AI / ML, ada beberapa perbedaan penting:
- CI (Continuous Integration, ) – AI/ML-.
- CD (Continuous Delivery/Deployment, ) , , AI/ML-.
- CT (Continuous Training, ) – [. : DevOps, CT , , Continuous Testing], AI/ML-, AI/ML-. …»
Kami dapat menyatakan bahwa pembelajaran mesin dan kecerdasan buatan yang beroperasi pada data waktu nyata memerlukan seperangkat alat dan kompetensi yang lebih luas (dari pengembangan kode hingga orkestrasi lingkungan pemodelan matematika), integrasi yang lebih dekat antara semua bidang fungsional dan subjek, organisasi manusia dan manusia yang lebih efisien sumber daya mesin.
Skenario waktu nyata: pengenalan perkembangan cacat pada pompa umpan
Melanjutkan penggunaan area kontrol proses teknologi sebagai contoh, kami akan mempertimbangkan masalah spesifik (telah kami sebutkan di awal): diperlukan pemantauan waktu nyata dari perkembangan cacat pada pompa berdasarkan aliran nilai parameter proses teknologi dan laporan personel perbaikan tentang cacat yang terdeteksi.
Gambar 2 Perumusan tugas pemantauan perkembangan cacat
Fitur dari sebagian besar tugas yang diatur dengan cara ini dalam praktiknya adalah keteraturan dan efisiensi penerimaan data (APCS) harus dipertimbangkan dengan latar belakang kejadian episodik dan tidak teratur (dan registrasi) dari berbagai jenis cacat. Dengan kata lain: data dari sistem kendali proses otomatis datang sekali dalam satu detik, benar dan akurat, dan catatan dibuat tentang cacat dengan pensil kimia dengan tanggal pada buku catatan umum di toko (misalnya: "12.01 - bocor ke penutup dari bantalan ke-3").
Jadi, pernyataan masalah dapat dilengkapi dengan pembatasan penting berikut: kami hanya memiliki satu "label" dari jenis cacat tertentu (yaitu, contoh jenis cacat tertentu diwakili oleh data dari sistem kontrol untuk tanggal tertentu - dan kami tidak memiliki contoh jenis cacat ini lagi). Batasan ini segera membawa kita keluar dari kerangka kerja pembelajaran mesin klasik (pembelajaran tersupervisi), yang harusnya memiliki banyak "tag".
Gambar 3 Klarifikasi tugas pemantauan perkembangan cacat
Dapatkah kita entah bagaimana "memperbanyak" satu-satunya "label" yang kita miliki? Ya kita bisa. Kondisi pompa saat ini dicirikan oleh tingkat kemiripan dengan cacat yang didaftarkan. Bahkan tanpa menggunakan metode kuantitatif, pada tingkat persepsi visual, mengamati dinamika nilai data yang berasal dari sistem kontrol proses, Anda sudah dapat belajar banyak:
Gambar 4 Dinamika status pompa dengan latar belakang "tanda" cacat jenis tertentu
Tetapi persepsi visual (setidaknya untuk saat ini) - bukan generator "tag" yang paling tepat dalam skenario cepat kami. Kami akan mengevaluasi kesamaan keadaan pompa saat ini dengan kerusakan yang dilaporkan menggunakan uji statistik.
Gambar 5 Penerapan uji statistik pada data yang masuk dengan latar belakang "label" cacat
Uji statistik menentukan probabilitas bahwa catatan dengan nilai parameter proses teknologi dalam "paket aliran" yang diterima dari sistem kontrol proses serupa dengan catatan dari "label" cacat jenis tertentu. Nilai probabilitas (indeks kemiripan statistik) yang dihitung sebagai hasil dari penerapan uji statistik diubah menjadi nilai 0 atau 1, menjadi "label" untuk pembelajaran mesin di setiap catatan tertentu dalam paket yang sedang diselidiki. Artinya, setelah memproses paket yang baru diterima dari catatan status pompa dengan uji statistik, kami memiliki kesempatan (a) untuk menambahkan paket ini ke set pelatihan untuk melatih model AI / ML dan (b) untuk mengontrol kualitas versi model saat ini ketika diterapkan ke paket ini.
Gambar 6 Menerapkan model pembelajaran mesin ke data yang masuk dengan latar belakang "tag" yang
rusak di salah satu webinar kami sebelumnyakami menunjukkan dan menjelaskan bagaimana platform InterSystems IRIS memungkinkan Anda menerapkan mekanisme AI / ML apa pun dalam bentuk proses bisnis yang terus dijalankan yang mengontrol keandalan hasil pemodelan dan menyesuaikan parameter model. Saat mengimplementasikan prototipe skenario kami dengan pompa, kami menggunakan semua fungsionalitas InterSystems IRIS yang disajikan selama webinar - menerapkan dalam proses penganalisis sebagai bagian dari solusi kami, bukan pembelajaran klasik yang diawasi, melainkan pembelajaran penguatan, yang secara otomatis mengontrol pemilihan model pelatihan. Sampel pelatihan berisi catatan di mana "konsensus deteksi" muncul setelah menerapkan uji statistik dan versi model saat ini - yaitu, uji statistik (setelah mengubah indeks kesamaan ke 0 atau 1),dan model menghasilkan hasil 1 pada catatan tersebut. Dengan pelatihan model baru, selama validasinya (model yang baru dilatih diterapkan ke sampel pelatihannya sendiri, dengan aplikasi awal uji statistik), catatan yang "tidak bertahan" setelah memproses hasil uji statistik 1 ( karena kehadiran konstan dalam kumpulan rekaman pelatihan dari "label" awal cacat), dihapus dari kumpulan pelatihan, dan versi baru model belajar dari "label" cacat ditambah catatan "dipertahankan" dari aliran.Hasil 1 "tidak dipertahankan" setelah diproses oleh uji statistik (karena kehadiran konstan dalam kumpulan rekaman pelatihan dari "tanda" awal cacat) dihapus dari set pelatihan, dan versi baru model tersebut belajar dari "tanda" cacat plus pada catatan "dipertahankan" dari mengalir.Hasil 1 "tidak dipertahankan" setelah diproses oleh uji statistik (karena kehadiran konstan dalam kumpulan rekaman pelatihan dari "tanda" awal cacat) dihapus dari set pelatihan, dan versi baru model belajar dari "tanda" cacat plus pada catatan "dipertahankan" dari mengalir.
Gambar 7 Robotisasi komputasi AI / ML di InterSystems IRIS
Jika ada kebutuhan akan "opini kedua" atas kualitas deteksi yang diperoleh selama kalkulasi lokal di InterSystems IRIS, maka dibuat proses advisor untuk melakukan pelatihan dan penerapan model pada set data kontrol dengan menggunakan layanan cloud (misalnya Microsoft Azure, Amazon Web Services, Google Cloud Platform, dll.):
Gambar 8 Pendapat kedua dari Microsoft Azure diatur oleh InterSystems IRIS
Prototipe skrip kami di InterSystems IRIS dibuat dalam bentuk sistem proses analitis berbasis agen yang berinteraksi dengan objek peralatan (pompa), lingkungan pemodelan matematika (Python, R dan Julia), dan menyediakan pembelajaran mandiri dari semua mekanisme AI / ML yang terlibat - pada aliran data waktu nyata ...
Gambar 9 Fungsionalitas utama solusi AI / ML real-time di InterSystems IRIS Hasil
praktis dari prototipe kami:
- Pola cacat dikenali oleh model (12 Januari):
- Cacat berkembang yang dikenali oleh model yang tidak termasuk dalam sampel (pada 11 September, cacat itu sendiri dipastikan oleh tim perbaikan hanya dua hari kemudian - pada 13 September):
Simulasi pada data nyata yang berisi beberapa episode cacat yang sama telah menunjukkan bahwa solusi kami, yang diterapkan pada platform IRIS InterSystems, memungkinkan kami mendeteksi perkembangan cacat jenis ini beberapa hari sebelum ditemukan oleh tim perbaikan.
InterSystems IRIS adalah platform komputasi AI / ML waktu nyata yang serbaguna
Platform InterSystems IRIS menyederhanakan pengembangan, penerapan, dan pengoperasian solusi data waktu nyata. InterSystems IRIS mampu melakukan pemrosesan data transaksional dan analitik secara bersamaan; memelihara tampilan data yang disinkronkan sesuai dengan beberapa model (termasuk relasional, hierarki, objek, dan dokumen); bertindak sebagai platform untuk mengintegrasikan berbagai sumber data dan aplikasi individu; memberikan analitik lanjutan secara real time pada data terstruktur dan tidak terstruktur. InterSystems IRIS juga menyediakan mekanisme untuk penggunaan alat analitik eksternal, memungkinkan Anda menggabungkan hosting di cloud dan server lokal secara fleksibel.
Aplikasi yang dibangun di atas platform InterSystems IRIS telah digunakan di berbagai industri, membantu perusahaan menghasilkan nilai ekonomi yang signifikan dari perspektif strategis dan operasional, meningkatkan kesadaran pengambilan keputusan dan menjembatani kesenjangan antara peristiwa, analisis, dan tindakan.
Gambar 10 Arsitektur IRIS Antar Sistem dalam Konteks Real-Time AI / ML
Seperti diagram sebelumnya, diagram di bawah ini menggabungkan "sistem koordinat" (CD / CI / CT) baru dengan aliran informasi antar elemen kerja platform. Pencitraan dimulai dengan makromekanisme CD dan dilanjutkan dengan makromekanisme CI dan CT.
Gambar 11 Diagram arus informasi antara elemen AI / ML dari platform InterSystems IRIS
Inti dari mekanisme CD di InterSystems IRIS: pengguna platform (pengembang solusi AI / ML) menyesuaikan yang ada dan / atau membuat pengembangan AI / ML baru menggunakan editor khusus kode program mekanisme AI / ML: Jupyter (nama lengkap: Jupyter Notebook; juga, untuk singkatnya, dokumen yang dibuat di editor ini kadang-kadang disebut). Di Jupyter, developer memiliki kemampuan untuk menulis, men-debug, dan memastikan bahwa pengembangan AI / ML tertentu berfungsi (termasuk menggunakan grafik) sebelum di-deploy ("di-deploy") ke InterSystems IRIS. Jelas bahwa pengembangan baru yang dibuat dengan cara ini hanya akan menerima debugging dasar (karena, khususnya, Jupyter tidak bekerja dengan aliran data waktu nyata) - ini adalah urutan hari,Bagaimanapun, hasil utama pengembangan di Jupyter adalah konfirmasi kinerja fundamental dari mekanisme AI / ML yang terpisah ("menunjukkan hasil yang diharapkan pada sampel data"). Demikian pula, mekanisme yang sudah ditempatkan di platform (lihat mekanisme makro berikut) sebelum debugging di Jupyter mungkin memerlukan "rollback" ke tampilan "pra-platform" (membaca data dari file, bekerja dengan data melalui xDBC dan bukan tabel, interaksi langsung dengan global - array data multidimensi InterSystems IRIS - dll.).bekerja dengan data melalui xDBC alih-alih tabel, interaksi langsung dengan global - array data multidimensi InterSystems IRIS - dll.).bekerja dengan data melalui xDBC alih-alih tabel, interaksi langsung dengan global - array data multidimensi InterSystems IRIS - dll.).
Aspek penting dari implementasi CD di InterSystems IRIS: integrasi dua arah diimplementasikan antara platform dan Jupyter, yang memungkinkan mentransfer konten ke platform (dan, di masa depan, memproses dalam platform) konten dengan Python, R dan Julia (ketiganya adalah bahasa pemrograman dalam open- terkemuka yang sesuai lingkungan sumber pemodelan matematika). Dengan demikian, pengembang konten AI / ML memiliki kemampuan untuk "terus-menerus menerapkan" konten ini di platform, bekerja di editor Jupyter yang biasa, dengan pustaka yang sudah dikenal tersedia di Python, R, Julia, dan melakukan debugging dasar (jika perlu) di luar platform ...
Pindah ke mekanisme makro CI di InterSystems IRIS. Diagram menunjukkan proses makro dari "robot waktu nyata" (kompleks struktur data, proses bisnis, dan fragmen kode yang diatur oleh mereka dalam bahasa Mathred dan ObjectScript - bahasa asli pengembangan IRIS InterSystems). Tugas dari proses makro ini: untuk mempertahankan antrian data yang diperlukan untuk pengoperasian mekanisme AI / ML (berdasarkan aliran data yang dikirimkan ke platform secara real time), untuk membuat keputusan tentang urutan aplikasi dan "bermacam-macam" mekanisme AI / ML (mereka juga merupakan "algoritme matematika", " model ", dll. - dapat dipanggil secara berbeda tergantung pada spesifikasi implementasi dan preferensi terminologis), selalu perbarui struktur data untuk menganalisis hasil mekanisme AI / ML (kubus, tabel, array data multidimensi, dll.).- untuk laporan, dasbor, dll.).
Aspek penting dari implementasi CI di InterSystems IRIS: integrasi dua arah diimplementasikan antara platform dan lingkungan pemodelan matematika, yang memungkinkan mengeksekusi konten yang ditempatkan pada platform dengan Python, R dan Julia di lingkungan masing-masing dengan kembalinya hasil eksekusi. Integrasi ini diimplementasikan baik dalam "mode terminal" (yaitu, konten AI / ML diformulasikan sebagai kode ObjectScript yang membuat panggilan ke media matematika), dan dalam "mode proses bisnis" (yaitu, konten AI / ML diformulasikan sebagai proses bisnis menggunakan editor grafis, atau terkadang menggunakan Jupyter, atau menggunakan IDE - IRIS Studio, Eclipse, Visual Studio Code). Ketersediaan proses bisnis yang dapat diedit di Jupyter ditunjukkan oleh hubungan antara IRIS di tingkat CI dan Jupyter di tingkat CD.Gambaran yang lebih rinci tentang integrasi dengan lingkungan pemodelan matematika diberikan di bawah ini. Pada tahap ini, menurut pendapat kami, ada banyak alasan untuk memperbaiki kehadiran di platform semua alat yang diperlukan untuk implementasi "integrasi berkelanjutan" pengembangan AI / ML (berasal dari "penerapan berkelanjutan") ke dalam solusi AI / ML secara real time.
Dan mekanisme makro utama: CT. Tanpanya, platform AI / ML tidak akan berfungsi (meskipun "real time" akan diterapkan melalui CD / CI). Inti dari CT adalah pekerjaan platform dengan "artefak" pembelajaran mesin dan kecerdasan buatan secara langsung dalam sesi kerja lingkungan pemodelan matematika: model, tabel distribusi, vektor matriks, lapisan jaringan saraf, dll. "Pekerjaan" ini, dalam banyak kasus, terdiri dari pembuatan artefak yang disebutkan di lingkungan (dalam kasus model, misalnya, "pembuatan" terdiri dari menentukan spesifikasi model dan kemudian memilih nilai parameternya - yang disebut "pelatihan" model), aplikasinya (untuk model: penghitungan dengan bantuan nilai "model" dari variabel target - perkiraan, yang termasuk dalam kategori, probabilitas suatu peristiwa, dll.) dan peningkatan artefak yang sudah dibuat dan diterapkan (misalnya, mendefinisikan ulang set variabel input model berdasarkan hasil aplikasi - untuk meningkatkan akurasi prediksi, sebagai opsi). Poin kunci dalam memahami peran CT adalah "abstraksi" dari realitas CD dan CI: CT akan mengimplementasikan semua artefak, dengan fokus pada spesifikasi komputasi dan matematis dari solusi AI / ML dalam kemampuan yang disediakan oleh lingkungan tertentu. CD dan CI akan bertanggung jawab untuk "menyediakan masukan" dan "memberikan hasil".berfokus pada spesifikasi komputasi dan matematis dari solusi AI / ML dalam kemampuan yang disediakan oleh lingkungan tertentu. CD dan CI akan bertanggung jawab untuk "menyediakan masukan" dan "memberikan hasil".berfokus pada spesifikasi komputasi dan matematis dari solusi AI / ML dalam kemampuan yang disediakan oleh lingkungan tertentu. CD dan CI akan bertanggung jawab untuk "memasok masukan" dan "memberikan hasil".
Aspek penting dari implementasi CT di InterSystems IRIS: menggunakan integrasi yang telah disebutkan dengan lingkungan pemodelan matematika, platform memiliki kemampuan untuk mengekstrak artefak dari sesi kerja yang berjalan di bawah kendalinya dalam lingkungan matematika dan (yang paling penting) mengubahnya menjadi objek data platform. Misalnya, tabel distribusi yang baru saja dibuat dalam sesi kerja Python dapat (tanpa menghentikan sesi dengan Python) ditransfer ke platform dalam bentuk, misalnya, global (multidimensi data array InterSystems IRIS) - dan digunakan untuk perhitungan di AI / ML- lain mekanisme (sudah diimplementasikan dalam bahasa lingkungan lain - misalnya, di R) - atau tabel virtual. Contoh lain: secara paralel dengan "mode normal" model (dalam sesi kerja Python), "auto-ML" dilakukan pada data masukannya:pemilihan otomatis variabel input dan nilai parameter yang optimal. Dan bersama dengan pelatihan "penuh waktu", model yang produktif dalam waktu nyata juga menerima "proposal untuk pengoptimalan" spesifikasinya - di mana kumpulan variabel masukan berubah, nilai parameter berubah (tidak lagi sebagai hasil dari pelatihan dengan Python, tetapi sebagai hasil dari pelatihan "alternatif Versi itu sendiri, misalnya, dalam tumpukan H2O), memungkinkan solusi AI / ML umum untuk secara mandiri mengatasi perubahan tak terduga dalam sifat data masukan dan fenomena simulasi.dan sebagai hasil dari pelatihan versi "alternatif" itu sendiri, misalnya, dalam tumpukan H2O), memungkinkan solusi AI / ML umum untuk secara mandiri mengatasi perubahan tak terduga dalam sifat data masukan dan fenomena simulasi.dan sebagai hasil dari pelatihan versi "alternatif" itu sendiri, misalnya, dalam tumpukan H2O), memungkinkan solusi AI / ML umum untuk secara mandiri mengatasi perubahan tak terduga dalam sifat data masukan dan fenomena simulasi.
Mari berkenalan lebih detail dengan fungsionalitas platform AI / ML dari InterSystems IRIS, menggunakan contoh prototipe kehidupan nyata.
Pada diagram di bawah ini, di sisi kiri slide, ada bagian dari proses bisnis yang mengimplementasikan eksekusi skrip di Python dan R. Di bagian tengah, ada log visual eksekusi dari beberapa skrip ini, masing-masing, di Python dan R.Segera setelah itu ada contoh konten di salah satunya dan bahasa lain ditransfer untuk dieksekusi ke lingkungan yang sesuai. Di ujung kanan - visualisasi berdasarkan hasil eksekusi skrip. Visualisasi di atas dibuat di IRIS Analytics (data diambil dari Python ke platform data IRIS InterSystems dan ditampilkan di dasbor oleh alat platform), di bagian bawah, dibuat langsung di sesi kerja R dan keluaran dari sana ke file grafik. Aspek penting: fragmen yang disajikan dalam prototipe bertanggung jawab untuk melatih model (klasifikasi status peralatan) pada data yang diterima secara real time dari proses simulator peralatan,atas perintah dari proses-monitor kualitas klasifikasi, diamati selama penerapan model. Implementasi solusi AI / ML dalam bentuk sekumpulan proses yang berinteraksi ("agen") akan dibahas di bawah ini.
Gambar 12 Interaksi dengan Python, R dan Julia dalam
proses Platform IRIS InterSystems (mereka juga merupakan "proses bisnis", "proses analitis", "pipeline", dll. - tergantung pada konteksnya), pertama-tama, dapat diedit di editor grafis proses bisnis di platform itu sendiri, dan sedemikian rupa sehingga diagram blok dan mekanisme AI / ML yang sesuai (kode program) dibuat. Saat kami mengatakan bahwa "mekanisme AI / ML diperoleh", yang kami maksud awalnya adalah hibriditas (dalam satu proses): konten dalam bahasa pemodelan matematika bersebelahan dengan konten dalam SQL (termasuk ekstensi dari IntegratedML), di InterSystems ObjectScript, dengan bahasa lain yang didukung. Selain itu, proses platform memberikan banyak sekali peluang untuk "rendering" dalam bentuk fragmen bersarang secara hierarkis (seperti yang dapat dilihat pada contoh pada diagram di bawah), yang memungkinkan untuk secara efektif mengatur bahkan konten yang sangat kompleks tanpa pernah "jatuh" dari format grafis (menjadi "non-grafis »Metode / kelas / prosedur, dll.). Artinya, jika perlu (dan diramalkan di sebagian besar proyek), semua solusi AI / ML dapat diimplementasikan dalam format grafis yang merekomendasikan diri sendiri. Perhatikan bahwa di bagian tengah diagram di bawah ini, yang menunjukkan "tingkat bersarang" yang lebih tinggi, Anda dapat melihat bahwa selain pekerjaan aktual pada pelatihan model (menggunakan Python dan R), analisis yang disebut kurva KOP dari model terlatih ditambahkan.memungkinkan secara visual (dan juga secara komputasi) untuk menilai kualitas pelatihan - dan analisis ini diimplementasikan dalam bahasa Julia (dijalankan, masing-masing, dalam kerangka Julia).
Gambar 13 Lingkungan visual untuk komposisi solusi AI / ML di InterSystems IRIS
Seperti yang telah disebutkan sebelumnya, pengembangan awal dan (dalam beberapa kasus) adaptasi mekanisme AI / ML yang sudah diterapkan di platform akan / dapat dilakukan di luar platform di editor Jupyter. Pada diagram di bawah ini, kita melihat contoh mengadaptasi proses platform yang ada (sama seperti pada diagram di atas) - ini adalah tampilan fragmen yang bertanggung jawab untuk melatih model di Jupyter. Konten Python tersedia untuk pengeditan, debugging, keluaran grafik langsung di Jupyter. Perubahan (jika perlu) dapat dilakukan dengan sinkronisasi instan ke dalam proses platform, termasuk versi produksinya. Demikian pula, konten baru dapat ditransfer ke platform (proses platform baru dibuat secara otomatis).
Gambar 14 Menggunakan Notebook Jupyter untuk mengedit mesin AI / ML di
platform InterSystems IRIS Adaptasi proses platform dapat dilakukan tidak hanya dalam format grafis atau notebook - tetapi juga dalam format "total" IDE (Integrated Development Environment). IDE ini adalah IRIS Studio (native IRIS studio), Visual Studio Code (ekstensi InterSystems IRIS untuk VSCode) dan Eclipse (Atelier plugin). Dalam beberapa kasus, tim pengembangan dapat menggunakan ketiga IDE secara bersamaan. Diagram di bawah ini menunjukkan contoh pengeditan proses yang sama di IRIS studio, di Visual Studio Code dan di Eclipse. Benar-benar semua konten tersedia untuk diedit: Python / R / Julia / SQL, ObjectScript, dan proses bisnis.
Gambar 15 Perkembangan proses bisnis IRIS InterSystems di berbagai IDE
Cara mendeskripsikan dan menjalankan proses bisnis IRIS InterSystems dalam Business Process Language (BPL) layak mendapat perhatian khusus. BPL memungkinkan untuk menggunakan "komponen integrasi siap pakai" (aktivitas) dalam proses bisnis - yang, pada kenyataannya, memberikan alasan penuh untuk menegaskan bahwa "integrasi berkelanjutan" diimplementasikan dalam InterSystems IRIS. Komponen proses bisnis yang sudah jadi (aktivitas dan koneksi di antara mereka) adalah akselerator paling kuat untuk merakit solusi AI / ML. Dan bukan hanya rakitan: berkat aktivitas dan koneksi di antara mereka, "lapisan manajemen otonom" muncul di atas pengembangan dan mekanisme AI / ML yang berbeda, yang mampu membuat keputusan sesuai dengan situasi, secara real time.
Gambar 16 Komponen proses bisnis yang siap untuk integrasi berkelanjutan (CI) pada platform IRIS InterSystems
Konsep sistem agen (alias "sistem multi-agen") memiliki posisi yang kuat dalam robotisasi, dan platform IRIS InterSystems secara organik mendukungnya melalui konstruksi "proses produk". Selain kemungkinan tak terbatas untuk "penjejalan" dari setiap proses dengan fungsionalitas yang diperlukan untuk solusi umum, memberikan sistem proses platform dengan properti "agensi" memungkinkan Anda membuat solusi efektif untuk model fenomena yang sangat tidak stabil (perilaku sosial / biosystems, proses teknologi yang dapat diamati sebagian, dll.).
Gambar 17 Pekerjaan solusi AI / ML dalam bentuk sistem proses bisnis berbasis agen di InterSystems IRIS
Kami melanjutkan ulasan kami tentang InterSystems IRIS dengan cerita tentang penggunaan platform yang diterapkan untuk menyelesaikan seluruh kelas masalah waktu nyata (pengenalan yang agak mendetail dengan beberapa praktik terbaik platform AI / ML di InterSystems IRIS terjadi di salah satu webinar kami sebelumnya ).
Mengikuti diagram sebelumnya, di bawah ini adalah diagram yang lebih rinci dari sistem agen. Diagram menunjukkan prototipe yang sama, keempat proses agen terlihat, hubungan di antara mereka digambar secara skematis: GENERATOR - mengerjakan pembuatan data oleh sensor peralatan, BUFFER - mengelola antrian data, ANALYZER - melakukan pembelajaran mesin itu sendiri, MONITOR - mengontrol kualitas pembelajaran mesin dan menyediakan sinyal tentang perlunya melatih ulang model
Gambar 18 Komposisi solusi AI / ML dalam bentuk sistem proses bisnis berbasis agen di InterSystems IRIS
Diagram di bawah ini menggambarkan fungsi otonom dari prototipe robotik lain (pengenalan pewarnaan emosional teks) untuk beberapa waktu. Di bagian atas - evolusi indikator kualitas pembelajaran model (kualitas berkembang), di bagian bawah - dinamika indikator kualitas model dan fakta pelatihan berulang (garis merah). Seperti yang Anda lihat, solusinya adalah otodidak yang efisien dan otonom, dan beroperasi pada tingkat kualitas yang ditentukan (nilai indikator kualitas tidak turun di bawah 80%).
Gambar 19 Pembelajaran berkelanjutan (mandiri) (CT) pada platform InterSystems IRIS
Kami juga menyebutkan "auto-ML" sebelumnya, tetapi diagram di bawah ini menunjukkan penggunaan fungsi ini secara mendetail menggunakan prototipe lain sebagai contoh. Diagram grafis dari sebuah fragmen proses bisnis menunjukkan aktivitas yang meluncurkan simulasi di tumpukan H2O, menunjukkan hasil simulasi ini (dominasi yang jelas dari model yang dihasilkan atas model "buatan manusia", menurut diagram komparatif kurva KOP, serta identifikasi otomatis dari "variabel paling berpengaruh" yang tersedia di kumpulan data asli). Poin penting di sini adalah penghematan waktu dan sumber daya ahli, yang dicapai karena "ML otomatis": apa yang dilakukan proses platform kami dalam setengah menit (menemukan dan melatih model yang optimal) dapat memerlukan waktu satu minggu hingga satu bulan.
Gambar 20 Integrasi "auto-ML" ke dalam solusi AI / ML berdasarkan platform InterSystems IRIS
Diagram di bawah "sedikit menurunkan klimaks", tetapi ini adalah cara yang baik untuk menyelesaikan cerita tentang kelas tugas waktu nyata yang harus diselesaikan: kami mengingatkan Anda bahwa dengan semua kemampuan platform InterSystems IRIS, pelatihan model di bawah kendalinya adalah opsional. Platform dapat mengambil dari luar apa yang disebut spesifikasi model PMML, dilatih dalam alat di luar kendali platform - dan menerapkan model ini secara real time sejak spesifikasi PMML -nya diimpor .... Penting untuk diperhatikan bahwa tidak semua artefak AI / ML dapat direduksi menjadi spesifikasi PMML, meskipun sebagian besar artefak yang paling umum mengizinkannya. Jadi, platform IRIS InterSystems adalah "sirkuit terbuka" dan tidak berarti "perbudakan platform" bagi pengguna.
Gambar 21 Penerapan model sesuai dengan spesifikasi PMML di platform InterSystems IRIS
Mari daftar keunggulan platform tambahan InterSystems IRIS (untuk kejelasan, dalam kaitannya dengan kontrol proses) yang sangat penting dalam otomatisasi kecerdasan buatan dan pembelajaran mesin waktu nyata:
- Alat integrasi lanjutan dengan semua sumber data dan konsumen (APCS / SCADA, peralatan, MRO, ERP, dll.)
- - (Hybrid Transaction/Analytical Processing, HTAP)
- AI/ML- Python, R, Julia
- - (-) AI/ML-
- Business Intelligence AI/ML-
- API AI/ML- /SCADA, - , . .
Solusi AI / ML yang didasarkan pada platform InterSystems IRIS dengan mudah disesuaikan dengan infrastruktur TI yang ada. Platform InterSystems IRIS menyediakan solusi AI / ML yang sangat andal dengan mendukung konfigurasi yang toleran dan tahan bencana serta penerapan yang fleksibel di lingkungan virtual, di server fisik, di cloud pribadi dan publik, dan container Docker.
Jadi, InterSystems IRIS adalah platform komputasi AI / ML waktu nyata yang serba guna. Keserbagunaan platform kami dipastikan dalam praktiknya dengan tidak adanya batasan de facto pada kompleksitas penghitungan yang diimplementasikan, kemampuan InterSystems IRIS untuk menggabungkan (secara real time) pemrosesan skenario dari berbagai industri, kemampuan beradaptasi yang luar biasa dari setiap fungsi dan mekanisme platform untuk kebutuhan pengguna tertentu.
Gambar 22 InterSystems IRIS - platform komputasi AI / ML real-time universal
Untuk interaksi yang lebih substantif dengan pembaca kami yang tertarik dengan materi yang disajikan di sini, kami merekomendasikan agar Anda tidak hanya membacanya dan melanjutkan dialog "langsung". Kami siap memberikan dukungan dengan perumusan skenario AI / ML real-time terkait dengan spesifikasi perusahaan Anda, kami akan melakukan prototipe bersama pada platform IRIS InterSystems, kami akan membentuk dan menerapkan dalam praktiknya peta jalan untuk pengenalan kecerdasan buatan dan pembelajaran mesin ke dalam proses produksi dan manajemen Anda. Alamat email kontak untuk grup ahli AI / ML kami adalah MLToolkit@intersystems.com .