Bagaimana melakukan pencarian pada dokumen yang terkumpul selama hampir 100 tahun. Pengalaman NPO Energomash dan ABBYY

Banyak orang tahu bahwa ABBYY bergerak dalam pemrosesan dan penggalian data dari berbagai dokumen. Tetapi produk kami juga memiliki kemungkinan menarik lainnya. Secara khusus, dengan menggunakan solusi ABBYY Intelligent Search, Anda dapat dengan cepat dan mudah mencari informasi penting dalam dokumen elektronik dari sistem perusahaan. Ini sudah digunakan oleh perusahaan besar Rusia, misalnya, NPO Energomash , produsen mesin roket .



Praktik jangka panjang menunjukkan bahwa waktu yang dibutuhkan untuk menghadirkan mesin luar angkasa ke pasar sejak awal pengerjaan adalah 5 hingga 7 tahun. Pada saat yang sama, untuk mempertahankan posisi terdepan, perlu untuk mengurangi waktu pengembangan dan produksi menjadi 3 - 4 tahun. Selain itu, semakin ketatnya persaingan telah menyebabkan kebutuhan untuk secara signifikan mengurangi biaya produksi mesin sebesar 30-50%.



Indikator ini tidak dapat dicapai tanpa pengenalan teknologi digital modern. Perusahaan paling maju menggunakan pendekatan inovatif tidak hanya di semua tahap produksi, tetapi juga di semua tahap siklus hidup produk mereka. Semakin banyak perusahaan beralih ke digital, semakin akut pertanyaannya: bagaimana cara menggunakan data besar untuk mendapatkan keuntungan maksimal bagi diri mereka sendiri?



Lebih dari 90 tahun kerja NPO Energomash telah mengumpulkan volume dokumen berusia seabad (baik kertas maupun elektronik) dengan informasi berharga tentang perkembangan penguji dan desainer. Sebagian besar dokumen sudah tersimpan di sistem informasi (IS) perusahaan. Menurut penelitian IDC, rata-rata, karyawan organisasi besar menggunakan 5-6 IS internal. Rata-rata, sekitar 36% waktu dihabiskan untuk mencari informasi - di perusahaan besar, ini adalah ribuan jam kerja per hari.



Hari ini kami akan memberi tahu Anda bagaimana kami membantu NPO Energomash membuat sistem pengambilan informasi cerdas perusahaan (KIIPS) berdasarkan ABBYY Intelligent Search - senyaman dan secepat mesin pencari populer.

Apa yang dilakukan Energomash dan apa hubungannya Gagarin dengannya

Sejak berdirinya, pada 15 Mei 1929, Energomash telah memproduksi lebih dari 12 ribu mesin untuk kendaraan peluncur tidak hanya di Rusia, tetapi juga di luar negeri. "Motor" ini digunakan untuk meluncurkan satelit Bumi buatan pertama, pergi ke luar angkasa "Vostok-1" dengan kosmonot pertama Yuri Gagarin di dalamnya, menerbangkan pesawat ruang angkasa "Buran" dan kendaraan peluncur Amerika Atlas dan Antares masih diluncurkan. Misalnya, roket Atlas V 26 Maret 2020 yang dilengkapi dengan mesin Rusia, membawa sistem komunikasi satelit strategis militer AS ke orbit. Pada paruh pertama tahun 2020, mesin yang dikembangkan oleh Energomash berhasil bekerja dalam 11 peluncuran luar angkasa, yaitu 24,4% dari seluruh peluncuran di dunia.



Saat ini Energomash adalah bagian dari perusahaan negara Roscosmos dan mengepalai struktur terintegrasi penggerak roket, yang mencakup perusahaan terkemuka di industri ini.



Dalam beberapa tahun terakhir, perusahaan telah secara aktif memperkenalkan solusi TI skala besar yang memanfaatkan analisis data, pembelajaran mesin, dan semua kemampuan teknologi pemrosesan bahasa alami secara ekstensif. Perusahaan telah menetapkan tujuan strategis manufaktur digital sepenuhnya pada tahun 2021.



Misalnya, dalam kerangka proyek " Desain digital dan teknologi produksi»Salah satu tugas utama adalah penerapan sistem PLM (sistem manajemen siklus hidup produk otomatis). Tujuannya adalah untuk memastikan pembuatan dokumentasi desain elektronik (ECD) dan pemodelan berdasarkan pengoperasian mesin dan proses kerja lainnya di unit teknologi dan produksi NPO Energomash dan kesiapan untuk pertukaran ECD antara perusahaan industri.

Mengapa perlu mencari alam semesta Energomash

Untuk mencapai tujuan strategis dalam menciptakan produksi digital, perusahaan menjalankan berbagai macam proyek berdasarkan pekerjaan dengan data dalam jumlah besar. Salah satunya adalah proyek pembuatan sistem temu kembali informasi cerdas perusahaan.



Tujuan dari proyek ini adalah untuk melestarikan, meningkatkan, dan memanfaatkan produksi digital pengetahuan dan kompetensi perusahaan, yang dikumpulkan selama beberapa dekade kerja.



Dalam kerangka proyek, dua tugas diselesaikan:



1). Permudah desainer dan teknisi untuk menemukan informasi berguna dalam dokumen dari tahun-tahun sebelumnya.



Banyak perkembangan diciptakan di Uni Soviet, tetapi tidak semuanya dilaksanakan, karena investasi tidak selalu dialokasikan untuk mereka atau tingkat perkembangan teknologi tidak memungkinkan penyelesaian rencana. Di zaman kita, perkembangan seperti itu bisa menemukan kehidupan kedua. Untuk melakukan ini, perusahaan meminta desainer berpengalaman untuk membagikan karya penelitian dan gambar mereka, yang masih di atas kertas. Ini akan membantu mendigitalkan data berharga, melestarikannya selama bertahun-tahun, dan mentransfer pengetahuan kepada generasi muda ilmuwan dan insinyur.



Tentu saja, pencarian dokumen dalam sistem elektronik sudah ada di Energomash sebelumnya, tetapi tidak mudah bagi karyawan untuk menemukan informasi yang mereka butuhkan untuk bekerja.





2). Sederhanakan dan percepat pencarian data untuk departemen layanan: akuntan, pengacara, dan spesialis lainnya yang menyusun, mengedit, mengoordinasikan dokumen dalam sistem akuntansi, dan bertukar informasi.



Perusahaan menginginkan karyawan untuk dapat mengumpulkan dan menganalisis keuangan, manufaktur, dan informasi relevan lainnya yang mereka butuhkan untuk menyelesaikan pekerjaan mereka dari sistem perusahaan yang berbeda hanya dengan memasukkan kueri dalam satu string pencarian. Diperlukan untuk membuat satu titik akses ke data yang disimpan dalam sistem informasi perusahaan, dengan penyediaan akses terbatas ke informasi tergantung pada otoritas pengguna di setiap sistem.



Mengapa ini penting? Dalam 7 tahun, lebih dari setengah dari semua data di dunia akan disimpan dalam sistem perusahaan, berikut dariLaporan usia Seagate dan IDC Data . Untuk selalu memiliki informasi yang diperlukan, Anda perlu menemukannya dengan cepat. Oleh karena itu, menurut studi IDC dan ABBYY "The Market for Artificial Intelligence in Russia", perwakilan dari IT (48%) dan unit bisnis (33%) melihat peluang besar dalam menggunakan AI untuk pencarian perusahaan dan klasifikasi dokumen dalam dua tahun ke depan.



Untuk mengatasi tugas-tugas ini, perusahaan membutuhkan pencarian ujung ke ujung yang nyaman di berbagai IP. Energomash dianggap sebagai beberapa mesin pencari, tetapi pada akhirnya memutuskan untuk mencoba ABBYY Intelligent Search. Pilihannya dipengaruhi, pertama, oleh ketersediaan teknologi pemrosesan bahasa alami yang memungkinkan Anda menemukan dokumen yang relevan dengan kueri penelusuran berdasarkan makna, dan bukan hanya dengan kata kunci. Kedua, kemampuan untuk membedakan hak akses pengguna ke hasil pencarian. Kami akan memberi tahu Anda lebih banyak tentang ini nanti, tetapi sekarang - tentang bagaimana kami memulainya.

"Keluar" pertama untuk menelusuri

Energomash memutuskan untuk memeriksa pekerjaan pencarian cerdas pada 3 ribu dokumen dari database informasi (IDB) pekerjaan penelitian, desain dan perhitungan.

Untuk ini, ABBYY telah mengembangkan prototipe konektor ke IDB, yang menghubungkan ABBYY Intelligent Search ke basis dokumen. Konektor adalah program java yang digunakan untuk memuat dokumen ke dalam indeks. Bagaimana itu bekerja?

1). Pertama kami membangun indeks pencarian teks lengkap

Indeks teks lengkap , secara kasar, adalah daftar semua kata dalam dokumen dan metadatanya (nomor dokumen, judul, tanggal pembuatan). Indeks teks lengkap dibuat cukup cepat dan memungkinkan Anda untuk mencari informasi yang Anda butuhkan dengan kata kunci - yang ada di dalam teks.









Untuk membuat indeks teks lengkap, Anda memerlukan konektor. Ini menghubungkan solusi pencarian ke sistem informasi tertentu dan mengumpulkan ("indeks") karakteristik setiap dokumen, misalnya:

• nama IP tempat file disimpan,
• tanggal modifikasi terakhir dokumen,
• versi dokumen di sumbernya,
• format dokumen,
• kode-kode bahasa di mana dokumen itu dibuat,
• jalur ke dokumen di IS,
• tanggal pengindeksan terakhir dokumen
• dan sebagainya.

Karakteristik ini di masa mendatang akan membantu tidak hanya mempercepat pencarian dokumen, tetapi juga menyederhanakan logika bekerja dengan mereka untuk konektor. Secara khusus, konektor menganalisis versi berbeda dari dokumen yang sama untuk menempatkan hanya versi terakhir dalam indeks. Konektor juga menerima informasi tentang dokumen yang telah dihapus dari sumbernya.



Perayap (robot pencari) yang terpasang di ABBYY Intelligent Search membantu membuat indeks pencarian. Dia melakukan polling konektor secara berkala, memeriksa apakah dokumen baru telah muncul di IS, dokumen mana yang telah dihapus, bagaimana hak akses ke dokumen telah berubah. Sejalan dengan itu, indeks diperbarui pada frekuensi tertentu.



Tidak hanya dokumen teks yang diindeks, tetapi juga file grafik. Misalnya, dapat dipindai salinan gambar dalam format JPEG atau PDF tanpa lapisan teks. Saat bekerja dengan gambar, solusi pencarian terlebih dahulu secara otomatis mengenali teks dan menambahkannya ke indeks pencarian.



Selain itu, sistem dapat menangani file arsip ZIP, RAR, TAR - asalkan tidak dilindungi sandi. Arsip dibongkar, gambar dari mereka dikenali, teks diindeks.







Indeks pencarian berisi sekumpulan kolom yang berubah-ubah, yang juga dapat digunakan untuk memfilter hasil pencarian (penulis dokumen, tanggal pembuatan, nomor produk, dll.).

2). Kemudian kami menerapkan teknologi pemrosesan bahasa alami

Di latar belakang, indeks pencarian diperkaya dengan informasi semantik . Untuk ini, kami menggunakan ontologi linguistik semantik yang telah kami miliki - dengan kata lain, deskripsi objek dan fenomena dunia nyata. Kami telah membicarakan tentang bagaimana kami membuat model ini di Habré di sini dan di sini .



Menggunakan pembelajaran mesin dan teknologi pemrosesan bahasa alami, setiap dokumen menganalisis sintaks kalimat, morfologi, dan makna semantik secara harfiah dari setiap kata dalam teks. Informasi ini melengkapi indeks pencarian dan memungkinkan pencarian bukan berdasarkan kata kunci, tetapi dengan sinonim, hiponimdan konstruksi lain yang menyampaikan arti yang sama tetapi dalam ekspresi yang berbeda. Dengan demikian, mesin pencari lebih akurat mencari informasi di sumber perusahaan.







Sangat mudah jika rekan kita telah merumuskan permintaan pencarian dengan kata-katanya sendiri, dan ingin menemukan dokumen 40 tahun yang lalu, di mana, mungkin, subjek yang dia butuhkan disebut dengan istilah lain. Misalnya, untuk kueri "cacat bingkai", sistem akan memilih semua kemungkinan ekspresi semantik yang terkait dengan istilah ini. Hasilnya mungkin termasuk " defleksi ", " lubang ", " ketegaran " atau " fakta pelanggaran dokumentasi teknologi desain ."



Berikut contoh lainnya:





Hasil penelusuran untuk " fluktuasi daya dorong " juga akan menampilkan teks yang berisi frasa " variasi daya dorong ".



Teknologi pemrosesan bahasa alami juga membantu mesin telusur secara otomatis memperbaiki kesalahan ejaan dalam teks kueri. Misalnya, sistem akan memahami bahwa terdapat kesalahan pada kata "bantalan" dan akan segera mencari dokumen yang menyebutkan "bantalan".

Hasil peluncuran pertama

Untuk mengevaluasi pekerjaan mesin pencari yang cerdas, spesialis Energomash menyelesaikan sekitar 30 pertanyaan untuk dokumen IDB menggunakan mesin pencari yang terpasang pada IDB dan menggunakan ABBYY Intelligent Search . Kemudian mereka membandingkan hasil pencarian: dokumen mana yang ditemukan oleh kedua sistem, frase mana yang disorot dalam potongan. Akibatnya, pencarian yang dibangun ke dalam IDB tidak memberikan hasil untuk beberapa query, karena hanya dapat mendeteksi kata kunci, bukan kata terkait. ABBYY Intelligent Search telah mengembalikan dokumen yang relevan dengan semua kueri.



Adapun kecepatan, sekaligus memenuhi persyaratan untuk platform perangkat kerastanggapan pencarian tidak melebihi sepersekian detik, seperti pada mesin pencari populer. Kueri paling kompleks membutuhkan waktu maksimal 3 detik.



Setelah proyek percontohan yang berhasil, Energomash memutuskan untuk menggunakan solusi ABBYY Intelligent Search di jantung Sistem Pencarian Informasi Cerdas Perusahaan.

Mari melangkah lebih jauh

Energomash menghubungkan 7 sumber perusahaan ke pencarian: sistem manajemen dokumen elektronik LanDocs, penyimpanan file, IDB, sistem dukungan siklus hidup produk TeamCenter, sistem manajemen sumber daya Galaxy ERP dan AMM, sistem informasi manajemen proyek. Indeks terpisah telah dibuat untuk setiap sistem informasi. Hal ini membuat mesin pencari fleksibel dalam administrasi dan memungkinkan untuk membangun kembali indeks untuk setiap sistem secara terpisah, menetapkan kondisi baru. Akses ke Sistem Pencarian Perusahaan diatur melalui portal internal perusahaan di halaman utama. Proyek ini dilaksanakan bersama dengan mitra, LANIT , grup perusahaan IT terbesar di Rusia.



Modul utama dari sistem pencarian perusahaan:

• halaman utama permintaan pencarian dan hasil pencarian;
• panel admin (menyiapkan indeks, filter, metadata untuk setiap sistem informasi);
• statistik jumlah dokumen (menampilkan jumlah dokumen dalam indeks untuk setiap sistem informasi untuk periode).

Sistem pencarian perusahaan telah dioperasikan secara komersial sejak 1 Juli 2020. Pada saat peluncuran, 500 ribu dokumen telah diindeks. Diharapkan pada akhir tahun, dengan aktifnya penggunaan sistem dan sambungan sumber informasi baru, jumlah dokumen dalam indeks tersebut akan mencapai lebih dari 1 juta.

Bagaimana memastikan keamanan

Seperti bisnis besar lainnya, NPO Energomash memiliki dokumen yang tidak dimaksudkan untuk diakses oleh semua karyawan. Persyaratan keamanan utama saat meluncurkan proyek adalah menyediakan akses ke dokumen sesuai dengan model peran masing-masing sistem informasi. Untuk ini dilakukan:

1). Penyimpanan informasi lokal

Solusi pencarian ABBYY digunakan pada server terpisah di sirkuit internal NPO Energomash. Semua indeks pencarian dan cadangannya jika terjadi kehilangan dan pengaturannya disimpan di sana.

2). Model peran sistem informasi

Untuk keamanan, pembedaan hak akses pengguna atas hasil pencarian untuk setiap sistem informasi diatur. Semua sistem perusahaan yang terhubung ke otorisasi domain dukungan ABBYY Intelligent Search. Pengguna masuk ke sistem di bawah akun domain, menjalankan permintaan, dan melihat dokumen di hasil pencarian, dengan mempertimbangkan pengaturan pratinjau dokumen untuk setiap sistem informasi dan tingkat akses yang dibuat langsung di sistem pencarian perusahaan itu sendiri, dan dengan mempertimbangkan akses ke dokumen di sistem informasi sumber itu sendiri ... Jika pengguna memiliki hak untuk bekerja dengan dokumen di sistem sumber, maka transisi ke dokumen asli dapat dilakukan langsung dari sistem pencarian perusahaan dengan mengklik link.

Rencana untuk masa depan

Menurut ide Energomash, pencarian informasi yang cerdas akan membantu menyederhanakan dan mempercepat proses bisnis di perusahaan, misalnya, secara tidak langsung mempercepat masuknya produk baru ke pasar, meningkatkan kualitas, dan mengurangi biaya. Ide dan proyek yang telah disimpan dalam dokumen lama dapat digunakan dalam perkembangan modern perusahaan. Misalnya, ciptakan sesuatu yang benar-benar baru berdasarkan perkembangan dan tetap berada di depan pesaing di pasar global.



Mari kita juga menyebutkan rencana kita untuk masa depan:

• Di masa depan, direncanakan untuk menghubungkan sumber informasi perusahaan lain yang merupakan bagian dari struktur Energomash ke sistem pencarian perusahaan. Dalam kasus ini, indeks pencarian dapat diperluas hingga 2 juta dokumen.
• , , – . , - . , , : , - , . , , . , , .
• Energomash juga berencana untuk menjajaki kemungkinan membangun laporan analitis yang kompleks menggunakan fungsi pencarian.

---

Menurut pendapat Anda, tugas apa lagi yang dapat Anda selesaikan dengan bantuan pencarian perusahaan?