Clever Geek Handbook

Kami terus menginternasionalkan pencarian alamat menggunakan Sphinx atau Manticore. Sekarang Metaphone

Ini adalah kelanjutan dari publikasi ā€œ Internasionalisasi Pencarian Alamat Kota. Menerapkan Soundex berbahasa Rusia di Pencarian Sphinx ā€, di mana saya membahas cara mengimplementasikan dukungan untuk algoritme Soundex fonetik di Pencarian Sphinx, untuk teks yang ditulis dalam Sirilik. Dukungan Soundex sudah tersedia untuk teks Latin. Ini sama dengan Metphone, untuk alfabet Latin, tetapi tidak untuk alfabet Sirilik, tetapi kami akan mencoba memperbaiki fakta yang mengganggu ini dengan bantuan transliterasi, ekspresi reguler, dan file.





Ini adalah kelanjutan langsung, di mana kami akan menganalisis bagaimana menerapkan Metaphone asli, Metaphone Rusia (dalam arti tidak perlu transliterasi), Caverphone, dan kami tidak akan dapat membuat Metaphone Ganda.





Implementasinya cocok untuk platform Sphinx Search dan Manticore Search.





Pada akhirnya, mari kita lihat bagaimana Metaphone memandang rakomakophone .





Gambar Docker





Siapkan gambar buruh pelabuhan tkachenkoivan / searchfonetic sehingga Anda bisa "merasakan" hasilnya. Semua indeks dari publikasi ini dan dari yang sebelumnya telah ditambahkan ke gambar, tetapi, perhatian, nama indeks dari publikasi sebelumnya tidak sesuai dengan apa yang disimpan dalam gambar. Mengapa? Karena pikiran yang baik muncul setelahnya.





Penjelasan tentang algoritme, semuanya sama, diambil dari publikasi " algoritme fonetik ". Saya akan mencoba menduplikasi teks yang tertulis di dalamnya sesedikit mungkin.





Metaphone Asli

Ini diterapkan dengan cara dasar, ekspresi reguler untuk transliterasi dibuat:





	regexp_filter = (|) => a
	regexp_filter = (|) => b
	regexp_filter = (|) => v
	ā€¦

Dan nyalakan metafon :





morphology = metaphone

, Soundex. , , , Soundex , Soundex, ā€“ , .





, , , Metaphone + . .





Sphinx blend_chars. , Sphinx , , , , ā€“ , , , .., .. , , , , Ā«&Ā». Ā«M&Mā€™sĀ» ? Ā«&Ā»? blend_chars



.





, blend_chars



:





blend_chars = U+0020

, - ā€œ ā€, , , . , , .





mysql> select * from metaphone where match('');
+------+--------------------------------------+-----------+---------------------------+
| id   | aoguid                               | shortname | offname                   |
+------+--------------------------------------+-----------+---------------------------+
| 1130 | e21aec85-0f63-4367-b9bb-1943b2b5a8fb |         |               |
+------+--------------------------------------+-----------+---------------------------+

, Ā« Ā», call keywords



: 





mysql> call keywords (' ', 'metaphone');
+------+---------------+------------+
| qpos | tokenized     | normalized |
+------+---------------+------------+
| 1    | morisa toreza | MRSTRS     |
| 1    | morisa        | MRS        |
| 2    | toreza        | TRS        |
+------+---------------+------------+

, : Ā«morisaĀ», Ā«torezaĀ» Ā«morisa torezaĀ», Metaphone, Ā«Ā».





Metaphone Sphinx Search. , . , , :





regexp_filter = [ ] =>

Ā« Ā», , , .





, , , .





Caverphone , .





mysql> call keywords (' ', 'caverphone');
+------+-----------+------------+
| qpos | tokenized | normalized |
+------+-----------+------------+
| 1    | mrsa trza | mrsa trza  |
| 1    | mrsa      | mrsa       |
| 2    | trza      | trza       |
+------+-----------+------------+

mysql> select * from caverphone where match('');
Empty set (0.00 sec)

Soundex ( ), Sphinx, , , , , Ā«morisaĀ» Ā«torezaĀ» , Ā«morisa torezaĀ» :





mysql> call keywords (' ', 'simple_soundex');
+------+---------------+---------------+
| qpos | tokenized     | normalized    |
+------+---------------+---------------+
| 1    | morisa toreza | morisa toreza |
| 1    | morisa        | m620          |
| 2    | toreza        | t620          |
+------+---------------+---------------+

blend_chars



ā€“ , . metaphone. ( ) ā€“ : , .





.





Double Metaphone

Metaphone , , , .





, , Metaphone . , , , , DoubleMetaphone.java. , Ā«CĀ», , .





, , ā€“ , , , Sphinx Manticore.





, Metaphone . , . Sphinx . .





, , Java, Commons Codec. ā€“ , . , ā€“ , .





, , , . ā€“ .





, , :





DoubleMetaphone dm = new DoubleMetaphone();
String metaphone1 = dm.doubleMetaphone("Text", false);
String metaphone2 = dm.doubleMetaphone("Text", true);

metaphone1



metaphone2



.





ā€“ .





, Commons Codec. , . Metaphone , , . , : , , .





Sphinx .





Metaphone

.





. , . Ā« Ā», Ā« MetaphoneĀ».





, , , .





, , . , Ā« Ā», Ā«Ā», Ā«Ā» , :





mysql> call keywords (' ', 'rus_metaphone');
+------+--------------+--------------+
| qpos | tokenized    | normalized   |
+------+--------------+--------------+
| 1    |        |        |
| 2    |         |         |
+------+--------------+--------------+

. , , GitHub Gist manticore.conf.





  • :





regexp_filter = (?i)(|||) => 
regexp_filter = (?i)(||) => 
regexp_filter = (?i)(||) => 
regexp_filter = (?i)() =>

  • , , , , , :





regexp_filter = (?i)()(||||||||||||||||) => \2
regexp_filter = (?i)()(||||||||||||||||) => \2
regexp_filter = (?i)()(||||||||||||||||) => \2
regexp_filter = (?i)()(||||||||||||||||) => \2
regexp_filter = (?i)()(||||||||||||||||) => \2
regexp_filter = (?i)()(||||||||||||||||) => \2

  • , 





regexp_filter = (?i)\b => 
regexp_filter = (?i)\b => 
regexp_filter = (?i)\b => 
regexp_filter = (?i)\b => 
regexp_filter = (?i)\b => 
regexp_filter = (?i)\b => 
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    





regexp_filter = (?i)(||) =>

Caverphone

.





  • , :





regexp_filter = (A|a) => a
regexp_filter = (B|b) => b
ā€¦

, , , , .





  • e 





regexp_filter = e\b =>

  • , , :





regexp_filter = \b(cough) => cou2f
regexp_filter = \b(rough) => rou2f
ā€¦
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    





regexp_filter = (cq) => 2q
regexp_filter = (ci) => si
ā€¦

  • a, ā€” 3





regexp_filter = (?i)\b(a|e|i|o|u|y) => A
regexp_filter = (?i)(a|e|i|o|u|y) => 3
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    





regexp_filter = (j) => y
regexp_filter = \b(y3) => Y3
ā€¦

  • 2





regexp_filter = 2 =>

  • 3, A





regexp_filter = 3\b => A

  • 3





regexp_filter = 3 =>

10 .





:





mysql> select * from caverphone where match ('');
+------+--------------------------------------+-----------+------------------+
| id   | aoguid                               | shortname | offname          |
+------+--------------------------------------+-----------+------------------+
|    5 | 01339f2b-6907-4cb8-919b-b71dbed23f06 |         |          |
|  387 | 4b919f60-7f5d-4b9e-99af-a7a02d344767 |         |            |
+------+--------------------------------------+-----------+------------------+

Ā«Ā» Ā«Ā». , , , Daitch Mokotoff Soundex - Ā«Ā»:





mysql> select * from daitch_mokotoff_soundex where match ('');
+------+--------------------------------------+-----------+--------------+
| id   | aoguid                               | shortname | offname      |
+------+--------------------------------------+-----------+--------------+
|  387 | 4b919f60-7f5d-4b9e-99af-a7a02d344767 |         |        |
|  541 | 69b8220e-a42d-4fec-a346-1df56370c363 |         |        |
+------+--------------------------------------+-----------+--------------+

: 





mysql> call keywords ('  ', 'caverphone');
+------+-----------+------------+
| qpos | tokenized | normalized |
+------+-----------+------------+
| 1    | lnna      | lnna       |
| 2    | lnna      | lnna       |
| 3    | lna       | lna        |
+------+-----------+------------+


mysql> call keywords ('  ', 'daitch_mokotoff_soundex');
+------+-----------+------------+
| qpos | tokenized | normalized |
+------+-----------+------------+
| 1    | 866       | 866        |
| 2    | 8616      | 8616       |
| 3    | 866       | 866        |
+------+-----------+------------+

, , , - . , .





: .

, , . Just for fun.





, rock the microphone?! , Metaphone . !





-, blend_chars, rock the microphone, :





blend_chars = U+0020

- metaphone, .





keywords



Sphinx:





mysql> call keywords ('', 'metaphone');
+------+-------------+------------+
| qpos | tokenized   | normalized |
+------+-------------+------------+
| 1    | rakomakofon | RKMKFN     |
+------+-------------+------------+

rock the microphone:





mysql> call keywords ('rock the microphone', 'metaphone');
+------+---------------------+------------+
| qpos | tokenized           | normalized |
+------+---------------------+------------+
| 1    | rock the microphone | RK0MKRFN   |
| 1    | rock                | RK         |
| 2    | the                 | 0          |
| 3    | microphone          | MKRFN      |
+------+---------------------+------------+

RK0MKRFN, RKMKFN, 2(!). the , RKMKRFN:





mysql> call keywords ('rock microphone', 'metaphone');
+------+-----------------+------------+
| qpos | tokenized       | normalized |
+------+-----------------+------------+
| 1    | rock microphone | RKMKRFN    |
| 1    | rock            | RK         |
| 2    | microphone      | MKRFN      |
+------+-----------------+------------+

RKMKRFN RKMKFN, 1! .





Ā«theĀ», stopwords , - blend_chars = U+0020



Ā«theĀ» . , 1, .





Harapan qsuggest



itu tidak menjadi kenyataan - tidak akan memberi petunjuk. Mengapa? Anda dapat memperhatikan bahwa ketika Anda memanggil keywords



ada dua kolom tokenized



dan normalized



, qsuggest



memberikan petunjuk pada kolom tersebut tokenized



dan mengukur jarak Levenshtein relatif terhadapnya, qsuggest



tidak masalah bahwa di sana, di normalized



, jaraknya adalah 1.





Oleh karena itu, observasi itu lucu, tetapi tidak praktis.







More articles:


All Articles