Clever Geek Handbook

Alat Data Besar EAP 10: Terowongan SSH, Pemfilteran Aplikasi, Modul Khusus, dan Lainnya

Versi berikutnya dari plugin Big Data Tools baru saja dirilis - plugin untuk IntelliJ IDEA Ultimate, DataGrip, dan PyCharm yang menyediakan integrasi dengan Hadoop dan Spark, memungkinkan Anda untuk mengedit dan meluncurkan buku catatan interaktif di Zeppelin.



Tujuan utama dari rilis ini adalah untuk memperbaiki masalah sebanyak mungkin dan meningkatkan plugin dari dalam, tetapi dua perbaikan penting terlihat dengan mata telanjang:



  • Menghubungkan ke Hadoop dan Spark sekarang dapat dilakukan melalui terowongan SSH, dibuat dengan beberapa klik mouse;
  • Pemantauan Hadoop dapat membatasi jumlah data yang dimuat saat melihat daftar aplikasi.




Terowongan SSH



Seringkali, server yang kita butuhkan tidak dapat diakses secara langsung, misalnya, jika terletak di dalam sirkuit perusahaan yang dilindungi atau ditutup oleh aturan khusus di firewall. Untuk masuk ke dalam, Anda dapat menggunakan semacam tunnel atau VPN. Terowongan paling sederhana, yang selalu ada, adalah SSH.



Anda dapat membuat terowongan dengan satu perintah konsol:



ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server


File akan sedikit membantu mengotomatiskan proses ~/.ssh/config, di mana Anda menyimpan parameter koneksi sekali dan kemudian menggunakan:



Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user


ssh -f -N spark — , IP-. .



.



-, - . -f -N -L? , — ? ? , , .



-, , IDE. , , , IDE .



, Big Data Tools SSH-.





, , SSH.



Enable tunneling :



  • Zeppelin
  • HDFS
  • Hadoop
  • Spark Monitoring


, , SSH. : , , , .



, . - , SSH, VPN .



BDIDE-1063 YouTrack.





, Spark Monitoring , , .





, .



Big Data Tools , . , .



, .



BDIDE-1077.



Zeppelin



Zeppelin JAR-. Big Data Tools , IDE .



Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.



Maven JAR-. , -, .



. "User dependencies":





BDIDE-1087.





Big Data Tools — , . , . EAP 10 , Spark Monitoring.





More articles:


All Articles