Pembaruan EAP 11 lainnya baru saja dirilis untuk plugin yang disebut Big Data Tools, tersedia untuk instalasi di IntelliJ IDEA Ultimate, PyCharm, dan DataGrip. Anda dapat menginstalnya melalui halaman plugin di situs atau di dalam IDE.
Big Data Tools adalah plugin yang memungkinkan Anda terhubung ke cluster Hadoop dan Spark. Ini menyediakan pemantauan node, aplikasi dan tugas individu. Selain itu, notebook Zeppelin dapat dibuat, dijalankan, dan diedit di IDEA dan DataGrip. Anda tidak perlu beralih ke antarmuka web Zeppelin dan bekerja dengan damai tanpa meninggalkan IDE favorit Anda. Plugin ini memungkinkan Anda menavigasi kode dengan mudah, melakukan penyelesaian cerdas, pemfaktoran ulang, dan perbaikan cepat langsung di dalam laptop.
Jenis konfigurasi peluncuran baru untuk spark-submit
— Spark- IDE, . IDE, PyCharm. , spark-submit bin Spark . : - . .
spark-submit , . , SSH, spark-submit . bash- , . , , - .
Big Data Tools , . run configuration, spark-submit, SSH, - . .
Apache Zeppelin DataGrip
Zeppelin DataGrip. DataGrip , - . , SQL .
, SQL. , Matplotlib Scala DataGrip .
- Spark-submit IntelliJ IDEA, DataGrip PyCharm (BDIDE-843).
- Apache Zeppelin DataGrip (BDIDE-1045).
- Zeppelin (BDIDE-906).
- Spark Monitoring (BDIDE-1159).
- Zeppelin (BDIDE-1172).
- Zeppelin: , (, HTML Zeppelin) (BDIDE-1132).
- Zeppelin: – IntelliJ IDEA 2020.1 Zeppelin, (BDIDE-1184).
- Zeppelin: – , /api/version (BRIDE-1199).
- Zeppelin: – (BDIDE-1171).
- Zeppelin: – Structure Zeppelin (BDIDE-1135).
- Zeppelin: Fixed – IDEA , (BDIDE-1208).
- Zeppelin: – "Open in browser" (BDIDE-1142).
- Zeppelin: – (BDIDE-1129).
- Spark Monitoring: – JSON, Storages, (BDIDE-1162).
- Remote FS: – Azure (BDIDE-1141).
- Remote FS: – (BDIDE-1192).
- Remote FS: – (BDIDE-1202).
- General: – (BDIDE-1195).
- HTTP Proxy: – Spark Hadoop SOCKS proxy (BDIDE-1209).
- HTTP Proxy: – SCOKS proxy (BDIDE-1215).
- HTTP Proxy: – (BDIDE-1216).
, Big Data Tools, . , Twitter.
, , , .
Big Data Tools