Kami mengunduh 10 juta notebook Jupyter dari Github - dan inilah yang kami temukan.

Halo, Habr! 





Tim Datalore by JetBrains sedang berhubungan . Kami ingin membagikan kepada Anda hasil analisis dari beberapa juta repositori Github yang tersedia untuk umum dengan notebook Jupyter. Kami telah mengunduh laptop untuk mendapatkan lebih banyak wawasan numerik tentang status terkini dari alat ilmu data yang paling populer.









Terinspirasi oleh penelitian dari tim Design Lab di UC San Diego, kami mengunduh laptop Jupyter dua kali, pada Oktober 2019 dan pada Oktober 2020. 





Dua tahun lalu, ada 1,23 juta laptop di domain publik. Pada Oktober 2020, jumlah laptop bertambah 8 kali lipat, dan kami dapat mengunduh 9,72 juta file. Kami menjadikan kumpulan data ini publik - petunjuk pengunduhan dapat ditemukan di akhir postingan.





Datalore . Datalore β€” Jupyter- , JetBrains. , , Datalore.





, . , @JBDatalore contact@datalore.jetbrains.com





.





data science

R Julia , Python Jupyter-.





, Bash, MatLab Scilab, , , , : Scala, C++ Java.





. , , β€œnan”.









Python 2 Python 3 2018, 2019 2020 .









Python 2





Python 3





Other languages





2018





52,5%





43,8%





3,7%





2019 (JetBrains Datalore)





18,1% ( 1029 K)





72,6% ( 4128 K)





9,3% ( 529 K)





2020 (JetBrains Datalore)





11,8% ( 1154 K, +125 K 2019)





79,3% ( 7710 K, +3582 K 2019)





10,8% ( 1050 K, +521 K 2019)





, Python 3, 2019 87%, Python 2 β€” 12%.





, Python R, :





data science

Datalore , Python-. Jupyter-.





, 60% Numpy, 47% Pandas Matplotlib.





:





:





PyTorch TensorFlow

, PyTorch TensorFlow.





, PyTorch , TensorFlow.





, Keras TensorFlow , Fast.ai PyTorch . , TensorFlow, , , , .









TensorFlow





Keras





PyTorch





Fastai





2019 (JetBrains Datalore)





321 K





231 K





110 K





19 K





2020





(JetBrains Datalore)





430 K (+34%)





367 K(+59%)





253 K(+130%)





25 K(+32%)









( , Python 3.6 ):





  • 71,90% Markdown.





  • 42,13% output.





  • 12,34% LaTex.





  • 19,77% HTML.





  • 20,63% Markdown.





Markdown Jupyter-. 50% 4 Markdown 14 . 





Markdown- :





. , 25 000 , 95% 465 :





. , 42% . 10% 8 .





Jupyter-

Jupyter- β€” . , . Jupyter- , 36% Jupyter- , . . .





, Markdown- . , , , , , .









Jupyter- , data science. 





, . , , Datalore-.





2018





Datalore





:





  1. :





    1. (10 , 4,4 ): https://github-notebooks-update1.s3-eu-west-1.amazonaws.com/





    2. c AWS S3 API , JSON : https://github-notebooks-samples.s3-eu-west-1.amazonaws.com/ntbslist.json





    3. JSON , , : https://github-notebooks-update1.s3-eu-west-1.amazonaws.com/0000036466ae1fe8f89eada0a7e55faa1773e7ed.ipynb





  2. (3 ). Datalore-.












All Articles