EPAM telah bekerja dengan data untuk waktu yang lama, pelanggan besar pertama dengan proyek Big Data muncul pada tahun 2001. Pada saat itu, perusahaan analitik terkenal Gartner dan Forrester, serta vendor utama Oracle, Microsoft, dan IBM, mencatat bahwa perusahaan harus beralih ke Big Data, karena teknologi ini sangat diperlukan di semua area yang terkait dengan pemrosesan data dalam jumlah besar. Sejak itu, tim ahli EPAM telah berkembang dengan mantap, mengerjakan proyek yang semakin kompleks dan menawarkan solusi yang telah terbukti serta produk berkualitas untuk bekerja dengan data besar. Saat ini, hanya di EPAM Rusia, lebih dari 500 orang bekerja dalam praktik Data. Tentang bagaimana semuanya dimulai, proyek apa yang kami temui, kegagalan apa yang terjadi, apa yang harus disiapkan oleh spesialis Data dan jenis spesialis Data apa yang ada,Saya berbicara dengan kepala Praktik Data EPAM di Rusia -Ilya Gerasimov .
Karier
Beri tahu kami bagaimana Anda sampai ke arah Data
Saya bergabung dengan EPAM pada tahun 2006 sebagai pengembang junior di .NET dan MS SQL Server, sebelumnya saya bekerja di perusahaan produk dan memegang posisi sebagai pemimpin tim, mengembangkan perangkat lunak untuk mengotomatiskan hotel dan restoran. Tapi di EPAM, saya memulai karir saya dari nol. Pada 2013, saya telah berkembang menjadi pemimpin tim dan sedang mencari peluang baru untuk pengembangan saya di EPAM, dan pada saat itulah saya bertemu di SEC di Minsk dengan kepala pusat kompetensi Big Data, dan kami setuju bahwa daerah ini harus dikembangkan di Rusia.
Lalu ada dua atau tiga orang dari kami. Rekan-rekan dari negara lain membantu kami, memberi kami kursus, dan melibatkan kami dalam berbagai kegiatan yang berkaitan dengan bidang ini. Saya harus belajar banyak, kemudian menyebarkan ilmu yang didapat.
Mengapa Anda sudah lama bekerja untuk perusahaan?
Data , - . , , . - — , .
Data?
— Data, Data. :)
Data-?
Data-: Data Science, Machine Learning, Business Intelligence, Enterprise Search, DevOps in Data, Data Quality, Business Data Analysis. 500 — .
. «» , «» .
Data- Data governance, .. , , , . , , , ..
— .
, , . , — , , , Data Science .
, , ,
2013-2014 , - , , , , Data Science.
, Scala , DevOps, , . , , , .
?
. , . Java, Python, DevOps- .
« », , . , 2012 — , . , , , . , . , , , , -, EPAM.
— Data Analytics, , Data Engineering, Data Science , — EPAM.
, , . — , .
? ?
, - , - , - , . , . , . . Cadence, , , , , , .
, Reinforcement Learning. . 2- , . , . , , Reinforcement Learning. , , , .
« », Data-. . , , «» . , « » — . , , , . , , Theano, TensorFlow, Theano - .
Apache , , — Spark, Cassandra, Elasticsearch .
Yarn, HDFS, MapReduce, Hive, Kafka, ZooKeeper — , . Hadoop , , , , .
— Amazon, Microsoft Azure, GCP — Hadoop, .
, Kerberos, Knox, Ranger.
, NoSQL NewSQL — Cassandra, ( ), Snowflake, Amazon Redshift, HBase, MongoDB, Teradata.
DevOps — Kubernetes, Docker, Jenkins.
: Power BI, Tableau, QlikView.
Data Science , TensorFlow Google BERT ( « », ), PyTorch, Keras.
Streaming. Streaming Data, — Spark Streaming, Kafka Streams, Apache Flink, Apache Storm.
.
SQL ( ), DWH ( — , , Data Vault, ..), ( , , , ), , DWH, Data Mart, Data Lake.
, . , AWS, Azure, GCP.
, ETL ( ) ETL ELT, , , slowly changed dimension. ETL (PL/SQL, T-SQL, pgSQL, Python, Spark), (, Airflow), , , (Talend, Informatica Power Center, Pentaho, etc.).
(Data Analytics and Visualization), 2- (Power BI, Tableau, TIBCO Spotfire, MicroStrategy, Pentaho, ..) (, Storytelling).
- ?
Apache — Spark, NiFi, Elasticsearch . . , , — - Open Source .
, Open Source , , Open Data Analytics Hub (ODAHU) , ML .
?
- , Data — , . (blueprint) . , , . , , , , .
blueprint - , , , , Data Scientists, , ..
?
, , , e-commerce, , , Life Science — , -. , , blueprints , .
, , , . , , .
2020 ?
, , XXI . 2020 , (late majority), , .
, : , ?
, , , . , , , .
, , Data, Java, Scala Python.
- EPAM , Data Engineering, Data Science, BI, Python , .
, Data EPAM?
. , Data — Java, Scala Python (, ), SQL, , , , DevOps- , Machine Learning .