Big Data Analytics with Hadoop and Apache Spark

نظرة عامة

حين تتجاوز البيانات حدود جدول بيانات واحد أو قاعدة بيانات واحدة، تحتاج إلى أدوات صُمّمت لتوزيع العمل على أجهزة عديدة. تعرّفك هذه الدورة الممتدة أربعة أيام بمنظومة Hadoop وبـ Apache Spark، وتبيّن كيف تخزّنان كميات ضخمة من البيانات وتعالجانها بموثوقية.

من خلال مختبرات موجّهة بلغتي Python وSQL تنظّف مجموعات البيانات الكبيرة وتربطها وتحلّلها، وتبني مسارات بيانات قابلة للتكرار، وتضبط المهام لتعمل بكفاءة. وتخرج مستعداً للمساهمة في مشروعات هندسة البيانات وتحليلها.

ما ستتعلّمه

المحتوى التقني أدناه معروضٌ باللغة الإنجليزية كما ورد في منهاج الدورة، حفاظاً على دقّة المصطلحات.

• Explain the core ideas behind distributed storage and parallel processing of large data sets
• Describe the Hadoop ecosystem, including HDFS and YARN, and where each component fits
• Load, transform and analyse data with Spark DataFrames and Spark SQL
• Write Spark applications in Python using PySpark
• Build batch data pipelines that read from and write to common file formats
• Tune Spark jobs through partitioning, caching and sensible resource settings
• Introduce streaming data processing with Spark Structured Streaming

المنهاج

لمن هذه الدورة

لمحلّلي البيانات والمطوّرين والراغبين في العمل في هندسة البيانات ممن يعرفون Python وSQL ويريدون التعامل مع البيانات على نطاق واسع.

قبل أن تبدأ

• Working knowledge of Python
• Basic SQL and familiarity with relational data