تحليلات البيانات في الوقت الفعلي باستخدام Apache Spark - تأليف Subhadip Chand & Harsha Pasala (غلاف ورقي)

ملخص الكتاب حوّل البيانات المتدفقة إلى قرارات فورية

وصف الكتاب سيكون الجيل القادم من منصات البيانات فورياً وذكياً ويعمل على مدار الساعة

يُعد كتاب Real-time Analytics with Apache Spark دليلك الشامل والمتكامل لبناء أنظمة تدفق بيانات بمستوى الإنتاج باستخدام Apache Spark Structured Streaming على منصة Databricks، بدءاً من المبادئ الأساسية وصولاً إلى النشر على نطاق المؤسسات.

ستبدأ بتعلم أساسيات Spark ومفاهيم البث المباشر، ثم تتقدم تدريجياً عبر عمليات التجميع بنظام النوافذ، والمعالجة المستندة إلى الحالة باستخدام transformWithState، وعمليات الربط بين التدفقات، بالإضافة إلى وضع الوقت الفعلي (Real-time Mode) الجديد الذي يوفر زمن استجابة يقل عن الثانية. يجمع كل فصل بين الشروحات الواضحة والأكواد البرمجية الجاهزة للتنفيذ، مما يؤهلك للتعامل مع تحديات العالم الحقيقي، بما في ذلك البيانات المتأخرة، وإدارة الحالة، وتحسين الأداء عبر Kafka وKinesis وEvent Hubs وAuto Loader.

يعلمك القسم الأخير كيفية التفكير كمهندس إنتاج من خلال حزم مسارات البيانات باستخدام Declarative Automation Bundles، وأتمتة عمليات النشر باستخدام CI/CD، ودمج استدلال تعلم الآلة (ML inference) في تدفقات البيانات، وبناء لوحات تحكم للمراقبة مع تنبيهات مخصصة. ومع نهاية هذا الكتاب، ستكون قد حصلت على مخطط عمل مُثبت لتقديم حلول تدفق بيانات قابلة للتوسع ومقاومة للأخطاء باستخدام Apache Spark و Databricks.

ما ستتعلمه: ● بناء مسارات بيانات متدفقة مقاومة للأخطاء مع ضمانات التنفيذ لمرة واحدة فقط باستخدام Apache Spark. ● تطبيق عمليات التجميع بنظام النوافذ الزمنية، والعلامات المائية، والمعالجة القائمة على الحالة لسير عمل البيانات في الوقت الفعلي. ● استيعاب البيانات المتدفقة من Kafka وKinesis وEvent Hubs وAuto Loader على نطاق واسع. ● نشر مسارات البيانات المتدفقة باستخدام حزم الأتمتة التصريحية (Declarative Automation Bundles) وتقنيات CI/CD على Databricks. ● دمج استدلال تعلم الآلة (ML inference) في الوقت الفعلي في مسارات عمل البيانات المتدفقة في بيئة الإنتاج بكل ثقة. ● مراقبة وظائف التدفق وتصحيح أخطائها وضبطها لضمان أداء الإنتاج والموثوقية التشغيلية.

جدول المحتويات

1. مشهد التحليلات في الوقت الفعلي وحالات الاستخدام
2. أساسيات Apache Spark (بعقلية التدفق المستمر)
3. التدفق المهيكل (Structured Streaming)
4. غوص عميق في المصادر والمصبات
5. العمليات المعتمدة على النوافذ والعمليات ذات الحالة
6. كتابة استعلامات التدفق باستخدام Spark SQL
7. التدفق منخفض زمن الوصول باستخدام وضع Spark Real-Time
8. تعلم الآلة لتطبيقات التدفق المستمر
9. المراقبة، وتصحيح الأخطاء، وضبط الأداء
10. التغليف، والتنسيق، والتكامل المستمر والنشر المستمر (CI/CD) باستخدام حزم الأتمتة التصريحية
11. مشروع تحليلات في الوقت الفعلي من البداية إلى النهاية الفهرس