مهندس حلول البيانات المعماري

الدور: مهندس حلول البيانات
الموقع: المملكة العربية السعودية (في الموقع)
الراتب: حتى 40,000 ريال سعودي شهرياً حسب الخبرة
نوع التعاقد: دوام كامل، عقد لمدة 12 شهراً

عن عميلنا
عميلنا هو مؤسسة رائدة تخوض تحولاً ضخماً وحاسماً في مجال البيانات. بالنيابة عنهم، نبحث عن مهندس حلول بيانات من الطراز الأول ليقود تصميم وتنفيذ وتحصين مستودع بيانات ضخم محلي (On-Prem Data Lakehouse) على مستوى المؤسسة. هذا دور عالي الظهور لصاحب رؤية حقيقية يزدهر في بيئات المؤسسات التقنية العميقة، ويمزج بين الاستراتيجية المعمارية المتقدمة والحوكمة التقنية العملية.

ملخص الدور
بصفتك مهندس حلول البيانات، ستقود البنية المعمارية الشاملة لمستودع بيانات محلي (On-Prem Data Lakehouse) بمعايير إنتاجية باستخدام Cloudera CDP 7.3.1. ستحدد البنية المستهدفة (TSA) عبر طبقات المنصة والبيانات والتكامل والأمن. مهمتك الأساسية ستكون إنشاء نموذج ميدالين منظم (برونزي/فضي/ذهبي) وهندسة لامدا قوية تجمع بين عمليات المعالجة الدفعية عالية الإنتاجية ومسارات البث منخفضة زمن الاستجابة. بالإضافة إلى ذلك، ستقوم بتصميم محرك قواعد تعريفية مخصص يعتمد على البيانات الوصفية (Metadata-Driven Declarative Rules Engine) لعمليات التحقق من صحة الأعمال على مستوى المؤسسة، وتصميم إطار حوكمة بيانات آمن للغاية وجاهز للتدقيق باستخدام Cloudera Shared Data Experience (SDX).

المسؤوليات الأساسية

البنية المعمارية وطوبولوجيا المنصة (CDP 7.3.1): قيادة التصميم عالي المستوى والتصميم التفصيلي لمستودع البيانات. تحديد حجم المجموعات، وتحديد طوبولوجيات التخزين/الحوسبة (HDFS/Ozone, YARN)، والاختيار الاستراتيجي لتنسيقات الجداول/المحركات بناءً على ملاءمة أعباء العمل (Iceberg, Hudi, Kudu, HBase, و Phoenix). وضع ضوابط أداء ضد مشكلات الملفات الصغيرة وتحسين الضغط (Compaction).

نموذج الميدالين ونمذجة البيانات: تحديد عقود البيانات، وقواعد تطور المخطط، واصطلاحات تسمية المجلدات/الجداول، ونقاط فحص جودة البيانات عبر الطبقات البرونزية والفضية والذهبية. توحيد نماذج الخدمة لـ OLAP (Impala) والاستعلامات منخفضة زمن الاستجابة (Phoenix).

هندسة لامدا (دفعات + سرعة): تصميم خطوط أنابيب دفعية باستخدام Informatica BDM (DEI) و Spark/Hive للاستيعاب الجماعي ومعالجة SCD من النوع 1/2. في الوقت نفسه، تصميم مسارات بث في الوقت الفعلي باستخدام NiFi/Kafka و Hudi (للتحديثات الإضافية) و Kudu/HBase للوصول خلال أجزاء من الثانية.

محرك القواعد التعريفية: تصميم محرك قواعد مدفوع بـ JSON/YAML أو قاعدة بيانات لإدارة عمليات التحقق والبقاء (Survivorship) ومعالجة PII. ضمان إمكانية استدعاء محرك التشغيل بسلاسة عبر Informatica maplets و Spark ومعالجات البث.

حوكمة وأمن المؤسسة: تعزيز أمن المحيط عبر Knox و Kerberos و TLS و AD/LDAP. تنفيذ سياسات Ranger RBAC والسياسات القائمة على العلامات وإخفاء الصفوف/الأعمدة. إنشاء Apache Atlas لالتقاط النسب (Lineage) الشامل وتصنيفات البيانات.

DevOps والمراقبة والتعافي من الكوارث: إنشاء خطوط أنابيب CI/CD لإعدادات المجموعات وحزم القواعد. بناء لوحات تحكم شاملة لـ SLA/SLO في Cloudera Manager. تصميم خطة تعافٍ من الكوارث مرنة باستخدام BDR/Replication Manager وقيادة تدريبات التعافي من الكوارث نصف السنوية.

قيادة أصحاب المصلحة: العمل كسلطة تقنية في مجالس مراجعة البنية المعمارية (ARB). التعاون مع خبراء المجال وفرق الأمن والمنصات. إرشاد وتوجيه فرق الهندسة حول تحسين SQL وأفضل ممارسات خطوط الأنابيب.

المؤهلات المطلوبة (إلزامية)

الخبرة: 10+ سنوات من الخبرة المخصصة في هندسة/معمارية البيانات، مع 3-5+ سنوات على الأقل في تصميم بيئات إنتاجية على Cloudera (CDH/CDP) تحديداً.

تسليم مستودع البيانات: سجل حافل في تصميم وتسليم مستودعات بيانات محلية تستخدم هندسة الميدالين ولامدا.

خبرة Informatica: فهم عميق لمجموعة Informatica DEI (BDM) لتصميم الأطر والمعاملات (Parameterization) والتنفيذ بالدفع إلى Spark/Hive.

محركات التخزين والاستعلام: خبرة تقنية عملية عميقة في Apache Iceberg و Apache Hudi و Apache Kudu و HBase + Phoenix و Hive 3 و Impala (بما في ذلك التقسيم والضغط والضبط القائم على التكلفة).

الأمن و SDX: معرفة على مستوى الخبراء بـ Kerberos و TLS و AD/LDAP وسياسات Ranger وتتبع النسب في Atlas ضمن نظام Cloudera SDX.

القواعد والأطر: خبرة في تصميم محركات قواعد مدفوعة بالبيانات الوصفية وأطر جودة البيانات لكل من بيانات البث والدفعات.

العمليات: أساسيات قوية في Linux و Git وأتمتة CI/CD.

المؤهلات المفضلة
أنماط Kafka المتقدمة (المعالجة مرة واحدة بالضبط، سجل المخططات، الضغط) وتقنية CDC من قواعد البيانات العلائقية. الإلمام بـ Apache Ozone و KMS/Key Trustee والامتثال الأمني في النشر المعزول (Air-Gapped). عقلية هندسة موثوقية المواقع (SRE): إدارة SLOs وميزانيات الأخطاء وتمارين الفوضى/التدريبات. الشهادات ذات الصلة: Cloudera CDP Certified Architect أو شهادات Informatica أو شهادات أمنية (مثل CISSP/CCSP). خبرة في العمل ضمن بيئات شديدة التنظيم (PII, PCI, SOX).

شكل النجاح (المؤشرات الرئيسية ومؤشرات الأداء)

التوافر العالي: الحفاظ على توافر المنصة بنسبة ≥ 99.9% للمجموعات الإنتاجية.

سلامة البيانات: تحقيق تغطية نسبية شاملة (End-to-End Lineage) بنسبة ≥ 95% عبر النظام البيئي مع صفر انتهاكات وصول حرجة.

جودة البيانات: ضمان اكتمال بنسبة ≥ 99.5% لكيانات البيانات ذات الأولوية.

الالتزام بـ SLA: الحفاظ على التزام خطوط الأنابيب بـ SLA بنسبة ≥ 98% لكل من الدفعات والبث في الوقت الفعلي.

المرونة: الحفاظ على معايير صارمة لـ RPO/RTO تم التحقق منها من خلال تدريبين ناجحين على الأقل للتعافي من الكوارث سنوياً.

حزمة التقنيات التي ستعمل معها

المنصة: Cloudera CDP 7.3.1 (Cloudera Manager, HDFS/Ozone, YARN, Hive 3, Impala, Spark, NiFi, Kafka, Ranger, Atlas, Knox).
التنسيقات: Iceberg, Hudi, Kudu, HBase, Phoenix, Parquet, ORC, Avro.
ETL/الأتمتة: Informatica BDM, Git, Jenkins/Azure DevOps, Ansible/Terraform.
البيانات الوصفية/قواعد البيانات الخلفية: PostgreSQL, MySQL.

كيفية التقديم
إذا كنت مهندس بيانات من الطراز الأول تتطلع إلى إحداث تأثير دائم على تحول مؤسسي واسع النطاق في المملكة العربية السعودية، فنحن نريد أن نسمع منك. يرجى تقديم سيرتك الذاتية مع ملخص لخبرتك في تقديم بنى Cloudera CDP المحلية.

• 10+ سنوات من الخبرة المخصصة في هندسة/معمارية البيانات، مع 3-5+ سنوات على الأقل في تصميم بيئات إنتاجية على Cloudera (CDH/CDP) تحديداً.
• سجل حافل في تصميم وتسليم مستودعات بيانات محلية تستخدم هندسة الميدالين ولامدا.
• فهم عميق لمجموعة Informatica DEI (BDM) لتصميم الأطر والمعاملات والتنفيذ بالدفع إلى Spark/Hive.
• خبرة تقنية عملية عميقة في Apache Iceberg و Apache Hudi و Apache Kudu و HBase + Phoenix و Hive 3 و Impala (بما في ذلك التقسيم والضغط والضبط القائم على التكلفة).
• معرفة على مستوى الخبراء بـ Kerberos و TLS و AD/LDAP وسياسات Ranger وتتبع النسب في Atlas ضمن نظام Cloudera SDX.
• خبرة في تصميم محركات قواعد مدفوعة بالبيانات الوصفية وأطر جودة البيانات لكل من بيانات البث والدفعات.
• أساسيات قوية في Linux و Git وأتمتة CI/CD.
• المؤهلات المفضلة: أنماط Kafka المتقدمة (المعالجة مرة واحدة بالضبط، سجل المخططات، الضغط) وتقنية CDC من قواعد البيانات العلائقية. الإلمام بـ Apache Ozone و KMS/Key Trustee والامتثال الأمني في النشر المعزول (Air-Gapped). عقلية هندسة موثوقية المواقع (SRE): إدارة SLOs وميزانيات الأخطاء وتمارين الفوضى/التدريبات. الشهادات ذات الصلة: Cloudera CDP Certified Architect أو شهادات Informatica أو شهادات أمنية (مثل CISSP/CCSP). خبرة في العمل ضمن بيئات شديدة التنظيم (PII, PCI, SOX).