مهندس بيانات

نوع التوظيف: دوام كامل
موقع العمل: المملكة العربية السعودية
الخبرة المطلوبة: خبرة عملية في تطوير Spark، وحلول التكامل Informatica، ومنصات البيانات المؤسسية.
عدد سنوات الخبرة: 5 إلى 10

نظرة عامة على الدور

نبحث عن مهندس بيانات لبناء وتهيئة وتحسين أحمال عمل إدخال البيانات وتحويلها واستهلاكها على منصة بحيرة بيانات حديثة داخلية. يجب أن يمتلك المرشح المثالي خبرة عملية قوية في التطوير القائم على Spark، وتطبيقات بحيرة البيانات/بحيرة البيانات المؤسسية، وحلول التكامل القائمة على Informatica.

المسؤوليات الرئيسية

• تصميم وتطوير خطوط أنابيب قابلة للتوسع لإدخال البيانات وتحويلها.
• بناء وتحسين وصيانة أحمال عمل ETL/ELT القائمة على Spark.
• تطوير وإدارة نماذج البيانات ومجموعات البيانات باستخدام جداول Apache Iceberg.
• تنفيذ ودعم سير عمل تكامل البيانات باستخدام Informatica.
• تمكين التحليلات واستهلاك البيانات من خلال Denodo وStarburst و/أو Dremio.
• تطوير خطوط أنابيب بيانات آمنة وخاضعة للحوكمة وقابلة للتوسع بما يتوافق مع معايير المؤسسة.
• دعم متطلبات معالجة البيانات بالدفعات وشبه الفورية.
• تنفيذ ضوابط جودة البيانات وإدارة البيانات الوصفية والتحقق.
• التعاون مع مهندسي المنصات في أنشطة النشر والتكامل والتشغيل.
• دعم مبادرات الترحيل والاختبار والإطلاق الإنتاجي.
• استكشاف وإصلاح وتحسين أداء خطوط أنابيب البيانات وموثوقيتها وقابليتها للتوسع.

المهارات الأساسية المطلوبة

• Apache Spark (PySpark و/أو Scala Spark)
• Apache Iceberg
• Informatica Data Integration
• MinIO Object Storage
• Denodo
• SQL ونمذجة البيانات
• مفاهيم مستودعات البيانات
• تطوير ETL/ELT
• التحكم في الإصدارات Git

مهارات مفضلة

• Starburst و/أو Dremio
• حوكمة البيانات وإدارة البيانات الوصفية
• أطر جودة البيانات
• CI/CD لخطوط أنابيب البيانات
• Python
• Kafka أو تقنيات البث
• أنماط معمارية بحيرة البيانات
• خبرة في تطبيقات بحيرة البيانات المؤسسية
• ضبط الأداء وتحسين أحمال عمل البيانات واسعة النطاق

شارك