أخصائي أول - هندسة البيانات

بصفة مهندس بيانات أول، ستستخدم أساليب متنوعة لتحويل البيانات الخام إلى أنظمة بيانات مفيدة. ستعمل بشكل وثيق مع الفرق متعددة الوظائف لضمان توفر البيانات وموثوقيتها وسهولة الوصول إليها لأغراض التحليل واتخاذ القرار. بشكل عام، ستسعى إلى تحقيق الكفاءة من خلال مواءمة أنظمة البيانات مع أهداف العمل. للنجاح في هذا المنصب الخاص بهندسة البيانات، يجب أن تمتلك مهارات تحليلية قوية والقدرة على دمج البيانات من مصادر مختلفة. تشمل مهارات مهندس البيانات أيضًا الإلمام بالعديد من لغات البرمجة والمعرفة بأساليب تعلم الآلة.

المسؤوليات

• تصميم وتطوير وصيانة خطوط أنابيب بيانات قابلة للتوسع وعمليات ETL باستخدام أدوات مثل Apache Spark وApache Kafka وApache Airflow لاستيعاب ومعالجة وتحويل كميات كبيرة من البيانات من مصادر مختلفة.
• نشر خطوط أنابيب البيانات على منتجات معالجة البيانات المختلفة - DataFlow (Apache Beam)، DataProc (Hadoop/Spark)، Data Fusion، Cloud Composer (Airflow).
• بناء الأنظمة الموزعة ومخازن البيانات.
• التعاون مع فرق علوم البيانات والتسويق ونجاح العملاء ودعمهم في اكتساب البيانات وتكامل الأدوات.
• إعداد خدمات منصة Google Cloud Platform.
• تنفيذ وتحسين حلول تخزين البيانات، بما في ذلك مستودعات البيانات (مثل Amazon Redshift وGoogle BigQuery)، وبحيرات البيانات (مثل AWS S3 وAzure Data Lake Storage)، وقواعد بيانات NoSQL (مثل MongoDB وCassandra).
• العمل بشكل وثيق مع معماريي البيانات لتصميم وتنفيذ نماذج بيانات فعالة باستخدام تقنيات النمذجة البعدية (مثل مخطط النجمة ومخطط ندفة الثلج) التي تدعم متطلبات العمل وتمكن من تحليل البيانات بشكل فعال.
• التعاون مع علماء البيانات والمحللين لفهم متطلبات البيانات وتطوير حلول لدعم مبادرات التحليلات المتقدمة وتعلم الآلة، بما في ذلك تدريب النماذج ونشرها.
• تنفيذ فحوصات جودة البيانات والمراقبة والنصوص البرمجية المخصصة لضمان دقة البيانات واكتمالها وموثوقيتها.
• المشاركة في استكشاف الأخطاء وإصلاحها وحل المشكلات المتعلقة بالبيانات، وضمان الحل في الوقت المناسب مع الحد الأدنى من التعطيل لعمليات الأعمال.
• البقاء على اطلاع دائم بالتقنيات الناشئة وأفضل الممارسات في هندسة البيانات، بما في ذلك الحلول السحابية الأصلية والبنى بدون خوادم، والمساهمة في التحسين المستمر لمنصات البيانات والبنية التحتية.
• معرفة متينة بـ Google BigQuery لمعالجة البيانات بشكل فعال.
• اقتراح وتنفيذ أتمتة المهام المتكررة.
• تقديم الدعم لفرق التطوير في الموضوعات المتعلقة بالنشر.
• تحديث بحيرات البيانات ومستودعات البيانات.

درجة علمية في علوم الحاسب أو تكنولوجيا المعلومات أو مجال مشابه؛ درجة الماجستير تعتبر ميزة إضافية. خبرة سابقة كمهندس بيانات أو في دور مماثل. منصة Google Cloud Platform مفضلة. خبرة فنية في نماذج البيانات واستخراج البيانات وتقنيات التجزئة. إتقان لغات البرمجة مثل Python أو Java أو Scala، وخبرة مع قواعد بيانات SQL وNoSQL. فهم قوي لنمذجة البيانات وعمليات ETL ومفاهيم مستودعات البيانات وتقنيات تكامل البيانات. خبرة مع المنصات السحابية مثل AWS أو Azure أو Google Cloud Platform، والإلمام بالخدمات ذات الصلة (مثل AWS Glue وAzure Data Factory وGoogle BigQuery). مهارات ممتازة في حل المشكلات والاهتمام بالتفاصيل، مع القدرة على العمل بفعالية في بيئة سريعة الخطى وإدارة أولويات متعددة. مهارات تواصل وشخصية قوية، مع القدرة على التعاون بفعالية مع الفرق متعددة الوظائف وأصحاب المصلحة. شهادة سحابية في هندسة البيانات (مثل Google Certified Data Engineer) تعتبر ميزة إضافية.