مهندس بيانات أول

منتجاتنا للذكاء الاصطناعي التوليدي لا تكون أفضل من البيانات التي تقف خلفها. هذه الوظيفة تمتلك طبقة البيانات تلك من البداية إلى النهاية: خطوط الأنابيب التي تجلب البيانات، والتحويلات التي تشكّلها، والطريقة التي تصل بها إلى أنظمة الاسترجاع والوكلاء والتحليلات. يجري العمل على AWS، والهدف هو مصدر واحد محكوم يمكن لكل مستهلك الاعتماد عليه. نريد شخصًا بنى بالفعل خطوط أنابيب بيانات لأنظمة الذكاء الاصطناعي، وليس فقط لإعداد التقارير. إعداد البيانات لنموذج لغوي كبير أو وكيل يجلب معه عملًا خاصًا حول التقسيم إلى أجزاء والتضمينات والفهرسة والحفاظ على حداثة المحتوى، وأنت قد فعلت ذلك من قبل. الفريق صغير ويمتد عبر عدة لغات، لذا ستمتلك خطوط الأنابيب الخاصة بك وتساعد في وضع المعايير التي يتبعها بقيتنا.

ما الذي ستقوم به

• بناء وتشغيل خطوط الأنابيب الدفعية والتدفقية التي تنقل البيانات من الأنظمة المصدرية إلى البحيرة وصولًا إلى المستودع، مع امتلاك الطبقات الوسيطة من الخام إلى المنقّح، إلى جانب مخططها وجودتها وتتبع أصولها.
• بناء طبقة البيانات خلف الاسترجاع: موصلات المصادر، وتحليل المستندات، والتقسيم إلى أجزاء، وتوليد التضمينات، والفهرسة المتجهية، بما في ذلك إعادة التضمين عند تغيّر المحتوى.
• نمذجة مجموعات بيانات ومقاييس منقّحة وجاهزة للاستعلام بحيث يعمل مستهلكو الذكاء الاصطناعي والتحليلات من تعريف واحد بدلًا من إعادة بناء المنطق كلٌّ على حدة.
• إضافة فحوصات الجودة والتحقق والمراقبة بحيث تظهر المشكلات قبل وصولها إلى نموذج أو مستخدم.
• تطبيق التحكم في الوصول حيث ينبغي: قواعد على مستوى الصفوف والأعمدة، والتعامل مع المعلومات الشخصية المعرِّفة، ومجموعات البيانات المدركة للصلاحيات، مفروضةً بأقرب ما يسمح به المكدس من وقت الاستعلام.
• العمل مع مهندسي المنصة وDevOps لإتاحة البيانات والاسترجاع كخدمات موثّقة وموثوقة.
• إبقاء تكاليف التخزين والحوسبة والاستعلام تحت السيطرة، مع اهتمام خاص بتكلفة التضمين وأعباء العمل المتجهية.
• مراجعة الكود، وكتابة التوثيق، والمساعدة في تشكيل كيفية بناء الفريق لطبقة بياناته.

ثماني سنوات أو أكثر في هندسة البيانات إجمالًا. يشمل ذلك عملًا تطبيقيًا في بناء بيانات لأنظمة الذكاء الاصطناعي أو تعلم الآلة مثل الاسترجاع أو التضمينات أو بيانات الميزات، والذي يمكن أن يكون جزءًا أحدث من خلفيتك. مهارات قوية في SQL وPython، بما في ذلك PySpark أو معالجة موزعة مماثلة. خبرة إنتاجية عبر مكدس بيانات AWS: S3 للبحيرة، وGlue لـETL وكتالوج البيانات، وAthena للاستعلام بلا خادم، وRedshift كمستودع. خبرة تطبيقية في بنية بيانات طبقية، سواء سميتها medallion (برونزي، فضي، ذهبي)، أو بحيرة بيانات تغذي مستودعًا، أو lakehouse، بما في ذلك بناء مراحل التحويل التي تنقل البيانات من الخام إلى المنقّح. خبرة مع أداة ELT أو تكامل مثل Airbyte أو Fivetran أو Meltano، بما في ذلك بناء أو صيانة الموصلات. خبرة في خطوط الأنابيب المدفوعة بالأحداث باستخدام SQS وSNS، ومع تقنية واحدة على الأقل للتدفق أو التقاط تغييرات البيانات مثل Kinesis أو Amazon MSK أو Debezium. خبرة تطبيقية في طبقة دلالية أو طبقة مقاييس فوق المستودع، مثل Cube أو dbt Semantic Layer. خبرة تطبيقية في متجر متجهي واحد على الأقل وسير عمل للتضمين: pgvector أو Amazon OpenSearch أو Pinecone أو Weaviate أو Milvus. ارتياح مع التنسيقات العمودية والجداول المفتوحة: Parquet مع Apache Iceberg أو Delta Lake أو Hudi. معرفة عملية بمنسّق مثل Amazon MWAA أو Step Functions أو Dagster أو Prefect، وقدر كافٍ من البنية التحتية ككود للعمل عن كثب مع DevOps.