متى يجب استخدام التجميع السائل؟ تقييم استراتيجيات تخطيط بحيرة البيانات

النقاط الرئيسية

لا يوجد تخطيط تخزين واحد مثالي عالميًا لتحليلات بحيرة البيانات. يعتمد الاختيار الصحيح على عبء العمل، حيث يمكن أن يؤثر الاستخدام غير السليم للتجميع السائل أو ترتيب Z أو التقسيم بشكل كبير على التكلفة وزمن الاستجابة.

يحتوي ترتيب Z على نمط فشل خفي؛ عندما يكون عمود التاريخ مفتاح تجميع ثانويًا أو ثلاثيًا، يمكن أن تكون استعلامات النطاق الزمني أبطأ بكثير من تلك التي تُجرى على جدول مقسم بسيط حسب التاريخ.

يمكن أن يكون عدد البايتات الممسوحة مقياسًا مضللًا للأداء. يوفر التجميع السائل أقل زمن استجابة لعمليات البحث النقطي، حتى وإن كان قد يمسح بيانات خام أكثر من ترتيب Z.

يجب أن يكون التجميع السائل الخيار الافتراضي للفرق التي لديها أنماط استعلام متنوعة أو متطورة، لأنه يتفوق عمومًا على ترتيب Z في معظم أعباء العمل مع إلغاء الحاجة إلى مهام OPTIMIZE اليدوية وإعادة الكتابة الدورية للجدول بالكامل.

قبل الانتهاء من استراتيجية التخطيط، ضع في اعتبارك ما إذا كانت استعلاماتك الرئيسية تُصفّي باستمرار على نفس العمودين أو الثلاثة. إذا كان الأمر كذلك، فاستخدم ترتيب Z على تلك الأعمدة؛ وإلا، فاختر التجميع السائل.

مقدمة

التخطيط الأمثل للتخزين في أنظمة تحليلات بحيرة البيانات ليس مقاسًا واحدًا يناسب الجميع. في اختبارات شملت أربعة أنواع من أعباء العمل على Delta Lake، حقق التجميع السائل باستمرار أقل زمن استجابة لعمليات البحث النقطي والتجميعات الزمنية النطاقية والتجميعات الكبيرة. تفوق ترتيب Z فقط في السيناريوهات ذات أعباء العمل المستقرة وعالية الانتقائية متعددة الأعمدة حيث تطابقت أعمدة التصفية مع مفتاح التجميع.

يمثل كل من التقسيم وترتيب Z والتجميع السائل نهجًا مميزًا لتنظيم البيانات على القرص. إن فهم مقايضاتها أمر ضروري لاختيار الاستراتيجية المناسبة لعبء عملك. والجدير بالذكر أن نتيجتين تتحديان الفهم التقليدي لهذه التخطيطات وقد تؤديان إلى تدهور أنظمة الإنتاج بصمت.

نمط الفشل الخفي لترتيب Z على النطاقات الزمنية

عندما يكون عمود التاريخ مفتاحًا ثانويًا أو ثلاثيًا في تعبير تجميع ترتيب Z، يمكن أن تكون استعلامات النطاق الزمني أبطأ بنسبة تصل إلى ثمانية وسبعين بالمائة من تلك التي تُجرى على جدول مقسم بسيط حسب التاريخ. يحدث هذا لأن قيم التاريخ المتسلسلة تتناثر عبر الملفات، مما يقوض كفاءة عمليات المسح النطاقي التي يوفرها التقسيم.

فجوة الدقة في التجميع السائل عند التصفية متعددة الأعمدة

بالنسبة للاستعلامات التي تطابق بدقة مجموعة مستقرة من أعمدة التصفية، يكون تقليم الملفات في ترتيب Z شبه مثالي، بينما يمكن أن يكون التجميع السائل أبطأ بنحو خمس مرات وقد يمسح بيانات أكثر بعشر مرات. يعطي تصميم التجميع السائل الأولوية لمرونة عبء العمل على التقليم الحتمي، مما قد يكون غير مفيد عندما تكون الاستعلامات ضيقة وقابلة للتنبؤ.

إعداد التجربة

استخدم التحليل مجموعة بيانات معاملات اصطناعية من خمسين مليون سجل، تحاكي بيئة شراء تجزئة. تضمنت مجموعة البيانات حقولًا متنوعة مثل customer_id و txn_date و region و amount و product_cat، مع توزيعات معايرة وفقًا لأنماط الوصول الواقعية.

تكوين التخطيط

شملت التكوينات المختبرة جدولًا مقسمًا وجدولًا بترتيب Z وجدولًا بالتجميع السائل، وتم إعداد كل منها لتقييم أدائها تحت أعباء عمل مختلفة.

النتائج

البحث النقطي

حقق التجميع السائل أقل زمن استجابة عند 1.003 ثانية، متفوقًا على الأساس المقسم بنسبة تسعة وأربعين بالمائة، على الرغم من مسحه بيانات خام أكثر. تسلط هذه النتيجة الضوء على أهمية التسلسل المحلي داخل الملف، مما يقلل من تكلفة البحث.

التجميع الزمني النطاقي

قدم التجميع السائل مرة أخرى أفضل أداء بزمن استجابة 659 مللي ثانية. في المقابل، استغرق ترتيب Z 1.845 ثانية، بأداء أقل بكثير مقارنة بالأساس المقسم بسبب عدم كفاءة تناثر قيم التاريخ المتسلسلة.

التصفية الانتقائية متعددة الأعمدة

أظهر عبء العمل هذا تحقيق ترتيب Z 615 مللي ثانية مع قراءة 59.03 ميغابايت فقط، بينما استغرق التجميع السائل 2.967 ثانية وقرأ 639.95 ميغابايت. جعل التقليم الدقيق للملفات في ترتيب Z الخيار الأفضل في هذا السيناريو.

التجميع الكبير

بالنسبة لتجميع SUM لكامل مجموعة البيانات، سجل التجميع السائل مرة أخرى أقل زمن استجابة عند 659 مللي ثانية، بينما كان ترتيب Z الأبطأ عند 1.845 ثانية، مما يؤكد أهمية كفاءة القراءة داخل الملف.

المناقشة

تشير النتائج إلى أن كفاءة تقليم الملفات والتسلسل المحلي داخل الملف هما الآليتان الأساسيتان المؤثرتان على الأداء عبر أعباء العمل. يتفوق ترتيب Z والتقسيم في التقليم، بينما يتألق التجميع السائل في التسلسل المحلي، حتى عندما يقرأ بيانات أكثر. يوضح نمط الفشل الخفي لترتيب Z فيما يتعلق بالنطاقات الزمنية أهمية قرارات التخطيط بشكل أكبر.

تحذيرات

أُجريت هذه المعايير على مجموعة بيانات اصطناعية لضمان قابلية التكرار. قد تقدم مجموعات البيانات الإنتاجية الحقيقية تعقيدات قد تغير الأداء النسبي لكل تخطيط. لذلك، يجب التحقق من النتائج مقابل ملف عبء العمل المحدد لديك قبل اتخاذ قرارات مخطط غير قابلة للتراجع.

 

المصدر: infoq.com