الكشف عن Apache Iceberg V4 في QCon San Francisco 2026

قُدّم Apache Iceberg V4 باعتباره إعادة تصميم كبيرة لبيانات تعريف الجدول تهدف إلى تعزيز قابلية التوسع واستيعاب عمليات كتابة أكثر تكراراً. ويطرح هذا الإصدار الجديد أيضاً قدرات متقدمة لإدارة البيانات وتطور المخطط. وقد عرض دانيال ويكس، المشارك في إنشاء Apache Iceberg وعضو الطاقم التقني في Databricks، هذه التحديثات خلال جلسة في QCon San Francisco.
يعالج الإصدار الجديد التحديات المرتبطة بإدارة الجداول الضخمة جداً ويوسّع التنسيق لدعم أنواع بيانات وأعباء عمل جديدة. ووصف ويكس Iceberg V4 بأنه إعادة تصور كبرى لتنسيق الجدول وليس مجرد تحديث تدريجي. وتشمل التغييرات الرئيسية شجرة بيانات تعريف جديدة، وعمليات commit أكثر كفاءة، وإحصاءات أعمدة مُنمّطة، ومسارات ملفات نسبية، ودعماً لأنواع بيانات الملفات والمتجهات.
وأكد ويكس أنه في حين حافظت الإصدارات السابقة على الكثير من بنية بيانات التعريف، فإن V4 يعالج المشكلات التي تظهر عند نطاقات أكبر ويقدم دعماً لحالات استخدام جديدة. وقال: «V4 إعادة تصور كبرى لتنسيق الجدول. لم ننجح في كل شيء في V3 وما قبله، لذا نغتنم الآن الفرصة لإصلاح بعض أكبر التحديات التي نواجهها مع توسعنا إلى مجموعات بيانات أكبر وإدخال حالات استخدام جديدة».
Apache Iceberg هو تنسيق جدول مفتوح مصمم لإدارة مجموعات البيانات التحليلية الكبيرة عبر محركات معالجة بيانات متنوعة. طُوّر في البداية في Netflix عام 2017، ثم أصبح مفتوح المصدر في 2018 وأصبح مشروعاً من المستوى الأعلى في Apache في 2020. وتشمل تنسيقات الجداول المفتوحة المنافسة Delta Lake، الذي أنشأته Databricks وهو الآن مشروع لمؤسسة Linux Foundation، وApache Hudi الذي طُوّر أصلاً في Uber، وApache Paimon الذي نشأ من مجتمع Flink.
وسلّط ويكس في عرضه الضوء على ثلاثة مجالات رئيسية للتغيير في Iceberg V4: بيانات التعريف وقابلية التوسع، وميزات الجدول الجديدة، وأنواع البيانات الجديدة. وتشمل تحسينات بيانات التعريف شجرة بيانات التعريف التكيفية (Adaptive Metadata Tree)، وعمليات commit بملف واحد، وإحصاءات أعمدة محسّنة، ومسارات نسبية، وتحديثات على مستوى العمود. وتتكون ميزات الجدول الجديدة من قيم افتراضية وقيود قائمة على التعبيرات، بينما تخدم أنواع البيانات الجديدة، لا سيما أنواع الملفات والمتجهات، أعباء عمل مثل الذكاء الاصطناعي والبحث.
وأوضح ويكس أن عملية commit المحسّنة تتيح بث البيانات بسرعة أكبر بكثير. وأشار: «هذا ينقلنا إلى حالات استخدام يمكننا فيها بث البيانات بسرعة أكبر بكثير. يمكننا إجراء عمليات commit على مستوى الثانية أو أجزاء من الثانية، بينما نوصي حالياً إلى حد كبير بعدم إجراء عمليات commit تقل عن دقيقتين».
في Iceberg V3، كان إضافة ملف بيانات تتطلب أربع عمليات إدخال/إخراج على الأقل، بما في ذلك إنشاء manifest وإعادة كتابته. ويبسّط V4 ذلك بالسماح لجذر شجرة بيانات التعريف بالإشارة مباشرة إلى ملفات البيانات، مما يقلل العملية إلى كتابة واحدة لبيانات التعريف. وأشار ويكس إلى أن هذا التغيير قد يتيح عمليات commit كل ثانية أو حتى على فترات أقل من ثانية، وهو تحسن كبير مقارنة بالتوصية الحالية بفاصل لا يقل عن دقيقتين بين عمليات commit.
وقد أضاف Iceberg V3، الذي قُدّم في 2024، ميزات مثل متجهات الحذف (deletion vectors)، ونسب الصفوف (row lineage)، وأنواع بيانات جديدة، والتشفير.
المصدر: InfoQ