ضغط بيانات: الفرق بين النسختين

في مجال [[معالجة رقمية للإشارة|معالجة الإشارات الرقمية]]، يشير مصطلح '''ضغط البيانات''' (Data Compression)، أو '''الترميز المصدري''' (Source Coding)،<ref>{{مرجعاستشهاد كتاببكتاب|الأخير=Wade|الأول=Graham|عنوان=Signal coding and processing|مسار=http://books.google.com/books?id=CJswCy7_W8YC|تاريخ الوصول=2011-12-22|سنة=1994|إصدار=2|ناشر=Cambridge University Press|الرقم المعياري=978-0-521-42336-6|صفحة=34|اقتباس=الهدف العام من الترميز المصدري، هو إزالة التكرار الموجود في البيانات الخارجة من المصدر أو بمعنى آخر وبالتالي تخفيض معدل نقل البيانات المطلوب والذي يرمز له بالرمز R.| مسار الأرشيفأرشيف = https://web.archive.org/web/20170908161810/https://books.google.com/books?id=CJswCy7_W8YC | تاريخ الأرشيفأرشيف = 8 سبتمبر 2017 }}</ref> أو '''خفض معدّل البيانات''' إلى [[ترميز]] [[معلومة|المعلومات]] باستخدام قدر أقل من [[النبضات الثنائية]] من التمثيل الأصلي.<ref name="mahdi532">{{cite journal|الأخير=Mahdi|الأول=O.A.|مؤلف2=Mohammed, M.A.|مؤلف3=Mohamed, A.J.|عنوان=Implementing a Novel Approach an Convert Audio Compression to Text Coding via Hybrid Technique|صحيفة=International Journal of Computer Science Issues|تاريخ=نوفمبر 2012|المجلد=9|العدد=6, No. 3|صفحات=53–59|مسار=http://ijcsi.org/papers/IJCSI-9-6-3-53-59.pdf|تاريخ الوصول=6 March 2013| مسار الأرشيف = https://web.archive.org/web/20181228142622/http://ijcsi.org/papers/IJCSI-9-6-3-53-59.pdf | تاريخ الأرشيف = 28 ديسمبر 2018 }}</ref> يمكن أن يكون ضغط البيانات إمّا [[ضغط منقوص]] أو [[ضغط البيانات غير المضيع]] بالإنجليزية (Lossy) و(Lossless Compression) على الترتيب. [[الضغط غير المنقوص]] يخفض من عدد النبضات الثنائية (البت) اللازمة للتعبير عن البيانات عن طريق التعرف على [[التكرارية ( information theory)|التكرارية الإحصائية]]. ،ولا تفقد أي معلومات نتيجة لضغط البيانات. ومن أمثلة هذا النوع البرامج التي تستخدم لضغط ملفات الحاسوب مثل برامج ليتم تخزينها في صيغة (*.rar)أو في صيغة (*.zip).ويتم استعادة ملفات الحاسب أيًا كان نوعها بالكامل بعد فك الضغط. أمّا في حالة [[الضغط المنقوص]] فيتم تقليل النبضات الثنائية من خلال التعرف على المعلومات غير الهامة أو غير اللازمة وإزالتها.<ref>{{cite journal|الأخير=Pujar|الأول=J.H.|مؤلف2=Kadlaskar, L.M.|عنوان=A New Lossless Method of Image Compression and Decompression Using Huffman Coding Techniques|صحيفة=Journal of Theoretical and Applied Information Technology|تاريخ=مايو 2010|المجلد=15|العدد=1|صفحات=18–23|مسار=http://www.jatit.org/volumes/research-papers/Vol15No1/3Vol15No1.pdf| مسار الأرشيف = https://web.archive.org/web/20181228142627/http://www.jatit.org/volumes/research-papers/Vol15No1/3Vol15No1.pdf | تاريخ الأرشيف = 28 ديسمبر 2018 }}</ref> ومن أمثلة هذا النوع ما يحدث عند تخزين الصور ومقاطع الفيديو بصيغ تقلل الحجم، حيث يتم ضغط حجم الملفات عن طريق تقليل جودة الصورة مثلاً بقدر غير محسوس، مثال: تحويلها من صيغة (*.bmp) الكاملة إلى صيغة (*.jpg) المضغوطة. وكذلك الحال عند تحويل صيغة (*.avi) الكاملة إلى صيغ أخرى مثل (*.mp4) المضغوطة. ولا يمكن استرجاع "المعلومات" المفقودة عند الضغط بهذه الأساليب.

وتسمى عملية خفض حجم ملف البيانات باسم "ضغط البيانات". أمّا في سياق نقل البيانات وفي أنظمة الاتصالات، فيطلق عليها "ترميز المصدر" (حيث يتم الترميز عند مصدر البيانات قبل تخزينها أو إرسالها) وهذا على العكس من ترميز القناة.<ref>{{مرجعاستشهاد كتاببكتاب|الأخير=Salomon|الأول=David|عنوان=A Concise Introduction to Data Compression|سنة=2008|ناشر=Springer|مكان=Berlin|الرقم المعياري=9781848000728}}</ref> والذي يقصد منه تصحيح الأخطاء التي تسببها القناة أثناء الإرسال.

يعتبر ضغط البيانات أمرًا مفيدًا نظرًا لأنه يساعد على خفض استخدام الموارد، مثل وسط التخزين أو [[(bandwidth computing)|سعة]] الإرسال أو حيز التردد. ونظرًا لأن البيانات المضغوطة لابد من فك ضغطها لكي تصبح صالحة للاستخدام، فإن عمليات المعالجة الإضافية هذه تضع قيودًا حسابية أو تكلفة من نوع آخر لعملية فك الضغط، وبالتالي فإن هذه العملية ليست بلا ثمن!. ويتطلب فك ضغط البيانات الموازنة بين الوقت/حيز التخزين من ناحية وبين التعقيد من ناحية أخرى. فعلى سبيل المثال، عند استخدام أحد أساليب ضغط الفيديو، يتطلب الأمر إمّا [[Electronic hardware|أجهزة]] مكلّفة لكي تتمكن من فك ضغط الفيديو أثناء المشاهدة (وهو ما يزيد التعقيد)، أو أن يتم فك الضغط بالكامل قبل المشاهدة وهو ما يكلِّف وقتًا (في أنظمة الإرسال/الاستقبال) ويتطلب أيضًا حيز تخزين كبير يستوعب الفيديو الذي تم فكّه. ويعتمد تصميم أنظمة ضغط البيانات على الموازنة بين عدة عوامل مختلفة، والتي تشمل درجة الضغط، وكمية التشويه (Distortion) التي يمكن احتمالها (وذلك عند استخدام أنظمة [[الضغط المنقوص]])، وكمية الموارد الحسابية المطلوبة لفك ضغط البيانات.<ref>{{مرجعاستشهاد كتاببكتاب|الأخير=Tank|الأول=M.K.|عنوان=Implementation of Limpel-Ziv algorithm for lossless compression using VHDL. Thinkquest 2010: Proceedings of the First International Conference on Contours of Computing Technology|سنة=2011|ناشر=Springer|مكان=Berlin|صفحات=275–283}}</ref> وتجدر الإشارة إلى أن [[نظرية المعلومات]] هي العلم الذي يبحث في كلا نوعي ضغط البيانات، كما سيأتي تفصيله لاحقًا، حيث يهدف الضغط غير المنقوص إلى تمثيل البيانات بعدد من النبضات الثنائية يكافئ بالضبط الإنتروبية بينما يؤدي الضغط المنقوص إلى تمثيل البيانات بأقل من الإنتروبية، وبالتالي يحدث فقد في المعلومات (تشويه) وتبحث النظرية حينئذٍ في تحقيق أقصى استفادة مناظرة لهذا التشويه.

عادة ما يستخدم [[ضغط البيانات غير المضيع|ضغط البيانات غير المنقوص]] [[خوارزمات]] تستغل [[التكرارية (information theory)|statistical redundancy]] لتمثيل البيانات بطريقة أكثر إيجازًا وبدون فقد [[Self-information|معلومات]]، بحيث يمكن أن تكون عملية الضغط قابلة للفك بنفس الطريقة. ويمكن إجراء عملية الضغط غير المنقوص نظرًا لأن معظم البيانات في الحقيقة تتمتع بقدر من التكرارية الإحصائية. على سبيل المثال، قد تكون هناك مناطق ذات لون واحد في الصورة لا تتغير على مدار أكثر من بكسل (نقطة)؛ فبدلاً من ترميزها باعتبارها "نقطة حمراء، نقطة حمراء، ..." يمكن ترميز البيانات على هيئة "279 نقطة حمراء" وهذا مثال مبسط عن أسلوب يعرف باسم [[ترميز طول التشغيل]]; وهناك العديد من الأساليب التي تقلل من حجم الملف عن طريق إلغاء التكرار. ومن بين أكثر طرق الضغط شيوعًا خوارزم ليمبل زيف [[Lempel–Ziv]] (LZ) والتي تستخدم في أوساط التخزين.<ref>{{cite journal|الأخير=Navqi|الأول=Saud|مؤلف2=Naqvi, R.|مؤلف3=Riaz, R.A.|مؤلف4=Siddiqui, F.|عنوان=Optimized RTL design and implementation of LZW algorithm for high bandwidth applications|صحيفة=Electrical Review|تاريخ=أبريل 2011|المجلد=2011|العدد=4|صفحات=279–285|مسار=http://pe.org.pl/articles/2011/4/68.pdf| مسار الأرشيف = https://web.archive.org/web/20181228142635/http://pe.org.pl/articles/2011/4/68.pdf | تاريخ الأرشيف = 28 ديسمبر 2018 }}</ref> بينما يعتبر خوارزم [[DEFLATE (algorithm)|DEFLATE]] أحد الصور المنبثقة من LZ وهو خوارزم تم تصميمه لتحقيق أقصى مواءمة بين سرعة فك ضغط البيانات وبين نسبة الضغط، ولكن عملية الضغط ذاتها قد تكون بطيئة. ويستخدم خوارزم DEFLATE في برنامج [[PKZIP]]، [[جي زيب|وجي زيب]] [[بي إن جي (صيغة ملفات)|وPNG]]. بينما يستخدم خوارزم [[خوارزمية لامبل-زيف-ويلش]] (Lempel–Ziv–Welch) في صور [[جي آي إف]]. وجدير بالذكر أيضًا أن خوارزم LZR (Lempel-Ziv–Renau)، يعد أساسًا لطريقة [[Zip (إمتداد لملف)|Zip]]. وتستخدم طرق LZ نموذجًا لضغط البيانات يعتمد على جدول، حيث يتم التعويض عن مدخلات الجدول بدلاً من القيم المكررة من سلاسل البيانات. وبالنسبة لمعظم أساليب LZ، يتم توليد هذا الجدول بصورة ديناميكية من البيانات التي سبق إدخالها. وعادة ما يتم ترميز الجدول ذاته باستخدام طريقة [[ترميز هوفمان]] (مثل SHRI، LZX). ويعد نظام الترميز [[LZX (algorithm)|LZX]] من بين أنظمة الترميز ذات الأداء الجيد والتي تعتمد على خوارزمات LZ وهو مستخدم في صيغة [[Cabinet (file format)|CAB]] الخاصة بشركة مايكروسوفت. وتستخدم أفضل أساليب ضغط البيانات الحديثة نماذج [[خوارزمية عشوائية|احتمالية]]، مثل [[prediction by partial matching]] (التنبو من خلال المطابقة الجزئية).

ويمكن ربط التنبؤات الإحصائية بخوارزم فيما يطلق عليه الترميز الحسابي [[arithmetic coding]]. وهو خوارزم ابتكره [[جورما ريسانن]] ، وقام كل من ويتن ونيل وكليري (Witten، Neal، Cleary) بتطبيقه عمليًا، وهو يحقق أداءً أفضل من خوارزم هوفمان الأكثر شهرة، ويناسب تمامًا مهام ضغط البيانات الموائمة (adaptive)، حيث تعتمد التنبؤات الإحصائية اعتمادًا كبيرًا على السياق. ويستخدم الترميز الحسابي في النظام القياسي ثنائي المستوى لضغط الصور المعروف باسم [[JBIG]]، وفي صيغة ضغط الوثائق [[ديجافو (صيغة ملفات)|ديجافو]].

[[ضغط فقود|ضغط البيانات المنقوص]] يعتبر عكس عملية [[ضغط البيانات غير المضيع|ضغط البيانات غير المنقوص]]. وفي هذه الأساليب، يكون فقدان بعض المعلومات أمرًا مقبولاً. حيث يمكن أن يؤدي إسقاط (ترك) بعض التفاصيل غير الهامة من مصدر البيانات إلى توفير حيز التخزين. وتستند أساليب ضغط البيانات المنقوص إلى دراسات حول كيفية إدراك الأشخاص للبيانات المطلوبة. على سبيل المثال، تزيد حساسية عين الإنسان للتغيرات في الإضاءة [[استضواء]] أكثر من حساسيتها للألوان. وبالتالي فيمكن إغفال بعض القيم الخاصة بالألوان اعتمادًا على عدم قدرة الإنسان على تمييز الفرق.

ويعمل نظام [[ضغط الصور]] [[جيه بيه إيه جي]] عن طريق تقريب القيم غير الأساسية.<ref>{{مرجعاستشهاد ويب

| مسار أرشيف = https://web.archive.org/web/20181228142636/http://www.coryarcangel.com/downloads/Cory-Arcangel-OnC.pdf | تاريخ أرشيف = 28 ديسمبر 2018 }}</ref> وبالتالي يجب تحقيق التوازن بين حفظ المعلومات وبين تقليل الحجم. إذ كلما زاد فقدان المعلومات نتيجة عملية التقريب زاد معامل ضغط (خفض) البيانات وهو أمرٌ مرغوبٌ فيه، ولكن هذا يحدث على حساب الجودة، إذ قد يمكن للمستخدم في هذه الحالة الشعور بانخفاض جودة الصورة أو الفيديو. وتستغل صيغ الضغط الشائعة هذه الفروق الإدراكية، كما هو الحال في صيغ الضغط [[Psychoacoustics|المستخدمة مع ملفات الموسيقى]] والصور والفيديو.

ويستخدم [[ضغط الصور]] المنقوص في [[كاميرا رقمية|الكاميرات الرقمية]] لزيادة قدراتها على التخزين بأقل قدر ممكن من التدهور في جودة الصورة. وبالمثل تستخدم مشغلات الاسطوانات الرقمية المدمجة [[دي في دي]] نظام الضغط المنقوص [[صيغة ترميز الفيديو]] [[إم بي إي جي 2]] في [[ضغط الفيديو]].

أمّا في ضغط الصوت المنقوص، فتستخدم أساليب علم النفس السماعي ، السماعي، [[psychoacoustics]] لإزالة المكونات غير المسموعة (أو الأقل تأثيرًا في السمع) من [[معالجة الإشارة الصوتية|الإشارة الصوتية]]. وعادة ما يتم ضغط الصوت البشري باستخدام طرق أكثر تخصصًا؛ حيث يمكن تمييز عملية [[ترميز الكلام]] ([[speech coding]]) أو ترميز الصوت الآدمي، باعتبارها مجالاً بحثيًا مختلفًا عن "ضغط الصوت". وهناك العديد من النظم القياسية لضغط الصوت والكلام وهي متضمنة في صيغ ترميز الصوت ([[audio coding format]])، كما يستخدم "ضغط الصوت" في هواتف الإنترنت، ويستخدم ضغط الصوت على سبيل المثال في تخزين الصوت على الاسطوانات المدمجة (CD)<ref name="mahmud2">{{cite journal|الأخير=Mahmud|الأول=Salauddin|عنوان=An Improved Data Compression Method for General Data|صحيفة=International Journal of Scientific & Engineering Research|تاريخ=مارس 2012|المجلد=3|العدد=3|صفحة=2|مسار=http://www.ijser.org/researchpaper%5CAn-Improved-Data-Compression-Method-for-General-Data.pdf|تاريخ الوصول=6 March 2013| مسار الأرشيف = https://web.archive.org/web/20181228142559/https://www.ijser.org/researchpaper/An-Improved-Data-Compression-Method-for-General-Data.pdf | تاريخ الأرشيف = 28 ديسمبر 2018 }}</ref>.

توفِّر [[نظرية المعلومات]] الأساس النظري لعملية الضغط (وهي ترتبط ارتباطًا وثيقًا بنظرية المعلومات الخوارزمية [[algorithmic information theory]]) في حالة الضغط غير المنقوص بينما ترتبط بنظرية السرعة-التشويه ( [[rate–distortion theory]] بالنسبة للضغط المنقوص). وكان صاحب السبق في فتح هذه المجالات للدراسة هو [[كلود شانون]]، والذي نشر بعض الأوراق البحثية الأساسية في هذا الموضوع في أواخر الأربعينات وأوائل الخمسينات من القرن العشرين. كما ترتبط هذه الموضوعات بنظرية الترميز ([[نظرية الترميز]]). وتتصل فكرة ضغط البيانات اتصالاً وثيقًا بالاستقراء الإحصائي ([[استدلال إحصائي]].<ref>{{مرجعاستشهاد ويب

{{أيضا|تعلم آلي}}هناك علاقة وثيقة بين [[تعلم آلي|التعلم الآلي]] وبين ضغط البيانات: فالنظام الذي يمكنه التنبؤ بالاحتمالات اللاحقة لتسلسل من القيم بمعلومية القيم السابقة بالكامل يمكن أن يفيد في ضغط البيانات بطريقة مُثلى (باستخدام [[Arithmetic coding|الترميز الحسابي]] على التوزيع الاحتمالي الخارج) كما يمكن أن يستخدم ضاغط البيانات الجيد للتنبؤ (عن طريق البحث عن الرمز الذي يحقق أعلى معامل ضغط، بمعلومية القيم السابقة). وقد استخدم هذا التناظر بين التطبيقين كوسيلة لقياس "الذكاء العام."<ref>{{مرجعاستشهاد ويب

{{مفصلة|تفاضل البيانات}}يمكن النظر إلى عملية ضغط البيانات كحالة خاصة من عملية [[تفاضل البيانات|تفرقة البيانات]]:<ref>{{مرجعاستشهاد ويب

| مسار أرشيف = https://web.archive.org/web/20190502060758/https://tools.ietf.org/html/rfc3284 | تاريخ أرشيف = 2 مايو 2019 }}</ref><ref>{{Citationاستشهاد|الأول1=D.G.|الأخير1=Korn|الأول2=K.P.|الأخير2=Vo|عنوان=Vdelta: Differencing and Compression|series=Practical Reusable Unix Software|محرر=B. Krishnamurthy|ناشر=New York: John Wiley & Sons, Inc.|سنة=1995}}</ref> تتكون عملية تفرقة البيانات من إنتاج "فرق" بمعلومية "مصدر" و"هدف"، مع إمكانية استخراج "هدف" بمعلومية "مصدر" و"فرق"، في حين أن ضغط البيانات يتكون من إنتاج ملف مضغوط باستخدام هدف، وفك الضغط يتكون من إنتاج هدف بمعلومية الملف المضغوط فقط. وبالتالي يمكن اعتبار ضغط البيانات عبارة عن عملية تفرقة بيانات تكون فيها بيانات المصدر فارغة، حيث يكون الملف المضغوط عبارة عن "الفرق من لا شيء". وهذا مماثل تمامًا للنظر إلى [[اعتلاج (معلومات)|الإنتروبية]] المطلقة (والتي تناظر ضغط البيانات) كحالة خاصة من [[الإنتروبية النسبية]] (والتي تناظر تفرقة البيانات) لا تحتوي على بيانات ابتدائية.

يستخدم ضغط الفيديو أساليب ترميز حديثة لخفض التكرارية في بيانات الفيديو. وتجمع معظم [[List of codecs#Video codecs|خوارزمات ضغط الفيديو]] [[Video codec|والمُرمِّزات (Codecs)]] ما بين [[ضغط الصور]] المكاني [[تعويض الحركة|وتعويض الحركة]] الزمني. ويقصد بضغط الصور المكاني، استغلال تشابه بعض المساحات مثلاً في الإطار الواحد من إطارات الفيديو (الصورة الثابتة)، بينما يقصد بتعويض الحركة، استغلال التشابه بين كل إطار والإطار الذي يليه، بحيث لا يتم ترميز الأجزاء المتشابهة في الإطارات المتتالية مرتين، بل يمكن من خلال التنبؤ بالحركة أن يتم ترميزها مرة واحدة حتى وإن تحركت ما بين إطار وإطار آخر. ويعتبر ضغط الفيديو أحد تطبيقات الترميز المصدري في نظرية المعلومات. ومن الناحية العملية، تستخدم مُعظم مرمِّزات الفيديو (Codecs) أساليب ضغط الصوت أيضًا على التوازي لضغط بيانات الصوت المنفصلة المصاحبة للصورة في حزمة واحدة.<ref>{{مرجعاستشهاد ويب

تستخدم معظم خوارزمات ضغط الفيديو [[الضغط المنقوص]]. حيث يتطلب [[الفيديو غير المضغوط]] [[Uncompressed video#Storage and Data Rates for Uncompressed Video|معدل بيانات]] مرتفع للغاية. وعلى الرغم من أن مرمِّزات (Codecs) الفيديو [[List of codecs#Lossless compression|غير المنقوصة video compression]] تؤدي إلى معامل ضغط يبلغ نحو 3 مرات، إلا أنه من المعتاد أن يبلغ معامل ضغط فيديو بأسلوب [[إم بي إي جي - 4]] المنقوص ما بين 20 إلى 200.<ref>{{مرجعاستشهاد كتاببكتاب|الأخير=Graphics & Media Lab Video Group|عنوان=Lossless Video Codecs Comparison|سنة=2007|ناشر=Moscow State University|مسار=http://compression.ru/video/codec_comparison/pdf/msu_lossless_codecs_comparison_2007_eng.pdf| مسار الأرشيفأرشيف = https://web.archive.org/web/20181228142556/http://compression.ru/video/codec_comparison/pdf/msu_lossless_codecs_comparison_2007_eng.pdf | تاريخ الأرشيفأرشيف = 28 ديسمبر 2018 }}</ref>

* [http://www.testvid.com/index.html TestVid - 2،0002,000+ HD and other uncompressed source video clips for compression testing]

{{شريط بوابات|معلوماتيةتقنية المعلومات}}