السَّمْت

نظرية المعلومات1948تأسيسي10 دقيقة قراءة

النظرية الرياضية للاتصال

A Mathematical Theory of Communication

Shannon, C. E. — Bell System Technical Journal

المشكلة

قبل عام 1948، كان المهندسون ينظرون إلى الاتصال على أنه مسألة إشارات تماثلية: ارفع قدرة الإشارة أو حسِّن المرشّحات. لم تكن لدى أحد طريقة للإجابة عن السؤال الأبسط: ما حجم المعلومات التي تستطيع قناة اتصال نقله؟ من دون هذه الإجابة، لم يكن بوسع المهندسين تحديد ما إذا كانت أنظمتهم قريبة من الأداء الأمثل أم أنها تُهدر الجزء الأكبر من طاقتها. ببساطة، لم تكن هناك نظرية للمعلومات نفسها — لا وحدة قياس، ولا مقياس، ولا حدود معروفة.

الإسهام

عرَّف شانون المعلومات تعريفاً رياضياً من خلال الإنتروبيا — وهي مقياس لمقدار المفاجأة أو عدم اليقين. قدَّم بوصفه الوحدة الأساسية للمعلومات، وبرهن أن أي مصدر يمكن ضغطه حتى حدود إنتروبيته ()، كما أثبت أن الاتصال الموثوق ممكن عبر أي قناة مشوَّشة ما دام معدّل الإرسال أدنى من (). ووضع الصيغة C = B log₂(1 + S/N) للقنوات المستمرة.

الأثر

أسّست ورقة شانون حقلاً علمياً كاملاً — — وأرست الأسس الرياضية للعصر الرقمي. أقراص CD، وشبكات Wi-Fi، والجيل الخامس 5G، وصيغ JPEG وMP3، ورموز QR، واتصالات الفضاء السحيق، والتشفير، بل حتى تعلُّم الآلة — كلها تنحدر من أفكار هذه الورقة الواحدة التي نُشرت عام 1948. وأصبح البِتّ هو ذرّة عصر المعلومات.

تخيّل مكتب بريد لا يُحاسبك على الوزن، بل على مقدار المفاجأة. رسالة تقول «أشرقت الشمس هذا الصباح» لا تكلّف شيئاً يُذكر — الجميع يتوقّعها. لكن رسالة تقول «اكتُشفت قارّة جديدة» ثمنها باهظ — لأن لا أحد توقّعها.

ما أثبته شانون هو أن كل قناة اتصال تعمل بالضبط كمكتب البريد هذا. لأي مصدر رسائل هي متوسّط المفاجأة لكل رمز، وتُقاس بوحدة البِتّ. ولكل قناة سقفٌ أعلى للمفاجأة التي تستطيع إيصالها في الثانية — وهذا السقف هو سعة القناة. ابقَ تحت هذا السقف وستتواصل بأخطاء شبه معدومة. تجاوزْه، ولن يُنقذك أيّ قدر من الهندسة.

المخطط العام: كيف يعمل أي نظام اتصال

أول خطوة ذكية قام بها شانون هي تجريد التفاصيل الفيزيائية واختزال أي نظام اتصال — هاتف، برقية، تلفاز، راديو — في مخطط واحد من خمسة مكوّنات:

مصدر المعلومات ← المرسِل () ← القناة (+ ) ← المستقبِل () ← الوِجهة

ينتج المصدر رسالةً ما (نصّ، كلام، صور). يحوّلها المُرمِّز إلى إشارة مناسبة للقناة. تنقل القناة الإشارة — لكنها تُضيف تشويشاً أيضاً. يعيد مُفكِّك الترميز بناء الرسالة الأصلية من الإشارة المشوَّشة، ثم تصل الرسالة إلى وِجهتها.

كان هذا التجريد ثورياً: بمجرّد أن ترسم هذا المخطط، يمكنك التفكير رياضياً في أيّ نظام اتصال، سواء كانت القناة سلكاً نحاسياً أو ليفاً بصرياً أو فراغ الفضاء.

افتح في المختبر
انقر على أيّ مكوّن لتتعرّف على دوره في سلسلة الاتصال.
تستيقظ التجربة عند وصولك…

قياس ما لا يُقاس: المعلومات بوصفها مفاجأة

قبل شانون، كانت كلمة «معلومات» مفهوماً غائماً بلا تعريف دقيق. شانون غيّر ذلك بتعريف واضح: المعلومات هي إزالة حالة عدم اليقين. فرسالة تُخبرك بما تعرفه سلفاً لا تحمل أيّ معلومات. أمّا رسالة تخبرك بأمر لم تتوقّعه إطلاقاً فهي تحمل أقصى قدر من المعلومات.

السؤال المحوري هو: لو كان لدينا مصدر يُنتج رموزاً من أبجدية — لنقل الحروف من أ إلى ي — لكلٍّ منها ظهور معيّن، فكم من «المفاجأة» ينتج هذا المصدر وسطياً في كل رمز؟

أطلق شانون على هذا المتوسّط من المفاجأة اسم الإنتروبيا، مستعيراً المصطلح من الديناميكا الحرارية. مصدرٌ يبثّ الحرف نفسه دائماً إنتروبيته صفر — لا مفاجأة ولا معلومات. ومصدرٌ جميع حروفه متساوية الاحتمال إنتروبيته أعلى ما يمكن — أقصى مفاجأة وأكبر قدر من المعلومات في كل رمز.

فكِّر في الأمر هكذا: في العربية، بعد «ال» التعريف يأتي بالضرورة اسم أو صفة — فظهور الاسم بعد «ال» لا يحمل مفاجأة تُذكر. لكن في وسط الجملة، الحرف التالي قد يكون أيّ شيء تقريباً — فأيُّ حرف يظهر يحمل معلومات حقيقية. الإنتروبيا تقيس هذا المتوسّط من المفاجأة على كامل المصدر.

H(X)=−∑i=1np(xi)log⁡2p(xi)H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)
إنتروبيا شانون — متوسّط المفاجأة لكل رمز — مفاجأة كل رمز = log₂(الاحتمال)−. الرموز النادرة تحمل بِتّات مفاجأة أكثر. H تحسب المتوسّط المرجّح لهذه القيم بحسب تكرار ظهور كل رمز. النتيجة: بِتّات لكل رمز.
افتح في المختبر
اسحب أشرطة الاحتمالات لترى كيف تتغيّر الإنتروبيا. احتمالات متساوية ← أعلى إنتروبيا.
تستيقظ التجربة عند وصولك…

في أبسط حالة — رمية عملة باحتمال pp لظهور الصورة — تُختزل الإنتروبيا إلى ما يُعرف بـدالة الإنتروبيا الثنائية: H(p)=−plog⁡2p−(1−p)log⁡2(1−p)H(p) = -p \log_2 p - (1-p) \log_2 (1-p). هذا المنحنى يبلغ ذروته عند p=0.5p = 0.5 (بِتّ واحد — أقصى عدم يقين) وينخفض إلى الصفر عند p=0p = 0 أو p=1p = 1 (يقين تام — لا مفاجأة).

افتح في المختبر
منحنى الإنتروبيا الثنائية — اسحب النقطة لاستكشاف H(p).
تستيقظ التجربة عند وصولك…

ترميز المصدر: التخلّص من الفائض

تنصّ مبرهنة شانون الأولى — مبرهنة — على ما يلي: يمكنك ضغط أيّ رسالة حتى حدود إنتروبيتها، لكن ليس أقلّ من ذلك. فإذا كان مصدرٌ ما إنتروبيته H = 2.5 بِتّ/رمز، فأنت تحتاج على الأقلّ إلى 2.5 بِتّ وسطياً لتمثيل كل رمز بدقّة — غير أنك تستطيع الاقتراب من هذا الحدّ بقدر ما تشاء.

الفكرة بسيطة: أعطِ الرموز الشائعة ترميزات قصيرة، والرموز النادرة ترميزات طويلة. إذا ظهر حرف الألف بنسبة 12% في النصوص العربية فأعطه رمزاً قصيراً، وإذا ظهر حرف الظاء بنسبة 0.2% فأعطه رمزاً أطول. هذا بالضبط ما فعلته شفرة مورس بالحدس — الحرف «e» مجرّد نقطة واحدة.

برهن شانون ذلك رياضياً: متوسّط طول الترميز الأمثل يساوي إنتروبيا المصدر. وكل خوارزمية ضغط ظهرت بعده — ترميز هوفمان، وLZW (في صيغة GIF)، وDEFLATE (في صيغة ZIP)، والخوارزميات الحديثة — تسعى للوصول إلى هذا الحدّ.

افتح في المختبر
شاهد كيف يؤدّي تخصيص رموز قصيرة للحروف المتكرّرة إلى ضغط الرسالة نحو حدّ الإنتروبيا.
تستيقظ التجربة عند وصولك…

سعة القناة: حدّ السرعة الأقصى للاتصال

النتيجة الكبرى الثانية لشانون تجيب عن سؤال مباشر: ما أقصى سرعة يمكن بها إرسال بيانات عبر قناة مشوَّشة دون أخطاء؟

لكل قناة عددٌ يُسمّى سعتها — وهو أقصى معدّل يمكنك عنده نقل المعلومات مع إبقاء احتمال الخطأ صغيراً بقدر ما تريد. تخيّل الأمر كحدّ السرعة على طريق سريع: قُد تحته وتتدفّق الحركة بسلاسة، حاول تجاوزه وستصبح الاصطدامات حتمية.

لقناة مستمرة ذات BB (هرتز) ونسبة إشارة إلى تشويش S/NS/N، تحدّد السعة كما يلي:

C=Blog⁡2 ⁣(1+SN)C = B \log_2\!\left(1 + \frac{S}{N}\right)
مبرهنة شانون-هارتلي — حدّ السرعة الأقصى للقناة — B = عرض النطاق بالهرتز · S/N = نسبة الإشارة إلى التشويش · C = أقصى معدّل بيانات خالٍ من الأخطاء بالبِتّ/ثانية. عرض نطاق أكبر أو تشويش أقلّ ← سعة أعلى.

لاحظ المقايضة: يمكنك تعويض التشويش بزيادة عرض النطاق، أو تعويض محدودية النطاق بزيادة قدرة الإشارة. لكنّ هناك سقفاً دائماً — لا يستطيع أيّ نظام في الواقع أن يتجاوز سعة شانون.

افتح في المختبر
عدِّل عرض النطاق ونسبة الإشارة إلى التشويش وراقب كيف تتغيّر سعة القناة.
تستيقظ التجربة عند وصولك…

الاكتشاف المذهل: اتصال موثوق رغم التشويش

هنا تأتي ربّما أكثر النتائج إدهاشاً في نظرية المعلومات بأكملها — مبرهنة شانون لترميز القناة المشوَّشة:

ما دام معدّل الإرسال R أقلّ من سعة القناة C، فإنّ هناك أساليب ترميز تجعل احتمال الخطأ صغيراً بالقدر الذي تريده — أي صفراً عملياً.

قبل شانون، كان المهندسون يسلّمون بأن التشويش يُفسد حتماً جزءاً من البيانات. ما برهنه شانون هو أنه بإضافة مُصمَّم بعناية — بِتّات إضافية لا تحمل معلومات جديدة لكنها تساعد في كشف الأخطاء وتصحيحها — يمكنك التواصل بموثوقية عبر أيّ قناة مهما اشتدّ تشويشها، بشرط أن يبقى R<CR < C.

لكن ثمّة قيد مهم: شانون أثبت أن هذه الترميزات موجودة من الناحية الرياضية، لكنه لم يبنِ أياً منها فعلياً. فتحوّل البحث عن ترميزات عملية تقترب من حدّ شانون إلى رحلة استمرّت عقوداً — من شفرات هامينغ (1950) إلى شفرات ريد-سولومون (في أقراص CD ورموز QR) إلى شفرات التوربو (1993) وشفرات LDPC (في شبكات الجيل الخامس وWi-Fi 6) التي كادت تلامس الحدّ النظري.

افتح في المختبر
أرسل بِتّات عبر قناة مشوَّشة — أولاً بدون ترميز، ثم مع تصحيح أخطاء. لاحظ الفرق.
تستيقظ التجربة عند وصولك…

المعلومات المتبادلة: كم يكشف لك المخرج عن المدخل؟

سعة القناة CC تُعرَّف بأنها أقصى قيمة يمكن أن تبلغها بين مدخل القناة XX ومخرجها YY: C=max⁡p(x)I(X;Y)C = \max_{p(x)} I(X;Y) المعلومات المتبادلة I(X;Y)=H(X)−H(X∣Y)I(X;Y) = H(X) - H(X|Y) تقيس مقدار ما يقلّصه المخرج من عدم يقينك حيال المدخل. هنا H(X∣Y)H(X|Y) هي — أي عدم اليقين المتبقّي بشأن المدخل بعد أن تراقب المخرج. في قناة نظيفة بلا تشويش I(X;Y)=H(X)I(X;Y) = H(X) — المخرج يُخبرك بكل شيء. وفي قناة مشوَّشة تماماً I(X;Y)=0I(X;Y) = 0 — المخرج لا يُخبرك بشيء.

تخيّل دائرتين متداخلتين (مخطّط فِنّ): الأولى H(X)H(X) تمثّل عدم يقين المرسِل، والثانية H(Y)H(Y) تمثّل عدم يقين المستقبِل. المنطقة المشتركة بينهما هي المعلومات المتبادلة — المعرفة التي يتشاركها الطرفان. وسؤال سعة القناة هو: ما أكبر مساحة يمكن أن تبلغها هذه المنطقة المشتركة؟

I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)
المعلومات المتبادلة — المعرفة المشتركة بين المرسِل والمستقبِل — H(X) = إنتروبيا المرسِل · H(X|Y) = عدم اليقين المتبقّي بعد مراقبة المخرج · الفرق بينهما = مقدار ما نقلته القناة فعلاً

التكرار: هدرٌ خفيّ وحمايةٌ خفيّة في اللغة

قدّر شانون أن النصوص الإنجليزية تحتوي على نحو 50% من التكرار — أي أن نصف الحروف تقريباً يمكن حذفها ويبقى النصّ مفهوماً. لهذا تستطيع قراءة «هذ الجمل بل حركت» — التكرار الطبيعي في العربية يتيح لعقلك ملء الفجوات.

لهذا التكرار وجهان:

  • من ناحية الضغط: هو هَدر. ترميز المصدر يحذفه للاقتراب من حدّ الإنتروبيا.
  • من ناحية تصحيح الأخطاء: هو نعمة. التكرار الطبيعي يساعد البشر على اكتشاف الأخطاء الإملائية، و الهندسية تمكّن الآلات من فعل الشيء ذاته.

أدرك شانون أن التوتّر الجوهري في أيّ نظام اتصال يقع بين هاتين القوّتين: أزِل التكرار لتضغط، أو أضِف تكراراً لتحمي من التشويش. مبرهنة ترميز المصدر ومبرهنة ترميز القناة المشوَّشة تخبرانك بالضبط إلى أيّ مدى يمكنك المضيّ في كل اتجاه.

الأفكار الجوهرية برمجياً

إنتروبيا شانون وسعة القناة، من الصفرpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def entropy(probs):
    """إنتروبيا شانون: متوسّط المفاجأة لكل رمز، بالبِتّ."""
    probs = np.array(probs)
    probs = probs[probs > 0]                # 0 log 0 = 0 بالاصطلاح
    return -np.sum(probs * np.log2(probs))

# مثال: مصدر من 4 رموز
p = [0.5, 0.25, 0.125, 0.125]
H = entropy(p)
print(f"الإنتروبيا H = {H:.3f} بِتّ/رمز")   # 1.750 — هذا هو حدّ الضغط

# الإنتروبيا الثنائية: الحالة الخاصة لرمية عملة
def binary_entropy(p):
    if p == 0 or p == 1: return 0
    return -p * np.log2(p) - (1-p) * np.log2(1-p)

print(f"H(0.5) = {binary_entropy(0.5):.3f}")  # 1.0 — أقصى عدم يقين
print(f"H(0.9) = {binary_entropy(0.9):.3f}")  # 0.469 — عملة منحازة ← مفاجأة أقلّ

# سعة القناة حسب مبرهنة شانون-هارتلي
def channel_capacity(bandwidth_hz, snr_linear):
    """C = B * log2(1 + S/N) بالبِتّ في الثانية."""
    return bandwidth_hz * np.log2(1 + snr_linear)

# قناة Wi-Fi نموذجية: عرض نطاق 20 ميغاهرتز، نسبة إشارة/تشويش 30 ديسيبل
B = 20e6                        # 20 ميغاهرتز
snr_db = 30
snr = 10 ** (snr_db / 10)       # تحويل الديسيبل إلى قيمة خطّية
C = channel_capacity(B, snr)
print(f"سعة Wi-Fi ≈ {C/1e6:.0f} ميغابِتّ/ثانية")  # ~199 — الحدّ النظري الأقصى

لماذا غيّرت هذه الورقة مجرى العلم

  1. 1948

    ورقة شانون

    نُشرت في مجلة بِل للأنظمة التقنية. أسّست نظرية المعلومات حقلاً علمياً مستقلاً وقدّمت مفاهيم البِتّ والإنتروبيا وسعة القناة ومبرهنتَي الترميز.

  2. 1950

    شفرات هامينغ

    نشر ريتشارد هامينغ أولى شفرات تصحيح الأخطاء العملية، مُثبتاً أن مبرهنة شانون قابلة للتحقيق فعلاً.

  3. 1951

    ترميز هوفمان

    ابتكر ديفيد هوفمان خوارزمية ضغط مثلى خالية من البادئات المشتركة — أول ترميز يقترب من حدّ شانون لترميز المصدر.

  4. 1960

    شفرات ريد-سولومون

    شفرات قوية لتصحيح الأخطاء أتاحت لاحقاً تقنيات أقراص CD وDVD ورموز QR واتصالات الفضاء السحيق.

  5. 1993

    شفرات التوربو

    اقتربت من حدّ شانون بكسرٍ من الديسيبل — بعد نصف قرن من إثبات المبرهنة. وُصفت بأنها أبرز تطوّر في نظرية الترميز منذ عقود.

  6. 2009

    اعتماد شفرات LDPC في المعايير

    اعتُمدت شفرات فحص التكافؤ منخفضة الكثافة (اخترعها غالاغر عام 1960 وأُعيد اكتشافها في التسعينيات) في معايير Wi-Fi والجيل الخامس والأقمار الصناعية — ملامِسةً حدّ شانون عملياً.

في كل مرة تشاهد فيها بثّاً مباشراً، أو تُجري مكالمة هاتفية، أو تمسح رمز QR، أو تخزّن بيانات على قرص SSD — تعمل مبرهنات شانون بصمت تحت السطح. النماذج اللغوية الكبيرة التي تقرأ هذا النصّ — مثل GPT وClaude وGemini — تستخدم دالة خسارة ، وهي تطبيق مباشر لإنتروبيا شانون على مسألة التنبّؤ بالرمز التالي. حقل تعلُّم الآلة بأكمله يعمل على تحسين كمّيات من نظرية المعلومات عرَّفها شانون عام 1948.

المرجعShannon, C. E.. A Mathematical Theory of Communication. Bell System Technical Journal, 1948.

مصطلحات هذه الورقة