يحسب تحليل تكرار النص عدد مرات ظهور كل كلمة أو حرف. وتحليل تكرار الحروف تحديدًا له جذر عربي: أول من دوَّن هذه الطريقة علميًا كان عالِمًا عربيًا في بغداد القرن التاسع.
الكندي وأصل تحليل التردد
يُنسب اختراع تحليل التردد كأداة علمية لكسر الشيفرات إلى الفيلسوف العربي أبو يوسف الكندي (القرن التاسع الميلادي)، في رسالته "في استخراج المُعمّى" (فك الرسائل المشفَّرة). لاحظ الكندي أن بعض الحروف العربية — وعلى رأسها الألف — تتكرر في أي نص عادي أكثر من غيرها بشكل يمكن التنبؤ به، وأن هذا التكرار يبقى كما هو حتى لو استُبدل كل حرف بحرف آخر وفق شيفرة تعويض بسيطة.
لماذا يهيمن حرف الألف على النصوص العربية
الألف من أكثر الحروف تكرارًا في العربية، إذ يظهر في أداة التعريف "ال"، وفي صيغ الجمع، وفي حروف المد الطويلة داخل الكلمات. عند كتابة النص من دون تشكيل — وهو الشائع في الاستخدام اليومي — يصبح توزيع الحروف الساكنة وحدها هو ما يحمل البصمة الإحصائية للغة، بينما تختفي الحركات (الفتحة والضمة والكسرة) التي كانت لتضيف طبقة أخرى من التكرار في النصوص المشكَّلة بالكامل.
لماذا يعمل هذا الأسلوب ضد الشيفرات البسيطة
شيفرات الاستبدال البسيطة لا تغيّر توزيع تكرار الحروف، بل تعيد فقط ترتيب أي حرف يقابل أي حرف. بمقارنة توزيع تكرار نص عربي مشفَّر بالتوزيع المعروف للعربية — مع هيمنة الألف واللام — يمكن استعادة مطابقة الأحرف وكسر الشيفرة دون تجربة كل المفاتيح الممكنة، تمامًا كما وصف الكندي قبل أكثر من ألف عام.
لماذا نحتاج هذا
- فهم الموضوع الرئيسي لمستند طويل بسرعة من أكثر الكلمات تكرارًا.
- التحقق مما إذا كان لنص توزيع حروف طبيعي (تمرين تعليمي تشفيري).
- تحليل تكرار الكلمات لتحسين السيو لصفحة نصية.
قانون زيبف
في اللغات الطبيعية، يتناسب تكرار الكلمة عكسيًا مع رتبتها في قائمة مرتبة تنازليًا حسب التكرار: أكثر كلمة تكرارًا تظهر تقريبًا ضعف تكرار الكلمة الثانية، وثلاثة أضعاف تكرار الثالثة، وهكذا. هذا النمط (قانون زيبف) ثابت لدرجة أن أي انحراف كبير عنه بالنسبة لنص عادي يُعدّ إشارة: قد يكون النص مولَّدًا آليًا، أو محشوًّا بكلمات مفتاحية بشكل مبالغ فيه، أو مكتوبًا بلغة مختلفة عمّا كان متوقعًا.