टेक्स्ट फ़्रीक्वेंसी एनालिसिस यह गिनता है कि किसी टेक्स्ट में हर शब्द या अक्षर कितनी बार आता है। देवनागरी लिपि में यह गिनती अंग्रेज़ी जैसी लैटिन लिपियों से अलग ढंग से काम करती है, क्योंकि यहाँ "अक्षर" की परिभाषा ख़ुद उलझी हुई है।
अक्षर-स्तर की फ़्रीक्वेंसी देवनागरी में मुश्किल क्यों है
अंग्रेज़ी में हर अक्षर स्वतंत्र होता है, लेकिन देवनागरी में व्यंजन और मात्राएँ मिलकर संयुक्ताक्षर बनाते हैं — जैसे "क" + "ि" मिलकर "कि" बनता है। इस वजह से "किस अक्षर की फ़्रीक्वेंसी सबसे ज़्यादा है" का सीधा जवाब देना मुश्किल है: कोड-पॉइंट स्तर पर गिनती करने पर मात्राएँ अलग गिनी जाती हैं, जबकि पढ़ने वाला इसे एक ही दृश्य अक्षर मानता है।
शब्द-फ़्रीक्वेंसी: क्रिया और परसर्ग हावी रहते हैं
हिंदी में लंबे टेक्स्ट पर शब्द-फ़्रीक्वेंसी चलाने पर आमतौर पर परसर्ग ("का", "के", "में", "है") सबसे ऊपर आते हैं, ठीक वैसे ही जैसे अंग्रेज़ी में "the" और "of" हावी रहते हैं। मुख्य विषय-वस्तु वाले शब्द इनसे काफ़ी नीचे आते हैं, इसलिए किसी दस्तावेज़ का असली विषय समझने के लिए आमतौर पर सामान्य परसर्गों को अलग करके देखना पड़ता है।
अक्षर फ़्रीक्वेंसी और क्लासिक क्रिप्टएनालिसिस
सिंपल सब्स्टिट्यूशन सिफर अक्षरों के फ़्रीक्वेंसी डिस्ट्रीब्यूशन को नहीं बदलते, बस यह फिर से तय करते हैं कि कौन-सा अक्षर किस अक्षर के बराबर है। एन्क्रिप्टेड टेक्स्ट के फ़्रीक्वेंसी डिस्ट्रीब्यूशन की तुलना मूल भाषा के ज्ञात डिस्ट्रीब्यूशन से करके, बिना सभी संभावित की आज़माए कैरेक्टर मैपिंग वापस पाई जा सकती है और सिफर तोड़ा जा सकता है।
यह किस काम आता है
- सबसे ज़्यादा दोहराए गए शब्दों से किसी लंबे दस्तावेज़ का मुख्य विषय जल्दी समझना।
- यह जाँचना कि किसी टेक्स्ट का अक्षर वितरण प्राकृतिक है या नहीं (क्रिप्टोग्राफ़ी सीखने का अभ्यास)।
- किसी पेज के टेक्स्ट के SEO ऑप्टिमाइज़ेशन के लिए शब्द दोहराव का विश्लेषण करना।
ज़िप्फ़ का नियम
प्राकृतिक भाषाओं में, किसी शब्द की फ़्रीक्वेंसी उसके फ़्रीक्वेंसी-रैंक के व्युत्क्रमानुपाती होती है: सबसे ज़्यादा इस्तेमाल होने वाला शब्द दूसरे नंबर के शब्द से लगभग दोगुना, तीसरे नंबर के शब्द से लगभग तिगुना आता है, और यह क्रम आगे भी चलता है। यह पैटर्न (ज़िप्फ़ का नियम) सामान्य टेक्स्ट के लिए इतना स्थिर है कि इससे बड़ा विचलन एक संकेत है: टेक्स्ट कृत्रिम रूप से जेनरेट किया गया हो सकता है, कीवर्ड की दृष्टि से बहुत स्पैमी हो सकता है, या अपेक्षा से अलग भाषा में लिखा हो सकता है।