Analisis frekuensi teks menghitung berapa kali setiap kata atau karakter muncul dalam sebuah teks. Dalam bahasa Indonesia, kata-kata fungsi pendek seperti "yang", "di", dan "dan" hampir selalu mendominasi puncak daftar frekuensi kata, jauh mengalahkan kata benda bertopik.
"Yang" dan dominasi kata fungsi
Kata "yang" berfungsi sebagai kata penghubung relatif yang sangat serbaguna dalam bahasa Indonesia, muncul jauh lebih sering daripada kata topikal apa pun dalam teks panjang. Bersama kata depan seperti "di", "ke", "dari", dan kata sambung "dan", kata-kata fungsi ini biasanya perlu disaring dulu sebelum daftar frekuensi kata benar-benar mencerminkan topik sebuah dokumen.
Awalan dan akhiran mengubah bentuk kata yang dihitung
Karena imbuhan menempel langsung pada kata dasar tanpa spasi, "membaca", "dibaca", dan "bacaan" dihitung sebagai tiga kata yang sepenuhnya berbeda dalam analisis frekuensi berbasis kata, meskipun ketiganya berasal dari akar kata yang sama "baca". Ini membuat frekuensi kata dasar tersembunyi di balik variasi bentuk berimbuhannya, berbeda dari bahasa yang kurang produktif dalam pembentukan kata berimbuhan.
Frekuensi huruf dan kriptoanalisis klasik
Sandi substitusi sederhana tidak mengubah distribusi frekuensi huruf, hanya menyusun ulang huruf mana yang sesuai dengan huruf mana. Dengan membandingkan distribusi frekuensi teks terenkripsi dengan distribusi bahasa asli yang diketahui, seseorang dapat memulihkan pemetaan karakter dan memecahkan sandi tanpa mencoba semua kemungkinan kunci.
Untuk apa ini dibutuhkan
- Memahami dengan cepat topik utama dari dokumen panjang berdasarkan kata-kata yang paling sering muncul (setelah menyaring kata fungsi seperti "yang" dan "di").
- Memeriksa apakah sebuah teks memiliki distribusi huruf yang alami (latihan edukasi kriptografi).
- Menganalisis pengulangan kata untuk optimasi SEO teks sebuah halaman.
Hukum Zipf
Dalam bahasa alami, frekuensi sebuah kata berbanding terbalik dengan peringkatnya dalam daftar terurut menurun berdasarkan frekuensi: kata paling sering muncul kira-kira dua kali lebih sering daripada kata kedua tersering, tiga kali lebih sering daripada kata ketiga, dan seterusnya. Pola ini (hukum Zipf) begitu konsisten untuk teks biasa sehingga penyimpangan signifikan darinya menjadi sinyal: teks tersebut mungkin dibuat secara artifisial, sangat dipenuhi kata kunci (spam), atau ditulis dalam bahasa lain dari yang diharapkan.