Contare caratteri e parole sembra banale, ma l'italiano ha un trucco tutto suo — l'elisione — che fonde due parole in un unico blocco senza spazio grazie a un semplice apostrofo.
L'elisione: due parole, un solo token
Davanti a una vocale, articoli e preposizioni articolate perdono la vocale finale e si attaccano alla parola successiva: «l'amico», «dell'albero», «un'idea». Un contatore di parole basato sugli spazi vede «l'amico» come un'unica parola, anche se grammaticalmente sono due parole distinte (l'articolo «lo» e il nome «amico») unite da un apostrofo invece che separate da uno spazio.
Consonanti doppie e conteggio dei caratteri
L'italiano usa sistematicamente le consonanti doppie per distinguere significati diversi: «pena» e «penna», «papa» e «pappa» differiscono di un solo carattere ma cambiano completamente significato. Questo rende il conteggio esatto dei caratteri particolarmente rilevante per il controllo ortografico e per capire perché un refuso di una sola lettera in italiano cambia spesso il senso della parola, non solo la sua forma.
Accenti e numero di punti di codice
Un carattere come «è» può essere rappresentato come un unico punto di codice precomposto oppure come due — la lettera base «e» più un accento grave combinante separato. Visivamente identico, ma il numero di punti di codice Unicode cambia in base a come è stato codificato il testo di origine, il che può alterare un conteggio di caratteri fatto in modo troppo letterale.
A cosa serve
- Verificare un testo rispetto a un limite di caratteri (un tweet, un SMS, un campo di un modulo).
- Stimare il tempo di lettura approssimativo di un articolo dal numero di parole.
- Capire perché due frasi con lo stesso significato danno conteggi di parole diversi a causa dell'elisione.
Conteggio delle parole in lingue senza spazi
In cinese, giapponese o thailandese le parole tradizionalmente non sono separate da spazi — il confine tra le parole è definito dalla grammatica e dal contesto, non da un separatore. Perciò il "conteggio delle parole" per queste lingue richiede in realtà un algoritmo di segmentazione del testo a parte, e un semplice conteggio basato sugli spazi darà come risultato o una sola "parola" per l'intero testo, oppure perderà completamente di senso.