Charger le texte

Le texte peut être chargé en utilisant la fonction Corpus() du package tm. Corpus est une liste de documents (dans notre cas, nous avons juste un seul fichier).

Dans l’exemple ci-dessous, j’ai chargé un fichier .txt disponible sur le site web STHDA. Vous pouvez utiliser n’importe quel fichier de votre ordinateur.

# Lire le fichier texte
filePath <- "http://www.sthda.com/sthda/RDoc/example-files/martin-luther-king-i-have-a-dream-speech.txt"
text <- readLines(filePath)
# Charger les données comme un corpus
docs <- Corpus(VectorSource(text))

La fonction VectorSource() se charge de la création du corpus de textes (ensemble de vecteurs de textes)

Le contenu du document peut être consulté comme suit:

inspect(docs)

La transformation du texte

La transformation du texte est effectuée en utilisant la fonction tm_map() pour remplacer, par exemple, des caractères spéciaux non utiles.

Remplacer “/”, “@” et “|” avec un espace

toSpace <- content_transformer(function (x , pattern ) gsub(pattern, " ", x))
docs <- tm_map(docs, toSpace, "/")
docs <- tm_map(docs, toSpace, "@")
docs <- tm_map(docs, toSpace, "\\|")

Nettoyage du texte

La fonction tm_map() est utilisée pour supprimer les espaces inutiles, pour convertir le texte en minuscules, supprimer les “mots vides” (stopwords en anglais). Il s’agit des mots très courants dans une langue comme “le”, “la”, “nous”, “et”, etc.

La valeur de l’information de ces “mots vides” est proche de zéro en raison du fait qu’ils sont si communs dans une langue. La suppression de ce genre de mots est utile avant de poursuivre une analyse plus approfondie.

Pour la suppression de ces mots vides, les langues supportées sont: danish, dutch, english, finnish, french, german, hungarian, italian, norwegian, portuguese, russian, spanish et swedish. Le nom des langues est sensible à la casse.

Je vais aussi vous montrer comment faire pour supprimer votre propre liste de mots du texte.

Vous pouvez également supprimer des chiffres et ponctuations avec les arguments removeNumbers et removePunctuation.

Une autre étape importante de préparation du texte est de faire du texte stemming. Ce processus consiste à réduire les mots à leurs racines. En d’autres termes, ce processus supprime les suffixes des mots pour les rendre simples et pour obtenir l’origine commune. Par exemple, le text stemming va réduire les mots “partir”, “partant”, “partons” à la racine “partir”.

Notez que le text stemming nécessite le package ‘SnowballC’.

Le code R ci-dessous peut être utilisé pour nettoyer le texte :

# Convertir le texte en minuscule
docs <- tm_map(docs, content_transformer(tolower))
# Supprimer les nombres
docs <- tm_map(docs, removeNumbers)
# Supprimer les mots vides anglais
docs <- tm_map(docs, removeWords, stopwords("english"))
# Supprimer votre propre liste de mots non désirés
docs <- tm_map(docs, removeWords, c("blabla1", "blabla2")) 
# Supprimer les ponctuations
docs <- tm_map(docs, removePunctuation)
# Supprimer les espaces vides supplémentaires
docs <- tm_map(docs, stripWhitespace)
# Text stemming
# docs <- tm_map(docs, stemDocument)