Charger le texte

Le texte peut ?tre charg? en utilisant la fonction Corpus() du package tm. Corpus est une liste de documents (dans notre cas, nous avons juste un seul fichier).

Dans l?exemple ci-dessous, j?ai charg? un fichier .txt disponible sur le site web STHDA. Vous pouvez utiliser n?importe quel fichier de votre ordinateur.

# Lire le fichier texte
filePath <- "https://www.sthda.com/sthda/RDoc/example-files/martin-luther-king-i-have-a-dream-speech.txt"
text <- readLines(filePath)

# Charger les donn?es comme un corpus
docs <- Corpus(VectorSource(text))

La fonction VectorSource() se charge de la cr?ation du corpus de textes (ensemble de vecteurs de textes)

Le contenu du document peut ?tre consult? comme suit:

inspect(docs)

La transformation du texte

La transformation du texte est effectu?e en utilisant la fonction tm_map() pour remplacer, par exemple, des caract?res sp?ciaux non utiles.

Remplacer ?/?, ?@? et ?|? avec un espace

toSpace <- content_transformer(function (x , pattern ) gsub(pattern, " ", x))
docs <- tm_map(docs, toSpace, "/")
docs <- tm_map(docs, toSpace, "@")
docs <- tm_map(docs, toSpace, "\\|")

Nettoyage du texte

La fonction tm_map() est utilis?e pour supprimer les espaces inutiles, pour convertir le texte en minuscules, supprimer les ?mots vides? (stopwords en anglais). Il s?agit des mots tr?s courants dans une langue comme ?le?, ?la?, ?nous?, ?et?, etc.

La valeur de l?information de ces ?mots vides? est proche de z?ro en raison du fait qu?ils sont si communs dans une langue. La suppression de ce genre de mots est utile avant de poursuivre une analyse plus approfondie.

Pour la suppression de ces mots vides, les langues support?es sont: danish, dutch, english, finnish, french, german, hungarian, italian, norwegian, portuguese, russian, spanish et swedish. Le nom des langues est sensible ? la casse.

Je vais aussi vous montrer comment faire pour supprimer votre propre liste de mots du texte.

Vous pouvez ?galement supprimer des chiffres et ponctuations avec les arguments removeNumbers et removePunctuation.

Une autre ?tape importante de pr?paration du texte est de faire du texte stemming. Ce processus consiste ? r?duire les mots ? leurs racines. En d?autres termes, ce processus supprime les suffixes des mots pour les rendre simples et pour obtenir l?origine commune. Par exemple, le text stemming va r?duire les mots ?partir?, ?partant?, ?partons? ? la racine ?partir?.

Notez que le text stemming n?cessite le package ?SnowballC?.

Le code R ci-dessous peut ?tre utilis? pour nettoyer le texte :

# Convertir le texte en minuscule
docs <- tm_map(docs, content_transformer(tolower))

# Supprimer les nombres
docs <- tm_map(docs, removeNumbers)

# Supprimer les mots vides anglais
docs <- tm_map(docs, removeWords, stopwords("english"))

# Supprimer votre propre liste de mots non d?sir?s
docs <- tm_map(docs, removeWords, c("blabla1", "blabla2")) 

# Supprimer les ponctuations
docs <- tm_map(docs, removePunctuation)

# Supprimer les espaces vides suppl?mentaires
docs <- tm_map(docs, stripWhitespace)

# Text stemming
# docs <- tm_map(docs, stemDocument)