silico.biotoul.fr
 

M1 BBS Graphes TP Recherche de communautés dans les graphes

From silico.biotoul.fr

(Difference between revisions)
Jump to: navigation, search
m (Assemblage des quatre méthodes)
m (Assemblage des cinq méthodes)
 
(75 intermediate revisions not shown)
Line 1: Line 1:
=Introduction=
=Introduction=
-
Nous allons réaliser une analyse de génomique comparative qui s’inspire d’un travail publié par [https://www.ncbi.nlm.nih.gov/pubmed/25888166 Snipen et Liland (2015)]. Le but est d’identifier le core et le pan génome d’un ensemble de souches bactériennes. Le core génome est l’ensemble des gènes communs à toutes les souches. Le pan génome est l’ensemble des gènes codés par au moins une des souches. Dans ce contexte un gène est en réalité une famille de gènes ou un cluster de gènes similaires. Idéalement, une famille de gènes serait une collection de gènes orthologues. Néanmoins, comme une analyse pan génomique ne produit pas toujours des groupes de gènes orthologues, il est préférable de parler de '''clusters de gènes'''.  
+
Nous allons réaliser une analyse de génomique comparative qui s’inspire d’un travail publié par [https://www.ncbi.nlm.nih.gov/pubmed/25888166 Snipen et Liland (2015)]. Le but est d’identifier le core et le pan génome d’un ensemble de souches bactériennes. Le core génome est l’ensemble des gènes communs à toutes les souches. Le pan génome est l’ensemble des gènes codés par au moins une des souches ([https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1216834/ Tettelin et al., 2005]). Dans ce contexte un gène est en réalité une famille de gènes ou un cluster de gènes similaires. Idéalement, une famille de gènes serait une collection de gènes orthologues. Néanmoins, comme une analyse pan génomique ne produit pas toujours des groupes de gènes orthologues, il est préférable de parler de '''clusters de gènes'''.  
-
Bien que ce concept de clusters de gènes joue un rôle central dans les analyses de génomiques comparatives, il n’y a pas de consensus sur la façon de les calculer! Dans ce TP, nous allons explorer une approche basée sur la détection de communautés dans un graphe.
+
Bien que ce concept de clusters de gènes joue un rôle central dans les analyses de génomiques comparatives, il n’y a pas de consensus sur la façon de les calculer ([https://pubmed.ncbi.nlm.nih.gov/31891864/ Kim et al., 2020])! Dans ce TP, nous allons explorer une approche basée sur la détection de communautés dans un graphe.
Snipen et Liland ont écrit un package R qui permet de répondre à cette question ([https://cran.r-project.org/web/packages/micropan/index.html micropan]). Ils ont mis à disposition une étude de cas (casestudy.pdf) afin de guider les utilisateurs de ce package.
Snipen et Liland ont écrit un package R qui permet de répondre à cette question ([https://cran.r-project.org/web/packages/micropan/index.html micropan]). Ils ont mis à disposition une étude de cas (casestudy.pdf) afin de guider les utilisateurs de ce package.
==Les données==
==Les données==
 +
Nous allons travailler avec la bactérie ''Yersinia pestis'' une bactérie à Gram négatif du genre ''Yersinia''. Elle est responsable de la '''peste'''.
 +
Elle a été découverte en 1894 par '''Alexandre Yersin''', un bactériologiste franco-suisse travaillant pour l'Institut Pasteur, durant une épidémie de peste à Hong Kong, en même temps que Kitasato Shibasaburō mais séparément. Kitasato tout d'abord la baptisa Pasteurella pestis en l'honneur de Pasteur. Ce n'est que plus tard qu'elle prit son nom actuel, en hommage à Yersin.
 +
12 souches de ''Yersinia pestis'' seront analysées. Les données sont disponible sur le serveur '''silico''' dans le répertoire ''enseignement/m1-bioinfo/Graphe/micropan/Ypestis''. Les protéines en format FASTA sont dans le répertoire ''data/proteins''. Les comparaisons entre paires de génomes sont réalisées à l’aide de '''Blast+''' et une annotation des domaines Pfam des protéines est réalisée avec '''HMMER3'''. Les fichiers pré-calculés sont disponibles dans les répertoires ''blast'' et ''pfam''. Ils sont également disponibles sous forme compressée.
12 souches de ''Yersinia pestis'' seront analysées. Les données sont disponible sur le serveur '''silico''' dans le répertoire ''enseignement/m1-bioinfo/Graphe/micropan/Ypestis''. Les protéines en format FASTA sont dans le répertoire ''data/proteins''. Les comparaisons entre paires de génomes sont réalisées à l’aide de '''Blast+''' et une annotation des domaines Pfam des protéines est réalisée avec '''HMMER3'''. Les fichiers pré-calculés sont disponibles dans les répertoires ''blast'' et ''pfam''. Ils sont également disponibles sous forme compressée.
*[http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/homologs.tar.gz homologs.tar.gz]
*[http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/homologs.tar.gz homologs.tar.gz]
Line 18: Line 21:
ou sous linux:
ou sous linux:
<pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
<pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
-
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/my_micropan.R .
+
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/my_micropan.R
-
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/data.tar.gz .
+
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/data.tar.gz
-
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/homologs.tar.gz .
+
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/homologs.tar.gz
</pre>
</pre>
 +
Vous pouvez effectuer les téléchargements des fichiers dans une Chunk bash dans Rstudio.
<!--
<!--
-
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/blast.tar.gz .
+
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/blast.tar.gz
-
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/my_micropan.R .
+
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/my_micropan.R
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/res/blast_distances_10_5 res/.
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/res/blast_distances_10_5 res/.
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/res/blast_similarity10_5.txt res/.
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/res/blast_similarity10_5.txt res/.
-
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/pfam.tar.gz .
+
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/pfam.tar.gz
-->
-->
Les noms des protéines sont construits de la façon suivante:  
Les noms des protéines sont construits de la façon suivante:  
Line 39: Line 43:
==Mise en œuvre==
==Mise en œuvre==
Pour la création d'un rapport en format HTML, utilisez la librairie '''knitr''' pour prédéfinir les formats des figures et les valeurs par défaut d'autres paramètres.
Pour la création d'un rapport en format HTML, utilisez la librairie '''knitr''' pour prédéfinir les formats des figures et les valeurs par défaut d'autres paramètres.
 +
<source lang='rsplus'>
<source lang='rsplus'>
library(knitr)
library(knitr)
Line 44: Line 49:
</source>
</source>
-
Nous allons utiliser les librairies : '''micropan''' et '''igraph''' et le fichier my_micropan.R qui contient des fonctions de micropan modifiées pour prendre en compte les préfixes de nos protéines.  
+
Définir le répertoire de travail
 +
 
 +
<source lang='rsplus'>
 +
knitr::opts_knit$set(root.dir = "/home/user/TP5/")
 +
</source>
 +
 
 +
=== Chargement des fichiers ===
 +
Vous pouvez effectuer les téléchargements des fichiers dans une Chunk bash dans Rstudio.
 +
 
 +
<source lang='rsplus'>
 +
if [ ! -f my_micropan.R ];
 +
then
 +
  wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/my_micropan.R -nc
 +
else
 +
  echo skip my_micropan.R
 +
fi
 +
if [ ! -d data ];
 +
then
 +
  wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/data.tar.gz -nc
 +
  tar -xvf data.tar.gz
 +
else
 +
  echo skip data
 +
fi
 +
if [ ! -d homologs ];
 +
then
 +
  wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/homologs.tar.gz -nc
 +
  tar -xvf homologs.tar.gz
 +
else
 +
  echo skip homologs
 +
fi
 +
</source>
 +
 
 +
Nous allons utiliser les librairies : '''igraph''' et le fichier my_micropan.R qui contient des fonctions de micropan modifiées pour prendre en compte les préfixes de nos protéines.  
<source lang='rsplus'>
<source lang='rsplus'>
Line 81: Line 118:
Lire chaque fichier FASTA avec la commande '''readLines()'''. Le nombre de protéines est égal au nombre de ‘>’ présents dans le fichier (utilisez '''grep()''' par exemple).
Lire chaque fichier FASTA avec la commande '''readLines()'''. Le nombre de protéines est égal au nombre de ‘>’ présents dans le fichier (utilisez '''grep()''' par exemple).
-
<!--
+
 
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
in_files <- c()
in_files <- c()
Line 94: Line 132:
kable(genome_table)
kable(genome_table)
</source>
</source>
-
-->
+
 
*Tracer la distribution de la taille des protéomes (avec '''boxplot()''').
*Tracer la distribution de la taille des protéomes (avec '''boxplot()''').
-
Remarque : le package '''seqinr''' a été développé pour l'exploration, l'analyse et la visualistation des séquences biologiques. Il offre des fonctions pour faciliter la manipulation de fichers en format FASTA (ex. '''read.fasta()''').
+
++
 +
<source lang='rsplus'>
 +
rainbowcols <- rainbow(6, s = 0.5)
 +
barplot(table(table(homologs$Query)), ylim=c(0, 50), col = rainbowcols, main='', xlab="nombre d'alignements", ylab="fréquence")
 +
</source>
 +
 
 +
Remarque : le package '''seqinr''' a été développé pour l'exploration, l'analyse et la visualisation des séquences biologiques. Il offre des fonctions pour faciliter la manipulation de fichiers en format FASTA (ex. '''read.fasta()''').
=Orthologs 1:1=
=Orthologs 1:1=
-
Dans un premier temps, nous allons réalisée la recherche de groupes de gènes orthologues avec des fichiers BlastP¨tabulés dans lesquels les liens d'orthologies calculés ont été ajoutés.
+
Dans un premier temps, nous allons réaliser la recherche de groupes de gènes orthologues avec des fichiers BlastP¨tabulés dans lesquels les liens d'orthologies calculés ont été ajoutés.
==Inspection des liens d'orthologies==
==Inspection des liens d'orthologies==
-
 
La commande **readBlastTable()** de *micropan* peut être utilisée pour relire les fichiers de sortie de blast en format tabulé.
La commande **readBlastTable()** de *micropan* peut être utilisée pour relire les fichiers de sortie de blast en format tabulé.
Line 119: Line 162:
*Combien d'alignement(s) attendez-vous par protéines?
*Combien d'alignement(s) attendez-vous par protéines?
-
''table(homologs$Query)'' vous donne le nombre de fois qu'une protéine est présente dans la fichier.  
+
''table(homologs$Query)'' vous donne le nombre de fois qu'une protéine est présente dans le fichier.  
*Tracez la distribution du nombre d'alignement par protéine.
*Tracez la distribution du nombre d'alignement par protéine.
-
<!--
+
 
<source lang='rsplus'>
<source lang='rsplus'>
rainbowcols <- rainbow(6, s = 0.5)
rainbowcols <- rainbow(6, s = 0.5)
barplot(table(table(homologs$Query)), ylim=c(0, 50), col = rainbowcols, main='', xlab="nombre d'alignements", ylab="fréquence")
barplot(table(table(homologs$Query)), ylim=c(0, 50), col = rainbowcols, main='', xlab="nombre d'alignements", ylab="fréquence")
</source>
</source>
-
-->
+
 
-
*Identifiez la protéine qui a le plus d'alignements et analysez les alignements obtenus.  
+
*Identifiez la protéine qui a le plus d'alignements et analysez les alignements obtenus.
-
<!--
+
++
<source lang='rsplus'>
<source lang='rsplus'>
max_hits <- which.max(table(homologs$Query))
max_hits <- which.max(table(homologs$Query))
Line 134: Line 177:
kable(subtab %>% arrange(Query.start))
kable(subtab %>% arrange(Query.start))
</source>
</source>
-
-->
+
 
*Est-ce que toutes les protéines de A ont un alignement dans B?
*Est-ce que toutes les protéines de A ont un alignement dans B?
-
<!--
+
++
<source lang='rsplus'>
<source lang='rsplus'>
cat("Sur les ", genome_table[genome_table$File == "YpesA", 5], " proteines de YpesA, seules ", length(unique(homologs$Query)), " ont au moins un alignement avec YpesB.", sep="")
cat("Sur les ", genome_table[genome_table$File == "YpesA", 5], " proteines de YpesA, seules ", length(unique(homologs$Query)), " ont au moins un alignement avec YpesB.", sep="")
</source>
</source>
-
-->
 
==Extraction du graphe des orthologues 1:1==
==Extraction du graphe des orthologues 1:1==
-
 
Nous allons retenir que les liens du type Homology.type == 'Iso' qui sont des orthologues 1:1.
Nous allons retenir que les liens du type Homology.type == 'Iso' qui sont des orthologues 1:1.
Écriture du graphe dans le fichier "res/iso_gr".
Écriture du graphe dans le fichier "res/iso_gr".
-
 
<source lang='rsplus'>
<source lang='rsplus'>
dir.create("res", showWarnings = TRUE)
dir.create("res", showWarnings = TRUE)
Line 165: Line 205:
cat(sum, " rows in files\n")
cat(sum, " rows in files\n")
</source>
</source>
-
*Décrivez les différentes étapes réalisées dans ce bloc de commandes.
+
 
 +
*Décrivez les différentes étapes réalisées dans votre bloc de commandes.
==Traitement du graphe==
==Traitement du graphe==
 +
Relire ce fichier comme un graphe (fonction ''read.graph()'' de ''igraph'', avec ''format="ncol"'').
-
Relire ce fichier comme un graphe (fonction **read.graph()** de *igraph*, avec *format="ncol"*).
+
++
-
Affichez le nombre de sommets et d’arêtes (**vcount()** et **ecount()**).  
+
<source lang='rsplus'>
 +
gr <- read.graph(file=graph_file, format="ncol")
 +
</source>
 +
 
 +
Affichez le nombre de sommets et d’arêtes (''vcount()'' et ''ecount()'').  
 +
 
 +
++
 +
Le graphe est composé de `r vcount(gr)` sommets et de `r ecount(gr)` arêtes.
 +
 
 +
Appliquez la fonction ''simplify()'' sur le graphe.
 +
 
 +
++
 +
<source lang='rsplus'>
 +
gr_iso <- simplify(gr)
 +
</source>
-
Appliquez la fonction **simplify()** sur le graphe.
 
Affichez le nombre de sommets et d’arêtes du graphe simplifié.
Affichez le nombre de sommets et d’arêtes du graphe simplifié.
 +
 +
++
 +
Le graphe simplifié est composé de `r vcount(gr_iso)` sommets et de `r ecount(gr_iso)` arêtes.
*Comparez le nombre de sommets et d’arêtes des deux graphes et expliquez les différences observées.
*Comparez le nombre de sommets et d’arêtes des deux graphes et expliquez les différences observées.
*Quel-est le but de la fonction simplify()?
*Quel-est le but de la fonction simplify()?
-
 
==Composantes connexes==
==Composantes connexes==
 +
Nous allons maintenant extraire les composantes connexes (CC) du graphe à l'aide de la fonction ''decompose.graph()'' en utilisant le ''mode="strong"''.
-
Nous allons maintenant extraire les composantes connexes (CC) du graphe à l'aide de la fonction **decompose.graph()** en utilisant le *mode="strong"*.
+
++
 +
<source lang='rsplus'>
 +
iso_cc <- decompose.graph(gr_iso, mode="strong")
 +
</source>
La liste des objets graphe sera conservée dans la variable ''iso_cc''.
La liste des objets graphe sera conservée dans la variable ''iso_cc''.
Line 191: Line 252:
Calculez le nombre de nœuds et le nombre d'arêtes de chaque CC et représentez graphiquement le résultat.  
Calculez le nombre de nœuds et le nombre d'arêtes de chaque CC et représentez graphiquement le résultat.  
-
Vous pouvez utiliser **lapply()** sur la liste de CC pour calculer le nombre de sommets et le nombre d'arêtes de chaque CC.
+
Vous pouvez utiliser ''lapply()'' sur la liste de CC pour calculer le nombre de sommets et le nombre d'arêtes de chaque CC.
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
iso_cc_property <- cbind(unlist(lapply(iso_cc, vcount)), unlist(lapply(iso_cc, ecount)))
iso_cc_property <- cbind(unlist(lapply(iso_cc, vcount)), unlist(lapply(iso_cc, ecount)))
Line 202: Line 264:
*Quel est le nombre d'arêtes maximum d'un graphe en fonction du nombre de sommets?
*Quel est le nombre d'arêtes maximum d'un graphe en fonction du nombre de sommets?
-
*Ajoutez la courbe correspondant au nombre d'arêtes maximum d'un graphe en fonction du nombre de sommets (fonction **curve()**).
+
*Ajoutez la courbe correspondant au nombre d'arêtes maximum d'un graphe en fonction du nombre de sommets (fonction ''curve()'').
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
xlimit <- 22
xlimit <- 22
Line 212: Line 275:
*Quel est le nombre maximum de sommets pour qu'une CC soit une clique dans notre jeu de données?
*Quel est le nombre maximum de sommets pour qu'une CC soit une clique dans notre jeu de données?
*Combien de CC de ce type sont observées dans le jeu de données?
*Combien de CC de ce type sont observées dans le jeu de données?
-
<!--
+
 
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
table(iso_cc_property[,1], iso_cc_property[,2])
table(iso_cc_property[,1], iso_cc_property[,2])
cross <- table(iso_cc_property[,1], iso_cc_property[,2])
cross <- table(iso_cc_property[,1], iso_cc_property[,2])
-
cat("Il y a ", max(cross), " CC composées de 12 sommets et 66 arêtes (", max(cross)/length(iso_cc)*100, "% des CC)", sep="")
+
# arr.ind logical; should array indices be returned when x is an array?
 +
maxidx <- which(cross == max(cross), arr.ind = TRUE)
 +
maxrow <- rownames(cross)[maxidx[1]]
 +
maxcol <- colnames(cross)[maxidx[2]]
 +
#cat("Il y a ", max(cross), " CC composées de ", maxrow, " sommets et ", maxcol, " arêtes (", max(cross)/length(iso_cc)*100, "% des CC)", sep="")
</source>
</source>
-
-->
+
 
-
*Représentez graphiquement une clique.  
+
*Représentez graphiquement une clique.
-
<source lang='rsplus'>iso_cc[[5]]</source> par exemple.
+
 +
<source lang='rsplus'>
 +
iso_cc[[5]]</source> par exemple.
<source lang='rsplus'>
<source lang='rsplus'>
myiso_cc <- iso_cc[[5]]
myiso_cc <- iso_cc[[5]]
plot.igraph(myiso_cc, vertex.shape="sphere", vertex.size=15, vertex.label.cex=0.8, vertex.label.dist=0, edge.color="red")
plot.igraph(myiso_cc, vertex.shape="sphere", vertex.size=15, vertex.label.cex=0.8, vertex.label.dist=0, edge.color="red")
</source>
</source>
 +
Un embellissement!
Un embellissement!
 +
<source lang='rsplus'>
<source lang='rsplus'>
myiso_cc <- iso_cc[[5]]
myiso_cc <- iso_cc[[5]]
Line 235: Line 307:
plot.igraph(myiso_cc, vertex.shape="sphere", vertex.size=15, vertex.color=tocolor, vertex.label.cex=0.8, vertex.label=local_gene_list, vertex.label.dist=0, vertex.label.color="white", edge.color="red", edge.width=E(myiso_cc)$weight)
plot.igraph(myiso_cc, vertex.shape="sphere", vertex.size=15, vertex.color=tocolor, vertex.label.cex=0.8, vertex.label=local_gene_list, vertex.label.dist=0, vertex.label.color="white", edge.color="red", edge.width=E(myiso_cc)$weight)
</source>
</source>
 +
*Décrivez les différentes étapes réalisées dans ce bloc de commandes.  
*Décrivez les différentes étapes réalisées dans ce bloc de commandes.  
Line 259: Line 332:
}
}
</source>
</source>
-
<!--
+
++
<source lang='rsplus'>
<source lang='rsplus'>
count_paralogs <- function(lst)
count_paralogs <- function(lst)
Line 269: Line 342:
}
}
</source>
</source>
-
-->
 
==Distribution de la paralogie==
==Distribution de la paralogie==
Représentez la distribution de la paralogie dans les CC.
Représentez la distribution de la paralogie dans les CC.
 +
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
pdm1 <- data.frame(Vcount=numeric(), Pcount=numeric())
pdm1 <- data.frame(Vcount=numeric(), Pcount=numeric())
Line 291: Line 365:
hist(pdm1$Pcount, nclass=10)
hist(pdm1$Pcount, nclass=10)
</source>
</source>
-
Tracez le taux de paralogie des CC en fonction du nombre de vertices.
+
 
-
<!--
+
Tracez le taux de paralogie des CC en fonction du nombre de sommets.
 +
 
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
vmax <- max(pdm1$Vcount)
vmax <- max(pdm1$Vcount)
plot(pdm1[,c(1,2)], las=1, pch=20, col=color, ylim=c(0,1))
plot(pdm1[,c(1,2)], las=1, pch=20, col=color, ylim=c(0,1))
</source>
</source>
-
-->
 
*Quelle est le taux minimum de paralogie en fonction du nombre de protéines par CC?
*Quelle est le taux minimum de paralogie en fonction du nombre de protéines par CC?
*Tracez la courbe correspondante.
*Tracez la courbe correspondante.
-
<!--
+
 
 +
++
 +
Jusqu'à 12 protéines présentes (le nombre de souches) le taux minimum de paralogie est de 0. Au-delà, il est minimum si toutes les souches sont présentes au moins une fois.
 +
 
<source lang='rsplus'>
<source lang='rsplus'>
vmax <- max(pdm1$Vcount)
vmax <- max(pdm1$Vcount)
Line 307: Line 385:
curve((x-nrow(genome_table))/x, from=nrow(genome_table), to=vmax, n=200, col="purple", add=T)
curve((x-nrow(genome_table))/x, from=nrow(genome_table), to=vmax, n=200, col="purple", add=T)
</source>
</source>
-
-->
 
==Modularité des CC==
==Modularité des CC==
-
Nous pouvons calculer la modularité d'un graphe avec la fonction **cluster_fast_greedy()** d'*igraph* (**fastgreedy.community()** suivant la version). La modularité du graphe est donnée par `max(fastgreedy$modularity)`.
+
Nous pouvons calculer la modularité d'un graphe avec la fonction ''cluster_fast_greedy()'' d'igraph (''fastgreedy.community()'' suivant la version). La modularité du graphe est donnée par `max(fastgreedy$modularity)`.
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
pdm2 <- data.frame(Vcount=numeric(), Pcount=numeric(), Density=numeric(), Modularity=numeric())
pdm2 <- data.frame(Vcount=numeric(), Pcount=numeric(), Density=numeric(), Modularity=numeric())
Line 333: Line 411:
kable(head(pdm2))
kable(head(pdm2))
</source>
</source>
 +
*Tracer la distribution de Q.
*Tracer la distribution de Q.
-
<!--
+
 
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
hist(pdm2$Modularity, nclass=10, col=color, ylim=c(0, 50))
hist(pdm2$Modularity, nclass=10, col=color, ylim=c(0, 50))
</source>
</source>
-
-->
+
 
*Tracez la modularité des CC en fonction du taux de paralogie.
*Tracez la modularité des CC en fonction du taux de paralogie.
-
<!--
+
 
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
plot(pdm2[,c(2,4)], las=1, pch=20, col=color)
plot(pdm2[,c(2,4)], las=1, pch=20, col=color)
</source>
</source>
-
-->
+
 
*Ajoutez la droite de régression *Modularity* en fonction de *Pcount*.
*Ajoutez la droite de régression *Modularity* en fonction de *Pcount*.
-
<!--
+
 
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
cor <- lm(pdm2$Modularity ~ pdm2$Pcount)
cor <- lm(pdm2$Modularity ~ pdm2$Pcount)
Line 353: Line 435:
curve(cor$coefficients[2]*x +cor$coefficients[1], from=0.05, to=1, col="purple", add=T)
curve(cor$coefficients[2]*x +cor$coefficients[1], from=0.05, to=1, col="purple", add=T)
</source>
</source>
-
-->
+
 
*Commentez le résultat obtenu.
*Commentez le résultat obtenu.
==Partitionnement en communautés==
==Partitionnement en communautés==
-
Plusieurs méthodes sont disponibles dans igraph pour partitionner un graphe en communautés. Nous allons, dans un premier temps, comparer les méthodes fastgreedy, walktrap et edge betweenness. Ces trois méthodes sont utilisées de façon similaire:
+
Plusieurs méthodes sont disponibles dans igraph pour partitionner un graphe en communautés. Nous allons, dans un premier temps, comparer les méthodes fastgreedy, walktrap, edge betweenness et louvain. Ces méthodes sont utilisées de façon similaire (vous pouvez ajouter la méthode cluster_leiden si elle disponible dans votre version d'igraph):
*`fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)`
*`fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)`
*`walktrap <- cluster_walktrap(CC, modularity=TRUE)`
*`walktrap <- cluster_walktrap(CC, modularity=TRUE)`
*`edge <-  cluster_edge_betweenness(CC, modularity=TRUE)`
*`edge <-  cluster_edge_betweenness(CC, modularity=TRUE)`
 +
*`louvain    <- cluster_louvain(CC)`
 +
 +
Le nombre de communautés trouvée dans la CC j peut être obtenu avec *length(méthode)*.
 +
*`size[j, 1] <- length(fastgreedy)`
 +
*`size[j, 2] <- length(walktrap)`
 +
*`size[j, 3] <- length(edge)`
 +
*`size[j, 4] <- length(louvain)`
-
Le nombre de communautés trouvée par une méthode maximisant Q peut être obtenu avec *length(méthode)*.
 
-
*`size[i, 1] <- length(fastgreedy)`
 
-
*`size[i, 2] <- length(walktrap)`
 
-
*`size[i, 3] <- length(edge)`
 
avec la modularité Q associée:
avec la modularité Q associée:
*`Modularity5[j, 1] <- round(max(fastgreedy$modularity), 3)`
*`Modularity5[j, 1] <- round(max(fastgreedy$modularity), 3)`
*`Modularity5[j, 2] <- round(max(walktrap$modularity), 3)`
*`Modularity5[j, 2] <- round(max(walktrap$modularity), 3)`
*`Modularity5[j, 3] <- round(max(edge$modularity), 3)`
*`Modularity5[j, 3] <- round(max(edge$modularity), 3)`
 +
*`Modularity5[j, 4] <- round(max(edge$modularity), 4)`
===Un exemple avec fastgreedy===
===Un exemple avec fastgreedy===
Line 503: Line 589:
     edge <- edge.betweenness.community(CC, modularity=TRUE)
     edge <- edge.betweenness.community(CC, modularity=TRUE)
     E <- round(max(edge$modularity), 2)
     E <- round(max(edge$modularity), 2)
-
+
    louvain <- cluster_louvain(CC)
-
     cat("CC", cc_num, nb_vertex, P, Q, W, E, "\n")
+
    L <- round(max(louvain$modularity), 2)
 +
     cat("CC", cc_num, nb_vertex, P, Q, W, E, L, "\n")
   }
   }
}
}
</source>
</source>
-
<!--
 
l'application:
l'application:
 +
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
par(mar=c(1,1,1,1))
par(mar=c(1,1,1,1))
-
layout(matrix(1:3, 3, 1))
+
layout(matrix(1:4, 1, 4))
vmin <- 12
vmin <- 12
vmax <- max(sapply(iso_cc, vcount, simplify=TRUE))
vmax <- max(sapply(iso_cc, vcount, simplify=TRUE))
edgecolor <- "red"
edgecolor <- "red"
-
pdm5 <- data.frame(Vcount=numeric(), Pcount=numeric())
+
pdm5 <- data.frame(CC=numeric(), Vcount=numeric(), Pcount=numeric())
-
Modularity5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric())
+
Modularity5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric())
-
Size5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric())
+
Size5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric())
j <- 0
j <- 0
Line 529: Line 617:
list_name <- V(CC)$name
list_name <- V(CC)$name
#fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)
#fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)
-
fastgreedy <- fastgreedy.community(CC, modularity=TRUE)
+
fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)
-
if ( max(fastgreedy$modularity) > 0.3 ) {
+
if ( max(fastgreedy$modularity) > 0.45 ) {
j <- j+1
j <- j+1
-
walktrap  <- walktrap.community(CC, modularity=TRUE)
+
walktrap  <- cluster_walktrap(CC, modularity=TRUE)
-
edge      <- edge.betweenness.community(CC, modularity=TRUE)
+
edge      <- cluster_edge_betweenness(CC, modularity=TRUE)
 +
louvain    <- cluster_louvain(CC)
  
  
        
        
Line 543: Line 632:
   Modularity5[j, 2] <- round(max(walktrap$modularity), 3)
   Modularity5[j, 2] <- round(max(walktrap$modularity), 3)
   Modularity5[j, 3] <- round(max(edge$modularity), 3)
   Modularity5[j, 3] <- round(max(edge$modularity), 3)
-
 
+
  Modularity5[j, 4] <- round(max(louvain$modularity), 3)
-
 
+
-
Size5[j, 1] <- length(fastgreedy)
+
-
Size5[j, 2] <- length(walktrap)
+
-
Size5[j, 3] <- length(edge)
+
-
 
+
  
  
-
   cat("CC", cc_num, vcount(CC), Modularity5[j, 1], Modularity5[j, 2], Modularity5[j, 3], "\n")
+
   if ( min(Modularity5[j,]) < max(Modularity5[j,])) {
-
 
+
  Size5[j, 1] <- length(fastgreedy)
-
Layout = layout.fruchterman.reingold(CC)  
+
  Size5[j, 2] <- length(walktrap)
-
titre <- paste(cc_num, "fastgreedy", round(Modularity5[j, 1],2), Size5[j, 1], sep=" ")
+
  Size5[j, 3] <- length(edge)
-
plot(fastgreedy, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
+
  Size5[j, 4] <- length(louvain)
-
 
+
 
-
titre <- paste("walktrap",  round(Modularity5[j, 2],2), Size5[j, 2], sep=" ")
+
 
-
plot(walktrap, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
+
 
-
 
+
   
-
titre <- paste("edge",  round(Modularity5[j, 3],2), Size5[j, 3], sep=" ")
+
    #cat("CC", cc_num, vcount(CC), Modularity5[j, 1], Modularity5[j, 2], Modularity5[j, 3], "\n")
-
plot(edge, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
+
 
-
     
+
  Layout = layout.fruchterman.reingold(CC)  
-
cat ("Press [enter] to continue or quit")
+
  titre <- paste(cc_num, "fastgreedy", round(Modularity5[j, 1],3), Size5[j, 1], sep=" ")
-
line <- readline()
+
  plot(fastgreedy, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
-
if ( line == 'quit') stop()
+
 
 +
  titre <- paste("walktrap",  round(Modularity5[j, 2],3), Size5[j, 2], sep=" ")
 +
  plot(walktrap, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 +
 
 +
  titre <- paste("edge",  round(Modularity5[j, 3],3), Size5[j, 3], sep=" ")
 +
  plot(edge, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 +
 
 +
  titre <- paste("louvain",  round(Modularity5[j, 4],3), Size5[j, 3], sep=" ")
 +
  plot(louvain, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 +
       
 +
  cat ("Press [enter] to continue or quit")
 +
  line <- readline()
 +
  if ( line == 'quit') stop()
 +
  }
}
}
}
}
Line 572: Line 669:
layout(1)
layout(1)
</source>
</source>
-
-->
 
===spinglass===  
===spinglass===  
Line 614: Line 710:
*Diminuez la valeur de ''stop.temp'' (0.4 par exemple). Que pouvez-vous observer?
*Diminuez la valeur de ''stop.temp'' (0.4 par exemple). Que pouvez-vous observer?
-
====Assemblage des quatre méthodes====
+
====Assemblage des cinq méthodes====
Nous allons fixer les paramètres suivant:
Nous allons fixer les paramètres suivant:
<pre>
<pre>
Line 628: Line 724:
   `iter <- 10`
   `iter <- 10`
</pre>
</pre>
-
*Assemblez les quatre méthodes dans un seul bloc.
+
*Assemblez les cinq méthodes dans un seul bloc.
Principe :
Principe :
Line 654: Line 750:
     edge <- edge.betweenness.community(CC, modularity=TRUE)
     edge <- edge.betweenness.community(CC, modularity=TRUE)
     E <- round(max(edge$modularity), 2)
     E <- round(max(edge$modularity), 2)
 +
    louvain <- cluster_louvain(CC)
 +
    L <- round(max(louvain$modularity), 2)
     Qiter <- array(0, c(iter))
     Qiter <- array(0, c(iter))
Line 666: Line 764:
     }
     }
     S <- round(max(Qiter), 2)
     S <- round(max(Qiter), 2)
-
     cat("CC", cc_num, nb_vertex, P, Q, W, E, S, "\n")
+
     if ( min(qiter) < max(qiter)) {
 +
      cat("CC", cc_num, nb_vertex, P, Q, W, E, L, S, "\n")
 +
    }
   }
   }
}
}
</source>
</source>
-
<!--
 
l'ensemble
l'ensemble
 +
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
par(mar=c(1,1,1,1))
par(mar=c(1,1,1,1))
-
layout(matrix(1:4, 2, 2))
+
layout(matrix(1:5, 1, 5))
vmin <- 12
vmin <- 12
vmax <- max(sapply(iso_cc, vcount, simplify=TRUE))
vmax <- max(sapply(iso_cc, vcount, simplify=TRUE))
-
pdm5 <- data.frame(Vcount=numeric(), Pcount=numeric())
+
pdm5 <- data.frame(cc_num=numeric(), Vcount=numeric(), Pcount=numeric())
-
Modularity5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), spinglass=numeric())
+
Modularity5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric(), spinglass=numeric())
-
Size5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), spinglass=numeric())
+
Size5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric(), spinglass=numeric())
-
 
+
my_gamma <- 1
my_gamma <- 1
my_spins <- 25
my_spins <- 25
Line 688: Line 789:
update.rule <- "config"
update.rule <- "config"
iter <- 10
iter <- 10
-
 
+
j <- 0
j <- 0
for (i in 2:length(iso_cc))
for (i in 2:length(iso_cc))
Line 697: Line 798:
if ( nb_vertex > vmin && nb_vertex <= vmax ) {
if ( nb_vertex > vmin && nb_vertex <= vmax ) {
list_name <- V(CC)$name
list_name <- V(CC)$name
-
fastgreedy <- fastgreedy.community(CC, modularity=TRUE)
+
fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)
-
if ( max(fastgreedy$modularity) > 0.45 ) {
+
if ( max(fastgreedy$modularity) > 0.3 ) {
j <- j+1
j <- j+1
-
walktrap  <- walktrap.community(CC, modularity=TRUE)
+
walktrap  <- cluster_walktrap(CC, modularity=TRUE)
-
edge      <- edge.betweenness.community(CC, modularity=TRUE)
+
edge      <- cluster_edge_betweenness(CC, modularity=TRUE)
-
 
+
louvain    <- cluster_louvain(CC)
 +
Qiter <- array(0, c(iter))
Qiter <- array(0, c(iter))
spinglass_iter <- list()   
spinglass_iter <- list()   
for ( k in 1:iter ) {
for ( k in 1:iter ) {
-
spinglass <- spinglass.community(CC, , spins=my_spins,
+
spinglass <- cluster_spinglass(CC, , spins=my_spins,
start.temp=start_temp, stop.temp=stop_temp,
start.temp=start_temp, stop.temp=stop_temp,
cool.fact=cool_fact, update.rule=update.rule,  
cool.fact=cool_fact, update.rule=update.rule,  
Line 715: Line 817:
step <- which.max(Qiter)
step <- which.max(Qiter)
membership <- membership(spinglass_iter[[step]])
membership <- membership(spinglass_iter[[step]])
-
     
+
pdm5[j, 1] <- cc_num
pdm5[j, 1] <- cc_num
pdm5[j, 2] <- vcount(CC)
pdm5[j, 2] <- vcount(CC)
pdm5[j, 3] <- count_paralogs(list_name)
pdm5[j, 3] <- count_paralogs(list_name)
-
 
+
Modularity5[j, 1] <- round(max(fastgreedy$modularity), 3)
Modularity5[j, 1] <- round(max(fastgreedy$modularity), 3)
Modularity5[j, 2] <- round(max(walktrap$modularity), 3)
Modularity5[j, 2] <- round(max(walktrap$modularity), 3)
Modularity5[j, 3] <- round(max(edge$modularity), 3)
Modularity5[j, 3] <- round(max(edge$modularity), 3)
-
Modularity5[j, 4] <- round(max(Qiter), 3)
+
Modularity5[j, 4] <- round(max(louvain$modularity), 3)
-
 
+
Modularity5[j, 5] <- round(max(Qiter), 3)
 +
Size5[j, 1] <- length(fastgreedy)
Size5[j, 1] <- length(fastgreedy)
-
Size5[j, 2] <- length(walktrap)
+
  Size5[j, 2] <- length(walktrap)
Size5[j, 3] <- length(edge)
Size5[j, 3] <- length(edge)
-
Size5[j, 4] <- length(unique(membership))
+
Size5[j, 4] <- length(edge)
-
 
+
Size5[j, 5] <- length(unique(membership))
-
cat("CC", cc_num, vcount(CC), Modularity5[j, 1], Modularity5[j, 2], Modularity5[j, 3], Modularity5[j, 4], "\n")
+
-
 
+
#cat("CC", cc_num, vcount(CC), Modularity5[j, 1], Modularity5[j, 2], Modularity5[j, 3], Modularity5[j, 4], "\n")
-
Layout = layout.fruchterman.reingold(CC)  
+
      #if ( Modularity5[j, 5] > min(Modularity5[j,])) {
-
titre <- paste(cc_num, "fastgreedy", round(Modularity5[j, 1],2), Size5[j, 1], sep=" ")
+
  Layout = layout.fruchterman.reingold(CC)  
-
plot(fastgreedy, CC, layout=Layout, vertex.label=NA, vertex.size=3, edge.color="white", edge.width=E(CC)$weight, main=titre)
+
  titre <- paste(cc_num, "fastgreedy", round(Modularity5[j, 1],3), Size5[j, 1], sep=" ")
-
titre <- paste("walktrap",  round(Modularity5[j, 2],2), Size5[j, 2], sep=" ")
+
  plot(fastgreedy, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
-
plot(walktrap, CC, layout=Layout, vertex.label=NA, vertex.size=3, edge.color="white", edge.width=E(CC)$weight, main=titre)
+
 
-
titre <- paste("edge",  round(Modularity5[j, 3],2), Size5[j, 3], sep=" ")
+
  titre <- paste("walktrap",  round(Modularity5[j, 2],3), Size5[j, 2], sep=" ")
-
plot(edge, CC, layout=Layout, vertex.label=NA, vertex.size=3, edge.color="white", edge.width=E(CC)$weight, main=titre)
+
  plot(walktrap, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
-
     
+
 
-
titre <- paste("spinglass",  round(Modularity5[j, 4],2), Size5[j, 4], sep=" ")
+
  titre <- paste("edge",  round(Modularity5[j, 3],3), Size5[j, 3], sep=" ")
-
plot(spinglass_iter[[step]], CC, layout=Layout, vertex.label=NA, vertex.size=3, edge.color="white", edge.width=E(CC)$weight, main=titre)
+
  plot(edge, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
-
     
+
 
-
cat ("Press [enter] to continue or quit")
+
  titre <- paste("louvain",  round(Modularity5[j, 4],3), Size5[j, 3], sep=" ")
-
line <- readline()
+
  plot(louvain, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
-
if ( line == 'quit') stop()
+
 +
  titre <- paste("spinglass",  round(Modularity5[j, 4],3), Size5[j, 4], sep=" ")
 +
  plot(spinglass_iter[[step]], CC, layout=Layout, vertex.label=NA, vertex.size=3, edge.color='grey', edge.width=E(CC)$weight, main=titre)
 +
  cat ("Press [enter] to continue or quit")
 +
  line <- readline()
 +
  #if ( line == 'quit') stop()
 +
  #}
}
}
}
}
Line 752: Line 861:
layout(1)
layout(1)
</source>
</source>
-
-->
+
 
Pour chaque CC triez les méthodes en fonction des modularités obtenues.  
Pour chaque CC triez les méthodes en fonction des modularités obtenues.  
Représentez graphiquement les résultats.
Représentez graphiquement les résultats.
 +
 +
++
<source lang='rsplus'>
<source lang='rsplus'>
-
Modu_stat <- apply(Modularity5, 1, function(x) rank(signif(x[1:4], digits=5), ties.method = "max"))
+
Modu_stat <- apply(Modularity5, 1, function(x) rank(signif(x[1:5], digits=5), ties.method = "max"))
 +
# fréquence des différents rangs
Modu_tab <- apply(Modu_stat, 1, function(x) {  
Modu_tab <- apply(Modu_stat, 1, function(x) {  
-
   his <- hist(x,breaks=(0:4), plot=F)
+
   his <- hist(x, breaks=(0:5), plot=F)
   his$count
   his$count
})
})
-
barplot(Modu_tab)
+
rainbowcols <- rainbow(5, s = 0.2)
 +
barplot(Modu_tab, col=rainbowcols, ylab="frequency", ylim=c(0,25))
</source>
</source>
Line 768: Line 881:
Représentez graphiquement les résultats.
Représentez graphiquement les résultats.
-
<!--
+
++
<source lang='rsplus'>
<source lang='rsplus'>
Size_stat <- apply(Size5, 1, function(x) rank(signif(x[1:4], digits=5), ties.method = "max"))
Size_stat <- apply(Size5, 1, function(x) rank(signif(x[1:4], digits=5), ties.method = "max"))
Line 778: Line 891:
barplot(Size_tab)
barplot(Size_tab)
</source>
</source>
-
-->
 
*Commentez les résultats.
*Commentez les résultats.
-
Relancez la boucle en supprimant le test  
+
Pour obtenir les résultats sur toutes les CC, relancez la boucle en supprimant le test:
<source lang='rsplus'>
<source lang='rsplus'>
       cat ("Press [enter] to continue or quit")
       cat ("Press [enter] to continue or quit")

Current revision as of 16:26, 8 December 2021

Contents

Introduction

Nous allons réaliser une analyse de génomique comparative qui s’inspire d’un travail publié par Snipen et Liland (2015). Le but est d’identifier le core et le pan génome d’un ensemble de souches bactériennes. Le core génome est l’ensemble des gènes communs à toutes les souches. Le pan génome est l’ensemble des gènes codés par au moins une des souches (Tettelin et al., 2005). Dans ce contexte un gène est en réalité une famille de gènes ou un cluster de gènes similaires. Idéalement, une famille de gènes serait une collection de gènes orthologues. Néanmoins, comme une analyse pan génomique ne produit pas toujours des groupes de gènes orthologues, il est préférable de parler de clusters de gènes. Bien que ce concept de clusters de gènes joue un rôle central dans les analyses de génomiques comparatives, il n’y a pas de consensus sur la façon de les calculer (Kim et al., 2020)! Dans ce TP, nous allons explorer une approche basée sur la détection de communautés dans un graphe.

Snipen et Liland ont écrit un package R qui permet de répondre à cette question (micropan). Ils ont mis à disposition une étude de cas (casestudy.pdf) afin de guider les utilisateurs de ce package.

Les données

Nous allons travailler avec la bactérie Yersinia pestis une bactérie à Gram négatif du genre Yersinia. Elle est responsable de la peste. Elle a été découverte en 1894 par Alexandre Yersin, un bactériologiste franco-suisse travaillant pour l'Institut Pasteur, durant une épidémie de peste à Hong Kong, en même temps que Kitasato Shibasaburō mais séparément. Kitasato tout d'abord la baptisa Pasteurella pestis en l'honneur de Pasteur. Ce n'est que plus tard qu'elle prit son nom actuel, en hommage à Yersin.

12 souches de Yersinia pestis seront analysées. Les données sont disponible sur le serveur silico dans le répertoire enseignement/m1-bioinfo/Graphe/micropan/Ypestis. Les protéines en format FASTA sont dans le répertoire data/proteins. Les comparaisons entre paires de génomes sont réalisées à l’aide de Blast+ et une annotation des domaines Pfam des protéines est réalisée avec HMMER3. Les fichiers pré-calculés sont disponibles dans les répertoires blast et pfam. Ils sont également disponibles sous forme compressée.

Dans un premier temps nous allons télécharger my_micropan.R et les archives data et homologs.

ou sous linux:

wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/my_micropan.R
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/data.tar.gz
wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/homologs.tar.gz

Vous pouvez effectuer les téléchargements des fichiers dans une Chunk bash dans Rstudio. Les noms des protéines sont construits de la façon suivante:

  • Première lettre en majuscule : la première lettre du genre (Y pour Yersinia)
  • Les trois lettres suivantes en minuscule : les trois premières lettres de l’espèce (pes pour pestis)
  • La cinquième lettre majuscule est le code souche (A pour la souche KIM)
  • Les deux chiffres suivant se réfèrent au numéro du chromosome (01 pour le chromosome 1)
  • Un point est utilisé comme séparateur, il est suivit du nom de la protéine

Mise en œuvre

Pour la création d'un rapport en format HTML, utilisez la librairie knitr pour prédéfinir les formats des figures et les valeurs par défaut d'autres paramètres.

library(knitr)
knitr::opts_chunk$set(fig.align='center', fig.width=6, fig.height=4, fig.path='Figs/', echo=TRUE, warning=FALSE, message=FALSE, cache=TRUE)

Définir le répertoire de travail

knitr::opts_knit$set(root.dir = "/home/user/TP5/")

Chargement des fichiers

Vous pouvez effectuer les téléchargements des fichiers dans une Chunk bash dans Rstudio.

if [ ! -f my_micropan.R ];
then
  wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/my_micropan.R -nc
else
  echo skip my_micropan.R
fi
if [ ! -d data ];
then
  wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/data.tar.gz -nc
  tar -xvf data.tar.gz
else
  echo skip data
fi
if [ ! -d homologs ];
then
  wget http://silico.biotoul.fr/enseignement/m1-bioinfo/Graphe/micropan/Ypestis/homologs.tar.gz -nc
  tar -xvf homologs.tar.gz
else
  echo skip homologs
fi

Nous allons utiliser les librairies : igraph et le fichier my_micropan.R qui contient des fonctions de micropan modifiées pour prendre en compte les préfixes de nos protéines.

getwd()
list.files()
source("my_micropan.R")
library(dplyr)
library(igraph)
 
options (stringsAsFactors = FALSE)
savepar <- par()
par(las=1)
color <- "coral"

Tableau de données

Lecture du tableau décrivant les souches utilisées dans l’analyse.

genome_table_file <- "data/Ypestis.csv"
  • Utilisez la fonction read.table() pour charger le fichier dans la variable genome_table. Le fichier est tabulé avec un entête (sep = "\t" , header= TRUE).
genome_table <- read.table(file=genome_table_file, sep = "\t" , header= TRUE)
head(genome_table)

Les fichiers contenant les séquences des protéines en format FASTA sont dans le sous répertoire data/proteins. Les noms des fichiers sont dans la première colonne de genome_table.

  • Ajoutez une colonne avec le nombre de protéines dans chaque souche.

Lire chaque fichier FASTA avec la commande readLines(). Le nombre de protéines est égal au nombre de ‘>’ présents dans le fichier (utilisez grep() par exemple).

++

in_files <- c()
for (i in 1:nrow(genome_table) ) {
	# file list
	in_files[i] <- file.path("data/proteins", genome_table$File[i])
	# number of proteins
	nb_entries <- length(grep('>', readLines(in_files[i])))
	genome_table[i, 5] <- nb_entries
}
colnames(genome_table)[5] <- c('Proteome')
kable(genome_table)
  • Tracer la distribution de la taille des protéomes (avec boxplot()).

++

rainbowcols <- rainbow(6, s = 0.5)
barplot(table(table(homologs$Query)), ylim=c(0, 50), col = rainbowcols, main='', xlab="nombre d'alignements", ylab="fréquence")

Remarque : le package seqinr a été développé pour l'exploration, l'analyse et la visualisation des séquences biologiques. Il offre des fonctions pour faciliter la manipulation de fichiers en format FASTA (ex. read.fasta()).

Orthologs 1:1

Dans un premier temps, nous allons réaliser la recherche de groupes de gènes orthologues avec des fichiers BlastP¨tabulés dans lesquels les liens d'orthologies calculés ont été ajoutés.

Inspection des liens d'orthologies

La commande **readBlastTable()** de *micropan* peut être utilisée pour relire les fichiers de sortie de blast en format tabulé.

blast.file <- 'homologs/YpesA-YpesB.par'
 
columnames <- c("Query", "Hit", "Percent.identity", "Alignment.length", "Mismatches", "Gap.openings", "Query.start", "Query.end", "Hit.start", "Hit.end", "E.value", "Bit.score", "Homology.type", "Query.length", "Hit.length", "Query.score", "Hit.score","Paire.score")
homologs <- read.table(blast.file, sep = "\t", quote = "", header = F, col.names = columnames, stringsAsFactors = F)
names(homologs)

Trois colonnes ont été ajoutées au fichier de résultats de blastp: Homology.type, Query.length, Hit.length, Query.score, Hit.score, Paire.score

La première colonne donne le type d'homologie : Iso (orthologs 1:1), Ort (orthologs), BeH (Best Hit), IsP (Best BBH paralogs) and BeP (Best paralogs). Les autres colonnes renferment les longueurs des séquences et les scores normalisés par rapport à ces longueurs.

  • Combien d'alignement(s) attendez-vous par protéines?

table(homologs$Query) vous donne le nombre de fois qu'une protéine est présente dans le fichier.

  • Tracez la distribution du nombre d'alignement par protéine.
rainbowcols <- rainbow(6, s = 0.5)
barplot(table(table(homologs$Query)), ylim=c(0, 50), col = rainbowcols, main='', xlab="nombre d'alignements", ylab="fréquence")
  • Identifiez la protéine qui a le plus d'alignements et analysez les alignements obtenus.

++

max_hits <- which.max(table(homologs$Query))
subtab <- homologs[homologs$Query == names(max_hits), ]
kable(subtab %>% arrange(Query.start))
  • Est-ce que toutes les protéines de A ont un alignement dans B?

++

cat("Sur les ", genome_table[genome_table$File == "YpesA", 5], " proteines de YpesA, seules ", length(unique(homologs$Query)), " ont au moins un alignement avec YpesB.", sep="")

Extraction du graphe des orthologues 1:1

Nous allons retenir que les liens du type Homology.type == 'Iso' qui sont des orthologues 1:1.

Écriture du graphe dans le fichier "res/iso_gr".

dir.create("res", showWarnings = TRUE)
graph_file <- "res/iso_gr"
if (file.exists(graph_file)) file.remove(graph_file)
 
sum <- 0
blast_files_list <- file.path("homologs", dir("homologs"))
for( i in 1:length(blast_files_list)) {
  blast_file <- blast_files_list[i]
  cat("read blast file", blast_file, "...\n")
  blast_res <- read.table(blast_file, sep = "\t", quote = "", header = F, col.names = columnames, stringsAsFactors = F)
  blast_iso <- blast_res[blast_res$Homology.type == 'Iso', c(1,2)]
  write.table(as.data.frame(blast_iso), file=graph_file, append=TRUE, row.names=FALSE, col.names=FALSE, quote=FALSE)
  sum <- sum + nrow(blast_iso)
}
cat(sum, " rows in files\n")
  • Décrivez les différentes étapes réalisées dans votre bloc de commandes.

Traitement du graphe

Relire ce fichier comme un graphe (fonction read.graph() de igraph, avec format="ncol").

++

gr <- read.graph(file=graph_file, format="ncol")

Affichez le nombre de sommets et d’arêtes (vcount() et ecount()).

++ Le graphe est composé de `r vcount(gr)` sommets et de `r ecount(gr)` arêtes.

Appliquez la fonction simplify() sur le graphe.

++

gr_iso <- simplify(gr)

Affichez le nombre de sommets et d’arêtes du graphe simplifié.

++ Le graphe simplifié est composé de `r vcount(gr_iso)` sommets et de `r ecount(gr_iso)` arêtes.

  • Comparez le nombre de sommets et d’arêtes des deux graphes et expliquez les différences observées.
  • Quel-est le but de la fonction simplify()?

Composantes connexes

Nous allons maintenant extraire les composantes connexes (CC) du graphe à l'aide de la fonction decompose.graph() en utilisant le mode="strong".

++

iso_cc <- decompose.graph(gr_iso, mode="strong")

La liste des objets graphe sera conservée dans la variable iso_cc.

iso_cc est la liste des CC du graphe.

iso_cc[[i]]
est la ième CC.

Propriétés des composantes connexes

Calculez le nombre de nœuds et le nombre d'arêtes de chaque CC et représentez graphiquement le résultat.

Vous pouvez utiliser lapply() sur la liste de CC pour calculer le nombre de sommets et le nombre d'arêtes de chaque CC.

++

iso_cc_property <- cbind(unlist(lapply(iso_cc, vcount)), unlist(lapply(iso_cc, ecount)))
colnames(iso_cc_property) <- c("vertex", "edges")
vmax <- max(iso_cc_property[,1])
 
plot(iso_cc_property[iso_cc_property[,1] <= vmax, ], las=1, xlim=c(0, vmax), pch=20, col="coral")
  • Quel est le nombre d'arêtes maximum d'un graphe en fonction du nombre de sommets?
  • Ajoutez la courbe correspondant au nombre d'arêtes maximum d'un graphe en fonction du nombre de sommets (fonction curve()).

++

xlimit <- 22
curve(<fonction(x)>, from = 0, to = xlimit, n = 200, col="purple", add=T)
  • A quoi correspondent les zones du graphe délimitées par cette courbe et quelle est la propriété des CC localisées sur la courbe?
  • Quel est le nombre maximum de sommets pour qu'une CC soit une clique dans notre jeu de données?
  • Combien de CC de ce type sont observées dans le jeu de données?

++

table(iso_cc_property[,1], iso_cc_property[,2])
cross <- table(iso_cc_property[,1], iso_cc_property[,2])
# arr.ind	logical; should array indices be returned when x is an array?
maxidx <- which(cross == max(cross), arr.ind = TRUE)
maxrow <- rownames(cross)[maxidx[1]]
maxcol <- colnames(cross)[maxidx[2]]
#cat("Il y a ", max(cross), " CC composées de ", maxrow, " sommets et ", maxcol, " arêtes (", max(cross)/length(iso_cc)*100, "% des CC)", sep="")
  • Représentez graphiquement une clique.
iso_cc[[5]]
par exemple.
myiso_cc <- iso_cc[[5]]
plot.igraph(myiso_cc, vertex.shape="sphere", vertex.size=15, vertex.label.cex=0.8, vertex.label.dist=0, edge.color="red")

Un embellissement!

myiso_cc <- iso_cc[[5]]
local_gene_list <- substr(V(myiso_cc)$name, 5, 5)
local_strain_list <- unique(local_gene_list)
tocolor <- unlist(lapply(local_gene_list, function(x,y) grep(x, y), local_strain_list))
mycolor = rainbow(length(local_strain_list));
palette(mycolor);
plot.igraph(myiso_cc, vertex.shape="sphere", vertex.size=15, vertex.color=tocolor, vertex.label.cex=0.8, vertex.label=local_gene_list, vertex.label.dist=0, vertex.label.color="white", edge.color="red", edge.width=E(myiso_cc)$weight)
  • Décrivez les différentes étapes réalisées dans ce bloc de commandes.
  • Combien de sommets et d'arêtes possède la CC 5?

Taux de paralogie

Nous allons écrire une fonction qui calcule le taux de gènes paralogues dans une liste de gènes. Pour cela nous allons

  compter le nombre de gènes G présent dans la liste,
  en extraire le nombre de souches S. 

S'il n'y a pas de paralogue, chaque souche est représentée par un seul gène (G=S), sinon (G>S), on a plus d'un gène par souche.

Pour estimer le taux de paralogues, on divise la différence entre nombre de gènes et nombre de souches (G-S) par le nombre de gènes G.

Les fonctions à utiliser sont :

  **substr()** pour extraire le nom de souche à partir du nom de gène 
  **unique()** pour obtenir le nombre de souche. 

L'expression `V(graph)$name` permet d'obtenir la liste des sommets du graphe.

count_paralogs <- function(lst)
{
  ...
  return(paralogs)
}

++

count_paralogs <- function(lst)
{
  all_strains <- substr(lst,1,5)
  strain_list <- unique(all_strains)
  paralogs <- (length(all_strains) - length(strain_list))/length(all_strains)
  return(paralogs)
}

Distribution de la paralogie

Représentez la distribution de la paralogie dans les CC.

++

pdm1 <- data.frame(Vcount=numeric(), Pcount=numeric())
j <- 0
for (i in 1:length(iso_cc))
{
	cc_num    <- i
	CC        <- iso_cc[[cc_num]]
	nb_vertex <- vcount(CC)
 
	j <- j+1
	list_name <- V(CC)$name
 
  	pdm1[j, 1] <- vcount(CC)
	pdm1[j, 2] <- round(count_paralogs(list_name), 3)
}
hist(pdm1$Pcount, nclass=10)

Tracez le taux de paralogie des CC en fonction du nombre de sommets.

++

vmax <- max(pdm1$Vcount)
plot(pdm1[,c(1,2)], las=1, pch=20, col=color, ylim=c(0,1))
  • Quelle est le taux minimum de paralogie en fonction du nombre de protéines par CC?
  • Tracez la courbe correspondante.

++ Jusqu'à 12 protéines présentes (le nombre de souches) le taux minimum de paralogie est de 0. Au-delà, il est minimum si toutes les souches sont présentes au moins une fois.

vmax <- max(pdm1$Vcount)
plot(pdm1[,c(1,2)], las=1, pch=20, col=color, ylim=c(0,1))
curve((x-nrow(genome_table))/x, from=nrow(genome_table), to=vmax, n=200, col="purple", add=T)

Modularité des CC

Nous pouvons calculer la modularité d'un graphe avec la fonction cluster_fast_greedy() d'igraph (fastgreedy.community() suivant la version). La modularité du graphe est donnée par `max(fastgreedy$modularity)`.

++

pdm2 <- data.frame(Vcount=numeric(), Pcount=numeric(), Density=numeric(), Modularity=numeric())
j <- 0
for (i in 1:length(iso_cc))
{
	cc_num    <- i
	CC        <- iso_cc[[cc_num]]
	nb_vertex <- vcount(CC)
 
	j <- j+1
	list_name <- V(CC)$name
	fastgreedy <- fastgreedy.community(CC, modularity=TRUE)
 
  	pdm2[j, 1] <- vcount(CC)
	pdm2[j, 2] <- count_paralogs(list_name)
	pdm2[j, 3] <- graph.density(CC,loops=FALSE)
	pdm2[j, 4] <- max(fastgreedy$modularity)
}
kable(head(pdm2))
  • Tracer la distribution de Q.

++

hist(pdm2$Modularity, nclass=10, col=color, ylim=c(0, 50))
  • Tracez la modularité des CC en fonction du taux de paralogie.

++

plot(pdm2[,c(2,4)], las=1, pch=20, col=color)
  • Ajoutez la droite de régression *Modularity* en fonction de *Pcount*.

++

cor <- lm(pdm2$Modularity ~ pdm2$Pcount)
summary(cor)
plot(pdm2[,c(2,4)], las=1, pch=20, xlim=c(0,1), ylim=c(0,1), col=color)
curve(cor$coefficients[2]*x +cor$coefficients[1], from=0.05, to=1, col="purple", add=T)
  • Commentez le résultat obtenu.

Partitionnement en communautés

Plusieurs méthodes sont disponibles dans igraph pour partitionner un graphe en communautés. Nous allons, dans un premier temps, comparer les méthodes fastgreedy, walktrap, edge betweenness et louvain. Ces méthodes sont utilisées de façon similaire (vous pouvez ajouter la méthode cluster_leiden si elle disponible dans votre version d'igraph):

  • `fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)`
  • `walktrap <- cluster_walktrap(CC, modularity=TRUE)`
  • `edge <- cluster_edge_betweenness(CC, modularity=TRUE)`
  • `louvain <- cluster_louvain(CC)`

Le nombre de communautés trouvée dans la CC j peut être obtenu avec *length(méthode)*.

  • `size[j, 1] <- length(fastgreedy)`
  • `size[j, 2] <- length(walktrap)`
  • `size[j, 3] <- length(edge)`
  • `size[j, 4] <- length(louvain)`

avec la modularité Q associée:

  • `Modularity5[j, 1] <- round(max(fastgreedy$modularity), 3)`
  • `Modularity5[j, 2] <- round(max(walktrap$modularity), 3)`
  • `Modularity5[j, 3] <- round(max(edge$modularity), 3)`
  • `Modularity5[j, 4] <- round(max(edge$modularity), 4)`

Un exemple avec fastgreedy

Un exemple simple:

stop = 100
for (cc_num in 2:stop) {
  CC <- iso_cc[[cc_num]]
  fastgreedy <- fastgreedy.community(CC, modularity=TRUE)
  Q = round(max(fastgreedy$modularity), 3)
  cat("CC", cc_num, " modularité", Q, "\n")
}

Un code un peu plus complexe:

vmin <- 12
vmax <- max(sapply(iso_cc, vcount, simplify=TRUE))
edgecolor <- "red"
 
pdm5 <- data.frame(Vcount=numeric(), Pcount=numeric())
Modularity5 <- data.frame(fastgreedy=numeric())
Size5 <- data.frame(fastgreedy=numeric())
 
j <- 0
for (i in 2:length(iso_cc)) {
	cc_num    <- i
	CC        <- iso_cc[[cc_num]]
	nb_vertex <- vcount(CC)
	if ( nb_vertex > vmin && nb_vertex <= vmax ) {
 
		fastgreedy <- fastgreedy.community(CC, modularity=TRUE)
		Q = round(max(fastgreedy$modularity), 3)
		if ( Q > 0.45 ) {
			j <- j+1
			list_name <- V(CC)$name      
			pdm5[j, 1] <- cc_num
			pdm5[j, 2] <- nb_vertex
			pdm5[j, 3] <- count_paralogs(list_name)
 
			Modularity5[j, 1] <- Q
			Size5[j, 1] <- length(fastgreedy)
 
			cat("CC", cc_num, vcount(CC), Modularity5[j, 1], Modularity5[j, 2], Modularity5[j, 3], Modularity5[j, 4], "\n")
 
			Layout <- layout.fruchterman.reingold(CC) 
			titre <- paste(cc_num, "fastgreedy", round(Modularity5[j, 1],2), Size5[j, 1], sep=" ")
			plot(fastgreedy, CC, layout=Layout, 
			vertex.label=NA, vertex.size=3, vertex.shape="sphere",
			edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 
			cat ("Press [enter] to continue or quit")
			line <- readline()
			if ( line == 'quit') stop("user interruption")
		}
	}
}

Réinitialiser layout

par <- par(mar=c(5.1,4.1,4.1,2.1))
layout(1)

Avec un code couleur pour les souches:

Ajouter les autres méthodes

Le principe :

stop = length(iso_cc)
for (cc_num in 2:stop) {
  CC <- iso_cc[[cc_num]]
	nb_vertex <- vcount(CC)
  fastgreedy <- fastgreedy.community(CC, modularity=TRUE)
  Q = round(max(fastgreedy$modularity), 2)
  if ( Q > 0.45 ) {
    list_name <- V(CC)$name
    P <- round(count_paralogs(list_name), 2)
 
    walktrap <- walktrap.community(CC, modularity=TRUE)
    W <- round(max(walktrap$modularity), 2)
    edge <- edge.betweenness.community(CC, modularity=TRUE)
    E <- round(max(edge$modularity), 2)
    louvain <- cluster_louvain(CC)
    L <- round(max(louvain$modularity), 2)
    cat("CC", cc_num, nb_vertex, P, Q, W, E, L, "\n")
  }
}

l'application:

++

par(mar=c(1,1,1,1))
layout(matrix(1:4, 1, 4))
vmin <- 12
vmax <- max(sapply(iso_cc, vcount, simplify=TRUE))
edgecolor <- "red"
pdm5 <- data.frame(CC=numeric(), Vcount=numeric(), Pcount=numeric())
Modularity5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric())
Size5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric())
 
j <- 0
for (i in 2:length(iso_cc))
{
	cc_num    <- i
	CC        <- iso_cc[[cc_num]]
	nb_vertex <- vcount(CC)
	if ( nb_vertex > vmin && nb_vertex <= vmax ) {
		list_name <- V(CC)$name
		#fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)
		fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)
		if ( max(fastgreedy$modularity) > 0.45 ) {
			j <- j+1
			walktrap   <- cluster_walktrap(CC, modularity=TRUE)
			edge       <- cluster_edge_betweenness(CC, modularity=TRUE)
			louvain    <- cluster_louvain(CC)
 
 
			pdm5[j, 1] <- cc_num
			pdm5[j, 2] <- vcount(CC)
			pdm5[j, 3] <- count_paralogs(list_name)
 
  			Modularity5[j, 1] <- round(max(fastgreedy$modularity), 3)
  			Modularity5[j, 2] <- round(max(walktrap$modularity), 3)
  			Modularity5[j, 3] <- round(max(edge$modularity), 3)
  			Modularity5[j, 4] <- round(max(louvain$modularity), 3)
 
  			if ( min(Modularity5[j,]) < max(Modularity5[j,])) {
  				Size5[j, 1] <- length(fastgreedy)
  				Size5[j, 2] <- length(walktrap)
  				Size5[j, 3] <- length(edge)
  				Size5[j, 4] <- length(louvain)
 
 
 
 
    				#cat("CC", cc_num, vcount(CC), Modularity5[j, 1], Modularity5[j, 2], Modularity5[j, 3], "\n")
 
  				Layout = layout.fruchterman.reingold(CC) 
  				titre <- paste(cc_num, "fastgreedy", round(Modularity5[j, 1],3), Size5[j, 1], sep=" ")
  				plot(fastgreedy, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 
  				titre <- paste("walktrap",  round(Modularity5[j, 2],3), Size5[j, 2], sep=" ")
  				plot(walktrap, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 
  				titre <- paste("edge",  round(Modularity5[j, 3],3), Size5[j, 3], sep=" ")
  				plot(edge, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 
  				titre <- paste("louvain",  round(Modularity5[j, 4],3), Size5[j, 3], sep=" ")
  				plot(louvain, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color=edgecolor, edge.width=E(CC)$weight, main=titre)
 
  				cat ("Press [enter] to continue or quit")
  				line <- readline()
  				if ( line == 'quit') stop()
  			}
		}
	}
}
 
par <- par(mar=c(5.1,4.1,4.1,2.1))
layout(1)

spinglass

La méthode spinglass repose sur un plus grand nombre de paramètres:

spinglass <- cluster_spinglass(CC, spins=my_spins, start.temp=start_temp, stop.temp=stop_temp, cool.fact=cool_fact, update.rule=update.rule, gamma=my_gamma)`

Illustration avec la CC 1584

my_gamma <- 1
my_spins <- 25
stop_temp <- 0.8
start_temp <- 1
cool_fact <- 0.95
update.rule <- "config"
iter <- 100
 
# test 
CC <- iso_cc[[1584]]
Qiter <- array(0, c(iter))
spinglass_iter <- list() 
 
for ( k in 1:iter )  {
 	spinglass <- cluster_spinglass(CC, weights=E(CC)$weight+10, spins=my_spins,
 	start.temp=start_temp, stop.temp=stop_temp,
 	cool.fact=cool_fact, update.rule=update.rule, 
 	gamma=my_gamma)
 	Qiter[k] <- modularity(spinglass)
 	spinglass_iter[[k]] <- spinglass
}
step <- which.max(Qiter)
membership <- membership(spinglass_iter[[step]])
modularity <- round(max(Qiter), 3)

Distribution de Q en fonction des itérations :

plot(Qiter, ylim=c(0,1), xlab="iteration", ylab="Modularity")
hist(Qiter, col=color, xlim=c(0,1))
  • Diminuez la valeur de stop.temp (0.4 par exemple). Que pouvez-vous observer?

Assemblage des cinq méthodes

Nous allons fixer les paramètres suivant:

  `my_gamma <- 1`
  `my_spins <- 25`
  `stop_temp <- 0.8`
  `start_temp <- 1`
  `cool_fact <- 0.95`
  `update.rule <- "config"`

et nous allons réitérer spinglass 10 fois pour chaque CC. L'itération maximisant la modularité sera conservée.

  `iter <- 10`
  • Assemblez les cinq méthodes dans un seul bloc.

Principe :

my_gamma <- 1
my_spins <- 25
stop_temp <- 0.1
start_temp <- 1
cool_fact <- 0.95
update.rule <- "config"
iter <- 10
 
stop = length(iso_cc)
for (cc_num in 2:stop) {
  CC <- iso_cc[[cc_num]]
  nb_vertex <- vcount(CC)
  fastgreedy <- fastgreedy.community(CC, modularity=TRUE)
  Q = round(max(fastgreedy$modularity), 2)
  if ( Q > 0.45 ) {
    list_name <- V(CC)$name
    P <- round(count_paralogs(list_name), 2)
 
    walktrap <- walktrap.community(CC, modularity=TRUE)
    W <- round(max(walktrap$modularity), 2)
    edge <- edge.betweenness.community(CC, modularity=TRUE)
    E <- round(max(edge$modularity), 2)
    louvain <- cluster_louvain(CC)
    L <- round(max(louvain$modularity), 2)
 
    Qiter <- array(0, c(iter))
    spinglass_iter <- list()  
    for ( k in 1:iter ) {
      spinglass <- spinglass.community(CC, , spins=my_spins,
        start.temp=start_temp, stop.temp=stop_temp,			
        cool.fact=cool_fact, update.rule=update.rule, 
        gamma=my_gamma)
      Qiter[k] <- modularity(spinglass)
      spinglass_iter[[k]] <- spinglass
    }
    S <- round(max(Qiter), 2)
    if ( min(qiter) < max(qiter)) {
       cat("CC", cc_num, nb_vertex, P, Q, W, E, L, S, "\n")
    }
  }
}

l'ensemble

++

par(mar=c(1,1,1,1))
layout(matrix(1:5, 1, 5))
vmin <- 12
vmax <- max(sapply(iso_cc, vcount, simplify=TRUE))
pdm5 <- data.frame(cc_num=numeric(), Vcount=numeric(), Pcount=numeric())
Modularity5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric(), spinglass=numeric())
Size5 <- data.frame(fastgreedy=numeric(), walktrap=numeric(), edge=numeric(), louvain=numeric(), spinglass=numeric())
 
my_gamma <- 1
my_spins <- 25
stop_temp <- 0.1
start_temp <- 1
cool_fact <- 0.95
update.rule <- "config"
iter <- 10
 
j <- 0
for (i in 2:length(iso_cc))
{
	cc_num    <- i
	CC        <- iso_cc[[cc_num]]
	nb_vertex <- vcount(CC)
	if ( nb_vertex > vmin && nb_vertex <= vmax ) {
		list_name <- V(CC)$name
		fastgreedy <- cluster_fast_greedy(CC, modularity=TRUE)
		if ( max(fastgreedy$modularity) > 0.3 ) {
			j <- j+1
			walktrap   <- cluster_walktrap(CC, modularity=TRUE)
			edge       <- cluster_edge_betweenness(CC, modularity=TRUE)
			louvain    <- cluster_louvain(CC)
 
			Qiter <- array(0, c(iter))
			spinglass_iter <- list()  
			for ( k in 1:iter ) {
				spinglass <- cluster_spinglass(CC, , spins=my_spins,
				start.temp=start_temp, stop.temp=stop_temp,
				cool.fact=cool_fact, update.rule=update.rule, 
				gamma=my_gamma)
				Qiter[k] <- modularity(spinglass)
				spinglass_iter[[k]] <- spinglass
			}
			step <- which.max(Qiter)
			membership <- membership(spinglass_iter[[step]])
 
			pdm5[j, 1] <- cc_num
			pdm5[j, 2] <- vcount(CC)
			pdm5[j, 3] <- count_paralogs(list_name)
 
			Modularity5[j, 1] <- round(max(fastgreedy$modularity), 3)
			Modularity5[j, 2] <- round(max(walktrap$modularity), 3)
			Modularity5[j, 3] <- round(max(edge$modularity), 3)
			Modularity5[j, 4] <- round(max(louvain$modularity), 3)
			Modularity5[j, 5] <- round(max(Qiter), 3)
 
			Size5[j, 1] <- length(fastgreedy)
  	 	Size5[j, 2] <- length(walktrap)
			Size5[j, 3] <- length(edge)
			Size5[j, 4] <- length(edge)
			Size5[j, 5] <- length(unique(membership))
 
			#cat("CC", cc_num, vcount(CC), Modularity5[j, 1], Modularity5[j, 2], Modularity5[j, 3], Modularity5[j, 4], "\n")
      #if ( Modularity5[j, 5] > min(Modularity5[j,])) {
			  Layout = layout.fruchterman.reingold(CC) 
  			titre <- paste(cc_num, "fastgreedy", round(Modularity5[j, 1],3), Size5[j, 1], sep=" ")
  			plot(fastgreedy, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
 
  			titre <- paste("walktrap",  round(Modularity5[j, 2],3), Size5[j, 2], sep=" ")
  			plot(walktrap, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
 
  			titre <- paste("edge",  round(Modularity5[j, 3],3), Size5[j, 3], sep=" ")
  			plot(edge, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
 
  			titre <- paste("louvain",  round(Modularity5[j, 4],3), Size5[j, 3], sep=" ")
  			plot(louvain, CC, layout=Layout, vertex.label=NA, vertex.size=3, vertex.shape="sphere", edge.color='grey', edge.width=E(CC)$weight, main=titre)
 
			  titre <- paste("spinglass",  round(Modularity5[j, 4],3), Size5[j, 4], sep=" ")
			  plot(spinglass_iter[[step]], CC, layout=Layout, vertex.label=NA, vertex.size=3, edge.color='grey', edge.width=E(CC)$weight, main=titre)
		  	cat ("Press [enter] to continue or quit")
		  	line <- readline()
		  	#if ( line == 'quit') stop()
		  #}
		}
	}
}
par <- par(mar=c(5.1,4.1,4.1,2.1))
layout(1)

Pour chaque CC triez les méthodes en fonction des modularités obtenues. Représentez graphiquement les résultats.

++

Modu_stat <- apply(Modularity5, 1, function(x) rank(signif(x[1:5], digits=5), ties.method = "max"))
 
# fréquence des différents rangs
Modu_tab <- apply(Modu_stat, 1, function(x) { 
  his <- hist(x, breaks=(0:5), plot=F)
  his$count
})
rainbowcols <- rainbow(5, s = 0.2)
barplot(Modu_tab, col=rainbowcols, ylab="frequency", ylim=c(0,25))

Pour chaque CC triez les méthodes en fonction du nombre de communautés obtenues. Représentez graphiquement les résultats.

++

Size_stat <- apply(Size5, 1, function(x) rank(signif(x[1:4], digits=5), ties.method = "max"))
 
Size_tab <- apply(Size_stat, 1, function(x) { 
  his <- hist(x,breaks=(0:4), plot=F)
  his$count
})
barplot(Size_tab)
  • Commentez les résultats.

Pour obtenir les résultats sur toutes les CC, relancez la boucle en supprimant le test:

      	cat ("Press [enter] to continue or quit")
      	line <- readline()
      	if ( line == 'quit') stop()
  • Tracez les deux plots et commentez les résultats obtenus avec les CC de taille supérieur à 12 arêtes!

End