silico.biotoul.fr
 

Atelier Phylogénomique Arbre espèces

From silico.biotoul.fr

(Difference between revisions)
Jump to: navigation, search
m (Created page with '==Liens== *[http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique#Phylog.C3.A9nie_bas.C3.A9e_sur_les_s.C3.A9quences_des_ARNr Phylogénie ARNr]')
m (Evaluation des alignements avec t_coffee)
 
(25 intermediate revisions not shown)
Line 1: Line 1:
==Liens==
==Liens==
-
*[http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique#Phylog.C3.A9nie_bas.C3.A9e_sur_les_s.C3.A9quences_des_ARNr Phylogénie ARNr]
+
*retour à [http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique#Arbre_esp.C3.A8ces:_pr.C3.A9paration_des_fichiers Atelier Phylogénomique]
 +
 
 +
==Introduction==
 +
'''Support de cours :''' [http://genoweb.toulouse.inra.fr/~formation/M2_Phylogenomique/2020_supports/ supports]
 +
 
 +
Nous allons utiliser un sous ensemble de gènes concervés chez ''Prochlorococcus'' et ''Synechococcus'' pour expérimenter les différentes méthodes de reconstruction phylogénomiques. Nous nous initierons à la comparaison d’arbres.
 +
==Extraction des séquences nucléotidiques des gènes orthologues==
 +
Créer un fichier avec toutes les séquences nucléotidiques (cds):
 +
 
 +
Si le répertoire n'existe pas déjà, le créer.
 +
<source lang='bash'>
 +
mkdir -p ~/work/ProchlorococcusSynechococcus/DNA
 +
cat ~/work/Prochlorococcus/prokka/Aaa*/Aaa*.ffn ~/work/Synechococcus/prokka/Aaa*/Aaa*.ffn > ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn
 +
 
 +
grep -c '>' ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn
 +
</source>
 +
===Extraire les groupes de gènes orthologues===
 +
Exemple de la création d'un script et lancement du job avec sbatch
 +
<source lang='bash'>
 +
mkdir -p ~/work/ProchlorococcusSynechococcus/OG/DNA
 +
</source>
 +
Créer le fichier suivant ''commande.sh''.
 +
<source lang='bash'>
 +
#!/usr/bin/bash
 +
~/work/scripts/extract_sequences_from_matchtable.pl --fasta ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn --matchtable ~/work/ProchlorococcusSynechococcus/panoct/results/matchtable.txt --outdir ~/work/ProchlorococcusSynechococcus/OG/DNA --quorum 16
 +
</source>
 +
<source lang='bash'>
 +
sbatch commande.sh
 +
</source>
 +
Vérifier que les fichiers contiennent au moins 16 séquences:
 +
<source lang='bash'>
 +
grep -c '>' ~/work/ProchlorococcusSynechococcus/OG/DNA/*fas
 +
</source>
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.1:
 +
A quoi correspond ce quorum. Pourquoi utiliser un seuil de 16?
 +
Combien de fichiers avez-vous obtenus?
 +
Est-ce pertinent dans les situations où vous avez un grand nombre de souches?
 +
Et quand les espèces étudiées sont très éloignées phylogénétiquement parlant ?
 +
</pre>
 +
 
 +
===Transformation en alignement multiples des séquences ADN des gènes===
 +
Le script ''aa_to_dna_aln.pl'' prend en entrée un fichier fasta contenant des séquences d'ADN. Il traduit des séquences, réalise un alignement multiple avec '''muscle''' et retraduit en ADN cet alignement multiple (merci [https://bioperl.org/ BioPerl]).
 +
 
 +
<source lang='bash'>
 +
mkdir ~/work/ProchlorococcusSynechococcus/OG/alignment
 +
</source>
 +
Attention à faire un script et le lancer en sbatch ou en srun --pty bash
 +
<source lang='bash'>
 +
~/work/scripts/aa_to_dna_aln.pl -dna ~/work/ProchlorococcusSynechococcus/OG/DNA/OG_1471.fas --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment
 +
</source>
 +
 
 +
La traduction en peptides ajoute un '*' à la fin des séquences. Vous pouvez ignorer le message:
 +
*** WARNING *** Invalid character '*' in FASTA sequence data, ignored
 +
En sortie:
 +
<pre>
 +
pep_OG_1471.fas      peptides
 +
ali_pep_OG_1471.fas  alignement des peptides
 +
ali_dna_OG_1471.fas  alignement des nucléotides
 +
</pre>
 +
Le programme suivant réalise le traitement pour un sous ensemble de ''sample'' fichiers tirés au hasard.
 +
 
 +
Il soumet sur le cluster donc, merci de vous remettre sur ''genologin'' pour lancer la commande ci-dessous.
 +
 
 +
Pour monitorer vos jobs : squeue -u $USER
 +
<source lang='bash'>
 +
~/work/scripts/aa_to_dna_aln_loop.pl --directory ~/work/ProchlorococcusSynechococcus/OG/DNA --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment --sample 100
 +
</source>
 +
Comptez les nombre d'alignements obtenus.
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.2:
 +
Quelle est la raison de passer par un alignement des peptides pour obtenir l'alignement en nucléotides?
 +
Pour quelle raison allons nous travailler sur un sous ensemble d'alignements?
 +
Est-il pertinent de réaliser un échantillonnage des alignements par tirage aléatoire? Quelles autres approches pouvez-vous envisager?
 +
Serait-il pertinent de réaliser plusieurs tirages? Quel usage pourriez-vous en faire?
 +
</pre>
 +
 
 +
MSK
 +
<!--
 +
==Construction des arbres des groupes de gènes orthologues==
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.3:
 +
Quels sont les traitements réalisés par le logiciel trimal?
 +
Quelles sont les options possibles pour réaliser ces traitements ? Ne pas lister toutes les options, les regrouper par type de traitement!
 +
Connaissez-vous d'autres logiciels réalisant un traitement comparable des alignements multiples?
 +
</pre>
 +
-->
 +
===Evaluation des alignements avec ''t_coffee''===
 +
*[https://tcoffee.readthedocs.io/en/latest/tcoffee_main_documentation.html?highlight=score#transitive-consistency-score-tcs Transitive-Consistency-Score]
 +
TCS is an alignment evaluation score that makes it possible to identify the most correct positions in an MSA. It has been shown that these positions are the most likely to be structuraly correct and also the most informative when estimating phylogenetic trees. The TCS '''evaluation''' and '''filtering procedure''' can be used to evaluate and filter any MSA.
 +
sample_seq1.score_ascii displays the score of the MSA, the sequences and the residues.
 +
sample_seq1.score_html displays a colored version score of the MSA, the sequences and the residues.
 +
TCS allows you to filter out from your alignment regions that appears unreliable according to the consistency score; the filtering can be made at the residue level or the column level:
 +
sample_seq1.tcs_residue_filter3 All residues with a TCS score lower than 3 are filtered out
 +
sample_seq1.tcs_column_filter3 All columns with a TCS score lower than 3 are filtered out
 +
 
 +
<syntaxhighlight lang="bash">
 +
original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/
 +
for i in $original_alignments/ali_dna_OG_*.fas
 +
do
 +
  ip=$(basename $i .aln)   
 +
  outfile="~/work/ProchlorococcusSynechococcus/OG/alignment/"$ip".ali"
 +
  echo "module load  bioinfo/T-COFFEE_11.00.8cbe486; t_coffee -infile $i -output score_ascii, aln, score_html -outfile $outfile;"
 +
done > OG_t_coffee_TCS.sh
 +
</syntaxhighlight>
 +
 
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
sarray -J mkdb -o %j.out -e %j.err -t 01:00:00 --cpus-per-task=1 OG_t_coffee_TCS.sh
 +
squeue -l -u $USER
 +
</pre>
 +
 
 +
Sélection alignements avec un SCORE=1000.
 +
<syntaxhighlight lang="bash">
 +
goodDNA_alignments=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/
 +
goodPEP_alignments=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/
 +
original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/
 +
mkdir $goodDNA_alignments $goodPEP_alignments
 +
 
 +
goodDNA_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/DNASCORE1000.lst
 +
goodPEP_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/PEPSCORE1000.lst
 +
 
 +
if [[ -f $goodDNA_alignment_list ]]; then
 +
rm $goodDNA_alignment_list
 +
fi
 +
 
 +
if [[ -f $goodPEP_alignment_list ]]; then
 +
rm $goodPEP_alignment_list
 +
fi
 +
 
 +
for i in ~/work/ProchlorococcusSynechococcus/OG/alignment/*.ali;
 +
do
 +
if [[ $(grep -H 'SCORE=1000' $i) ]]; then
 +
  ip=$(basename $i .ali)
 +
  oriDNA="$original_alignments$ip"
 +
  goodDNA="$goodDNA_alignments$ip"
 +
  cp $oriDNA $goodDNA
 +
  echo $oriDNA >> $goodDNA_alignment_list
 +
 
 +
  PEP=${ip:11:15}
 +
  oriPEP="${original_alignments}ali_pep_OG_${PEP}"
 +
  goodPEP="${goodPEP_alignments}ali_pep_OG_${PEP}"
 +
  cp $oriPEP $goodPEP
 +
  echo $oriPEP >> $goodPEP_alignment_list
 +
fi
 +
done
 +
cat $goodDNA_alignment_list
 +
</syntaxhighlight>
 +
 
 +
Edition des alignements avec trimal: MSK
 +
<!--
 +
===Edition des alignements avec trimal===
 +
Trimer les alignements avec trimal. Nous pouvons utiliser les résultats de trimal pour identifier des alignements de mauvaise qualité.
 +
 
 +
genologin softwares : [http://bioinfo.genotoul.fr/index.php/resources-2/softwares/?searchll=trimal trimal]
 +
 
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
srun --pty bash
 +
module load bioinfo/trimal-1.4.1
 +
n=1
 +
for i in ~/work/ProchlorococcusSynechococcus/OG/alignment/ali_dna_OG_*.fas
 +
do
 +
echo -e "Nb:" $n
 +
echo -e "Alignement:" $i "\n"
 +
dir=$(dirname $i)
 +
prefix=$(basename $i .fas)
 +
trimal -in $dir/$prefix.fas -out $dir/$prefix.trim.aln -sident -sgt
 +
((n++))
 +
done > ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.txt
 +
</pre>
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.4:
 +
Editez le fichier de résultats et analysez son contenu.
 +
</pre>
 +
=====Pour chaque alignement, extraction des % de sites sans indels et de la conservation moyenne des alignements=====
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
awk 'BEGIN {
 +
        i=1;
 +
        col[""]=0;
 +
}
 +
{
 +
        if ( $5==0)
 +
        {
 +
        col[i "," 1]=$2
 +
        }
 +
        else
 +
        if ( $2=="AverageIdentity" && $3!="Average")
 +
        {
 +
        col[i "," 2]=$3
 +
        i = i+1;
 +
        }
 +
}
 +
END {
 +
        max = i
 +
        i=1;
 +
        while (i < max) {
 +
        print i "\t" col[i "," 1] "\t" col[i "," 2];
 +
        i = i+1;
 +
        }
 +
}' < ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.txt > ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.tab
 +
</pre>
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.5:
 +
Vérifiez que vous avez extrait les informations attendues.
 +
</pre>
 +
 
 +
<pre style="color:grey;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
awk 'BEGIN { min = max = "NaN" }
 +
{
 +
    min = (NR==1 || $2<min ? $2 : min)
 +
    max = (NR==1 || $2>max ? $2: max)
 +
}
 +
END { print min, max }' < ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.tab
 +
</pre>
 +
=====Tracé de la distribution des deux paramètres=====
 +
Tracé de la distribution des deux paramètres pour définir des seuils permettant de retenir les meilleurs alignements
 +
<pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
module load system/R-3.6.1
 +
R
 +
pdf_file <- '~/work/ProchlorococcusSynechococcus/images/alignment_statistics.pdf'
 +
data <- read.table('~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.tab', row.names=1)
 +
pdf(file=pdf_file, paper="a4r")
 +
plot(data, xlim=c(1,100), ylim=c(0,1), pch=20, xlab="% without gap", ylab="AverageIdentity")
 +
text(data, labels=row.names(data), pos=4)
 +
dev.off()
 +
cat(pdf_file, "\n")
 +
quit()
 +
</pre>
 +
 
 +
Vous pouvez utiliser filezilla (sous Windows) ou un scp (sous linux) pour télécharger le fichier pdf en local.
 +
 
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.6:
 +
Éditez les alignements de plus mauvaises qualités.
 +
Commentez.
 +
</pre>
 +
 
 +
=====Sélection des meilleurs alignements=====
 +
Sélection des meilleurs alignements à partir de la distribution du nombre de sites sans indels et de la conservation moyenne des alignements.
 +
 
 +
Choisir --gap dans {0,100} et --identity dans {0, 1}:
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
~/work/scripts/trimal_selection.pl --alignment ~/work/ProchlorococcusSynechococcus/OG/alignment --gap {0,100} --identity {0, 1}
 +
</pre>
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.7:
 +
Combien d'alignements avez-vous retenu?
 +
</pre>
 +
-->
 +
 
 +
<!--
 +
==Super-arbres==
 +
 
 +
Nous allons utiliser les arbres individuels protéiques ainsi que celui reconstruit à partir de la petite sous-unité de l’rRNA.
 +
Sur genologin le script ssuTree.sh était celui-là :
 +
#!/bin/bash
 +
iqtree -s ./ssu_renamed_simplified.aln -nt 1 -AIC -bb 1000 -alrt 1000 -redo
 +
 
 +
Et on a tapé :
 +
module load bioinfo/iqtree-2.0.6
 +
sbatch --mem=20G ssuTree.sh
 +
 
 +
Voici l’arbre obtenu : /home/formation/work/ProchlorococcusSynechococcus/phyloG/ssu_renamed_simplified.aln.treefile
 +
 
 +
'''A vous :'''
 +
 +
Loguez-vous sur genologin.
 +
 
 +
Lançons les arbres protéiques. Pour cela faire un seul script que vous appellerez ind_pep_trees.sh et qui écrira toutes les commandes en bouclant sur chaque fichier d’entrée. Le but étant d’obtenir une ligne par commande iqtree sur un fichier d’alignement protéique. 
 +
Les fichiers d’input sont /home/formation/work/ProchlorococcusSynechococcus/phyloG/proteine/*_renamed.fas.
 +
 
 +
Il vous faut les copier dans votre work car sinon iqtree écrira les fichiers d'output sur le répertoire du compte de formation et pas dans le votre...
 +
 
 +
Pour vous aider inspirez vous de la réponse à la question "How to generate an sarray command file with bash for single (fastq) file ?" sur la page http://bioinfo.genotoul.fr/index.php/faq/bioinfo_tips_faq/.
 +
 
 +
'''Attention à bien spécifier -nt 1. Si vous souhaitez utiliser plus d’un CPU il faut le réserver avec l’option --cpus-per-task dans la commande sbatch / sarray. Pas besoin d’augmenter la RAM pour les protéines. Pensez aussi à mettre -AIC comme critère de sélection de modèle.'''
 +
 
 +
Regarder le contenu de ind_pep_trees.sh. Est-il correct ?
 +
 
 +
Rajouter la première ligne obligatoire sur genologin avec vi par exemple :
 +
#!/bin/bash
 +
 
 +
Pour le lancer en parallèle sur plusieurs nœuds du cluster :
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
module load bioinfo/iqtree-2.0.6
 +
sarray ind_pep_trees.sh
 +
</pre>
 +
 
 +
Pour monitorer votre job :
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
squeue -l -u <login>
 +
</pre>
 +
 
 +
Pour le killer si besoin :
 +
scancel jobid
 +
 
 +
Quand tous vos jobs sont terminés, vérifiez que les fichiers de sorties ne soient pas vides et que ça s’est bien passé en faisant par exemple :
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
tail *_renamed.fas.log
 +
</pre>
 +
 
 +
Vous pouvez aussi regarder les modèles sélectionnés :
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
grep 'Best-fit model:' *_renamed.fas.log
 +
</pre>
 +
 
 +
Concaténer tous les arbres (les 31 arbres protéiques et l’arbre ARNr obtenu hier) avec la commande cat.
 +
Nommez le fichier alltrees.tree.
 +
 
 +
'''Test de plusieurs méthodes de super-arbres :'''
 +
 
 +
Commençons par la méthode la plus répandue : le MRP.
 +
 
 +
Pour aller sur un nœud :
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
srun --pty bash
 +
</pre>
 +
puis taper :
 +
<pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
module load system/R-3.5.1
 +
R
 +
library(phytools)
 +
trees=read.tree("./alltrees.tree")
 +
supertrees<-mrp.supertree(trees,rearrangements="SPR", start="NJ")
 +
</pre>
 +
Vous avez obtenu les super-arbres les plus parcimonieux. Sauvez-les en utilisant la fonction write.tree de R.
 +
<pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
write.tree(supertrees, file = "./superTrees.tree")
 +
quit()
 +
</pre>
 +
Nous sommes sortis de R.
 +
 
 +
Dans notre cas, nous avons un seul arbre le plus parcimonieux, mais nous aurions pu en obtenir plusieurs.
 +
 
 +
Utiliser iqtree pour obtenir le consensus des 32 arbres avec la règle majoritaire étendue.
 +
 
 +
Pour cela restez sur le nœud et tapez :
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
module load bioinfo/iqtree-2.0.6
 +
iqtree -con -t alltrees.tree -nt 1
 +
</pre>
 +
 
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.12:
 +
D’après vous que signifie les valeurs aux nœuds sur cet arbre consensus ?
 +
</pre>
 +
 
 +
Lancez aussi l’arbre consensus en réseau :
 +
<pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
iqtree -net -t alltrees.tree -nt 1
 +
</pre>
 +
 
 +
Et visualisez-le avec splitstree en local.
 +
 
 +
https://software-ab.informatik.uni-tuebingen.de/download/splitstree5/welcome.html
 +
 
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.13:
 +
Commentez ce réseau par rapport aux autres arbres obtenus. Qu’en pensez-vous ?
 +
</pre>
 +
-->
 +
 
 +
<!--
 +
==Comparaison des arbres==
 +
 
 +
Concaténez maintenant les deux arbres de super-matrice (celui sur les codons que vous avez lancé toute à l'heure et celui sur les protéines) ainsi que les deux super-arbres (le consensus et le MRP).
 +
 
 +
Si vous avez eu des difficultés à obtenir l'arbre à partir de l'alignement en codon il est disponible ici : /home/formation/work/ProchlorococcusSynechococcus/phyloG/alignment_0.4_70_31.fas*.
 +
 
 +
Attention marquez quelques part l'ordre avec lequel vous les avez concaténés pour créer le fichier d'arbres à comparer afin de vous en souvenir ensuite.
 +
Lancer ensuite le calcul de la distance de Robinson and Foulds sur ce fichier avec iqtree entre les 4 arbres 2 à 2.
 +
 
 +
Attention à faire le module load bioinfo/iqtree-2.0.6
 +
 
 +
Et à rajouter -nt 1 dans les options.
 +
Restez sur le nœud ou faites un sbatch, mais ne lancez rien sur le nœud maître.
 +
 
 +
<pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap">
 +
Question 5.14:
 +
Commentez les résultats. Quel est l’arbre le plus différent des autres ? Qu’est-ce qui pourrait l’expliquer ?
 +
</pre>
 +
-->
 +
----
 +
*retour à [http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique#Arbre_esp.C3.A8ces:_pr.C3.A9paration_des_fichiers Atelier Phylogénomique]

Current revision as of 14:49, 8 December 2022

Contents

Liens

Introduction

Support de cours : supports

Nous allons utiliser un sous ensemble de gènes concervés chez Prochlorococcus et Synechococcus pour expérimenter les différentes méthodes de reconstruction phylogénomiques. Nous nous initierons à la comparaison d’arbres.

Extraction des séquences nucléotidiques des gènes orthologues

Créer un fichier avec toutes les séquences nucléotidiques (cds):

Si le répertoire n'existe pas déjà, le créer.

mkdir -p ~/work/ProchlorococcusSynechococcus/DNA
cat ~/work/Prochlorococcus/prokka/Aaa*/Aaa*.ffn ~/work/Synechococcus/prokka/Aaa*/Aaa*.ffn > ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn
 
grep -c '>' ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn

Extraire les groupes de gènes orthologues

Exemple de la création d'un script et lancement du job avec sbatch

mkdir -p ~/work/ProchlorococcusSynechococcus/OG/DNA

Créer le fichier suivant commande.sh.

#!/usr/bin/bash
~/work/scripts/extract_sequences_from_matchtable.pl --fasta ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn --matchtable ~/work/ProchlorococcusSynechococcus/panoct/results/matchtable.txt --outdir ~/work/ProchlorococcusSynechococcus/OG/DNA --quorum 16
sbatch commande.sh

Vérifier que les fichiers contiennent au moins 16 séquences:

grep -c '>' ~/work/ProchlorococcusSynechococcus/OG/DNA/*fas
Question 5.1:
A quoi correspond ce quorum. Pourquoi utiliser un seuil de 16? 
Combien de fichiers avez-vous obtenus?
Est-ce pertinent dans les situations où vous avez un grand nombre de souches?
Et quand les espèces étudiées sont très éloignées phylogénétiquement parlant ?

Transformation en alignement multiples des séquences ADN des gènes

Le script aa_to_dna_aln.pl prend en entrée un fichier fasta contenant des séquences d'ADN. Il traduit des séquences, réalise un alignement multiple avec muscle et retraduit en ADN cet alignement multiple (merci BioPerl).

mkdir ~/work/ProchlorococcusSynechococcus/OG/alignment

Attention à faire un script et le lancer en sbatch ou en srun --pty bash

 ~/work/scripts/aa_to_dna_aln.pl -dna ~/work/ProchlorococcusSynechococcus/OG/DNA/OG_1471.fas --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment

La traduction en peptides ajoute un '*' à la fin des séquences. Vous pouvez ignorer le message:

*** WARNING *** Invalid character '*' in FASTA sequence data, ignored

En sortie:

pep_OG_1471.fas       peptides
ali_pep_OG_1471.fas   alignement des peptides
ali_dna_OG_1471.fas   alignement des nucléotides

Le programme suivant réalise le traitement pour un sous ensemble de sample fichiers tirés au hasard.

Il soumet sur le cluster donc, merci de vous remettre sur genologin pour lancer la commande ci-dessous.

Pour monitorer vos jobs : squeue -u $USER

~/work/scripts/aa_to_dna_aln_loop.pl --directory ~/work/ProchlorococcusSynechococcus/OG/DNA --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment --sample 100

Comptez les nombre d'alignements obtenus.

Question 5.2:
Quelle est la raison de passer par un alignement des peptides pour obtenir l'alignement en nucléotides?
Pour quelle raison allons nous travailler sur un sous ensemble d'alignements? 
Est-il pertinent de réaliser un échantillonnage des alignements par tirage aléatoire? Quelles autres approches pouvez-vous envisager?
Serait-il pertinent de réaliser plusieurs tirages? Quel usage pourriez-vous en faire?

MSK

Evaluation des alignements avec t_coffee

TCS is an alignment evaluation score that makes it possible to identify the most correct positions in an MSA. It has been shown that these positions are the most likely to be structuraly correct and also the most informative when estimating phylogenetic trees. The TCS evaluation and filtering procedure can be used to evaluate and filter any MSA.

sample_seq1.score_ascii displays the score of the MSA, the sequences and the residues.
sample_seq1.score_html displays a colored version score of the MSA, the sequences and the residues.

TCS allows you to filter out from your alignment regions that appears unreliable according to the consistency score; the filtering can be made at the residue level or the column level:

sample_seq1.tcs_residue_filter3 All residues with a TCS score lower than 3 are filtered out
sample_seq1.tcs_column_filter3 All columns with a TCS score lower than 3 are filtered out
original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/
for i in $original_alignments/ali_dna_OG_*.fas 
do 
  ip=$(basename $i .aln)     
  outfile="~/work/ProchlorococcusSynechococcus/OG/alignment/"$ip".ali"
  echo "module load  bioinfo/T-COFFEE_11.00.8cbe486; t_coffee -infile $i -output score_ascii, aln, score_html -outfile $outfile;" 
done > OG_t_coffee_TCS.sh
sarray -J mkdb -o %j.out -e %j.err -t 01:00:00 --cpus-per-task=1 OG_t_coffee_TCS.sh
squeue -l -u $USER

Sélection alignements avec un SCORE=1000.

goodDNA_alignments=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/
goodPEP_alignments=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/
original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/
mkdir $goodDNA_alignments $goodPEP_alignments
 
goodDNA_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/DNASCORE1000.lst
goodPEP_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/PEPSCORE1000.lst
 
if [[ -f $goodDNA_alignment_list ]]; then
 rm $goodDNA_alignment_list
fi
 
if [[ -f $goodPEP_alignment_list ]]; then
 rm $goodPEP_alignment_list
fi
 
for i in ~/work/ProchlorococcusSynechococcus/OG/alignment/*.ali; 
do 
 if [[ $(grep -H 'SCORE=1000' $i) ]]; then
   ip=$(basename $i .ali)
   oriDNA="$original_alignments$ip"
   goodDNA="$goodDNA_alignments$ip"
   cp $oriDNA $goodDNA
   echo $oriDNA >> $goodDNA_alignment_list
 
   PEP=${ip:11:15}
   oriPEP="${original_alignments}ali_pep_OG_${PEP}"
   goodPEP="${goodPEP_alignments}ali_pep_OG_${PEP}"
   cp $oriPEP $goodPEP
   echo $oriPEP >> $goodPEP_alignment_list
 fi
done
cat $goodDNA_alignment_list

Edition des alignements avec trimal: MSK