M2BBS - Atelier Système
From silico.biotoul.fr
m (→Configuration réseau) |
m (→PHP) |
||
Line 511: | Line 511: | ||
* mysql.php | * mysql.php | ||
<?php | <?php | ||
- | $dbh = new PDO('mysql:host=localhost;dbname=test', ' | + | $dbh = new PDO('mysql:host=localhost;dbname=test', 'user', 'password'); |
var_dump($dbh); | var_dump($dbh); | ||
: test http://localhost/mysql.php | : test http://localhost/mysql.php |
Revision as of 14:14, 5 September 2017
Contents |
Objectifs
Note pour Roland : Récupérer la sauvegarde sur pc02
- Installation et configuration d'un système linux (partitionnement de disque, bootloader, configuration réseau, ...)
- Installation et configuration de logiciels (via un gestionnaire, via une procédure propriétaire, via configure/make/make test/make install)
- Installation et configuration de services (serveurs Web, bases de données)
- Sauvegarde/restauration d'un système ou de données
- Installation et configuration d'un cluster
Distributions linux populaires :
Principales étapes d'une installation typique :
- récupération d'un live cd ou usb
- gravure ou préparation du live media
- démarrage du système depuis ce live media
- procédure d'installation sur la machine. En général, les paramètres sont réduits au minimum pour faciliter l'adoption du système mais nous verrons que l'on peut organiser l'espace disque, la configuration réseau et les logiciels installés.
- redémarrage du système
- SELinux (Security Enhanced Linux)
- installation des dernières mises à jour
1er jour (8h) : liveCD, configuration réseau, partionnement de disque, installation sur HD, mises à jour, ..., service httpd/mysql/php.
Lien : rappel de certaines commandes linux Linux_tips
Démarrage du liveCD/DVD
Création LiveCD
Pour 2017-18, il s'agit de Fedora core 25 64bits (https://dl.fedoraproject.org/pub/fedora/linux/releases/25/). La dernière est la 26 mais avec les versions les plus récentes, il y a souvent certains logiciels qui ne s'installent pas. Pour créer un tel CD/DVD, il faut télécharger son image : un fichier .iso correspondant à une image de CD au format iso9660 contenant tout le système de fichiers. Pour le graver sur un CD (ou DVD), il faut utiliser un logiciel qui permet de graver une image (burn ISO ou burn disc image) tel que Brasero
sous GNOME apparemment il existe sur Windows depuis le 7 un outil qui permet de faire ça et sinon il en existe des gratuits.
Remarque : Il se peut que l'ordinateur démarre à partir du disque dur. Pour booter depuis le CD, il faut parfois accéder au menu de boot. On y accède le plus souvent avec la touche Esc, F2, F10, F12 ou delete/suppr (dépend de chaque ordi). On obtient alors soit le menu de démarrage soit le paramétrage du BIOS.
Création d'un LiveUSB
Il est aussi possible de créer une clé (ou disque) USB. Cela a l'avantage d'être plus rapide (à créer et pour installer le système). Par contre, cela modifie les partitions du support et pour les clés USB, cela les détériore parfois : elles ne fonctionnent plus sur un ou plusieurs ordinateurs, voire aucun et il est difficile voire impossible de les réparer.
https://fedoraproject.org/wiki/How_to_create_and_use_Live_USB
Démarrer le PC avec le liveCD
Avant de procéder à l'installation, on peut explorer les fonctionnalités offertes par le liveCD. Il s'agit d'un vrai système linux et permet notamment de réparer un système défectueux (par exemple, réinstaller le bootloader, modifier le montage des partitions, ...).
La première chose à faire est de passer en clavier français. On peut faire ça à partir de l'interface graphique, ou bien taper la commande
# en mode graphique (server X = runlevel 5) setxkbmap fr
# en mode texte (= runlevel 3) loadkeys fr
- Déterminer les partitions du disque dur (normalement /dev/sda).
- s'il y en a, et qu'elles ne sont pas montées, monter (commande mount) dans des répertoires dans /mnt (à créer, par exemple /mnt/sda1) pour explorer les systèmes de fichiers qu'elles contiennent.
- exercices :
- création, formatage, montage, démontage, suppression de partitions aux différents formats et notions de LVM
- configuration manuelle du réseau
Installation du système
Après avoir démarré le liveCD, il suffit de lancer l'assistant d'installation. Choisissez la langue pour l’assistant, le clavier ; régler la date et l'heure.
Configuration réseau
Pour le protocole IPv4, il faut obtenir une adresse IP valide. Ceci se fait le plus souvent via le protocole DHCP, ou bien manuellement.
Principe du DHCP : au démarrage du système (ou bien lorsque le câble réseau est branché), l'ordinateur demande à un serveur DHCP sur le réseau de lui attribuer une IP disponible et de lui fournir certains paramètres comme la passerelle (gateway), le masque de sous-réseau (netmask) et le(s) serveur(s) de noms (DNS).
Il n'y a pas de serveur DHCP configuré pour la P0. Entrez donc l'IP en fonction de la machine que vous utilisez.
Les plages d'adresses IP réservées pour la P0 sont les suivantes :
- 195.220.42.2 à 25 mais la 3 est utilisée ailleurs
- 195.220.42.131 à 146
Les paramètres sont les mêmes pour tout le monde :
subnet mask: 255.255.255.0 gateway: 195.220.42.1 DNS1: 195.220.59.2 DNS2: 195.220.59.6
Il semblerait que ces deux DNS fonctionnent mal. Depuis la rentrée 2015, il a été ajouté le DNS de google 8.8.8.8
A ajouter au fichier /etc/hosts ;
195.220.42.2 intervenant 195.220.42.131 printer HPLaserJetM425dn.p0 195.220.42.146 router 195.220.42.4 pc4 pc4.p0 195.220.42.5 pc5 pc5.p0 195.220.42.6 pc6 pc6.p0 195.220.42.7 pc7 pc7.p0 195.220.42.8 pc8 pc8.p0 195.220.42.9 pc9 pc9.p0 195.220.42.10 pc10 pc10.p0 195.220.42.11 pc11 pc11.p0 195.220.42.12 pc12 pc12.p0 195.220.42.13 pc13 pc13.p0 195.220.42.14 pc14 pc14.p0 195.220.42.15 pc15 pc15.p0 195.220.42.16 pc16 pc16.p0 195.220.42.17 pc17 pc17.p0 195.220.42.18 pc18 pc18.p0 195.220.42.19 pc19 pc19.p0 195.220.42.20 pc20 pc20.p0 195.220.42.21 pc21 pc21.p0
Pour déterminer l'adresse de votre machine, il vous faudra vous situer dans la salle. Par exemple, pour celui ou celle qui est à la place 20, l'adresse IP est 195.220.42.20
fenêtres fenêtres fenêtres /----\ /----\ /----\ /----\ | | | | /----------- | | | /-----\ | 7 | | 11 | | 21 20 15 | | 19 | | | | | | | | | | | | 131 | | 6 | | 10 | | 2 14 | | 18 | | | | | | | \-----------\ | | | | | e | 5 | | 9 | | 13 | | 17 | \-----/ n | | | | | | | | t | 4 | | 8 | | 12 | | 16 | r | | | | | | | | é \----/ \----/ \----/ \----/ e tableau
Commandes et fichiers :
ifconfig hostname nslookup getent ifup ifdown whois /etc/sysconfig/network /etc/sysconfig/network-scripts/ifcfg-INTERFACE /etc/hosts /etc/resolve.conf
- Linux network configuration explained on opensource.com
Partitionnement du/des disque(s)
Sujet déjà évoqué dans Linux tips - fs & partitions
Pour stocker des données sur un disque, celui-ce doit d'abord être partitionné. Puis, une partition formatée (création du système de fichiers), et ensuite la partition doit être montée en un point du système de fichier.
Les disques se trouvent en général dans /dev/sdX ; X étant une lettre, a pour le premier disque, b pour le second, ... et les partitions dans /dev/sdaX ; X étant le n° de partition, 1 pour la première, etc.
Le choix du partitionnement du disque est peut-être l'étape la plus délicate pour les néophytes. Il se fait très tôt (à l'installation) mais peut être modifié par la suite. Cela reste une opération sensible car il existe toujours un risque de perdre les données d'une partition voire le système.
Pour la taille des différentes partitions, cela dépend de la distribution linux. Le mieux est de se référer aux recommandations habituellement trouvées dans le guide d'administration. Par exemple pour fedora18, il est recommandé de créer au moins 4 partitions : http://docs.fedoraproject.org/en-US/Fedora/18/html/Installation_Guide/s2-diskpartrecommend-x86.html
- swap partition
- /boot partition
- / partition
- /home partition
La partition /boot est souvent à part et contient les fichiers nécessaires aux toutes premières étapes de démarrage du système. C'est donc en général une partition primaire au format ext. Les autres peuvent être des partition primaires/étendues ou bien gérées par LVM.
Il est en général judicieux d'avoir une partition séparée pour /home qui contient les répertoires utilisateurs. En effet, lors d'une réinstallation du système, il est courant de formater la partition / ce qui aurait pour effet d'effacer toutes les données utilisateurs si elles ne sont pas sur une autre partition.
Pour aujourd'hui, on utilisera le paramétrage suivant :
- 1: 500Mb ext4 /boot
- 2: 100Gb ext4 /
- 3: 4Gb swap (pour pouvoir suspendre/hiberner la machine, il faut au une taille au moins égale à la RAM)
- 4: ce qui re reste pour /home
Commandes et fichiers :
lsblk fdisk parted gparted gnome-disks palimpsest: affichage et manipulation des partitions mkfs[.ext4|.ext3|.ext2|.ntfs|...]: formatage resize2fs resizepart: redimensionner une partition pvdisplay pvcreate vgdisplay vgcreate lvdisplay lvcreate: commandes pour LVM (pv: physical volume, vg: volumegroup, lv: logical volume) mount umount: montage/démontage d'une partition sur un répertoire /etc/fstab: montage des partitions au démarrage /etc/mtab /proc/partitions: table de partitions actives /dev/sd* /dev/hd* /dev/sr* /dev/mapper/* /dev/disk/: périphériques de stockages
Doumentation
https://semestriel.framapad.org/p/P02017installPC
ou le créer à partir de https://framapad.org/
gestionnaire de paquets
A partir d'une ou plusieurs sources, ils permettent d'installer et de maintenir à jour le système et les logiciels installés.
- dnf (fedora >= 22)
- yum (fedora <22, centos)
- rpm
- apt (ubuntu)
dnf et yum peuvent être utilisés en parallèle mais mieux vaut n'en utiliser qu'un http://dnf.readthedocs.io/en/latest/user_faq.html
Ajout des sources de RPM fusion :
root> dnf install http://download1.rpmfusion.org/free/fedora/rpmfusion-free-release-$(rpm -E %fedora).noarch.rpm http://download1.rpmfusion.org/nonfree/fedora/rpmfusion-nonfree-release-$(rpm -E %fedora).noarch.rpm
dnf
Quand on connait le nom. Affichage de la disponibilité (et de la version) : Exemple avec les paquets de développement du noyau (nécessaires pour compiler certains logiciels)
dnf list kernel-devel
- Si il apparaît dans Installed Packages : rien à faire à moins qu'il y ait une version plus récente :
dnf upgrade kernel-devel
- Si il apparaît dans Available Packages :
dnf install kernel-devel
Quand on ne connaît pas le nom du paquet : search. Cela a pour effet de chercher dans la description.
dnf search apache
Pour obtenir la description :
dnf info httpd
Pour chercher quels paquets contiennent un fichier donné :
dnf provides */sbin/httpd
Pour fedora avant la 22 et CentOS, c'est exactement la même chose mais avec yum, exemple :
yum list kernel-devel
Afficher le contenu d'un rpm
rpm -qpl http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
Installation des dernières mises à jour
Lors d'une installation via LiveCD/DVD/USB, il est recommandé de faire les mises à jour après installation du systèmes (puis régulièrement).
Avec les systèmes RedHat (CentOs, fedora, RHEL, ...), ceci est géré avec les RPM (RedHat Package Manager) et les logiciels package-kit/software et les utilitaires rpm/yum/dnf :
root> dnf list upgrades root> dnf upgrade
SELinux
SELinux (pour Security Enhanced Linux) permet de renforcer la sécurité. En pratique, il bloque souvent des accès et peut être déroutant lors de la configuration/installation de la machine. Par exemple à une époque (à vérifier aujourd'hui), il bloquait les connexions de apache vers mysql (pour un site web dynamique php qui se connectait à une base de données) et la cause de l'impossibilité de connexion a mis du temps à être décelée.
Pour le désactiver :
vi /etc/selinux/config
Remplacer :
SELINUX=enforcing
par :
SELINUX=disabled
Sauvergarder et quitter (<Esc>:wq<Enter> dans vi)
Puis redémarrer la machine.
Variables d'environnement
Le sccript ~/.bashrc est chargé par tout processus bash à son démarrage. Cela permet de personnaliser certaines choses comme par exemple
- la variable PATH qui contient une liste de répertoires où sont recherchées les commandes
- les alias qui permettent de définir des commandes en raccourcis d'autres
Pour afficher le contenu d'une variable d'environnement :
echo $PATH
Pour le modifier :
PATH=$PATH:~/bin
Ajouter ~/bin à la variable d'environnement PATH dans .bashrc (vi ~/.bashrc) si ce répertoire n'était pas déjà présent dans la variable PATH.
Ajouter un alias, par exemple :
alias l='ls -lh'
Installation d'autres logiciels
Il peut être plus simple de tout mettre dans un script et de le lancer en tant que root mais il faut vérifier avant que les commandes sont bonnes :
#!/bin/bash # dnf RPMs # ############ echo kernel-devel echo dnf -y install kernel-devel dnf -y install kernel-devel echo echo geany echo dnf -y install geany-plugins-spellcheck.x86_64 geany.x86_64 geany-plugins-geanyprj.x86_64 dnf -y install geany-plugins-spellcheck.x86_64 geany.x86_64 geany-plugins-geanyprj.x86_64 echo echo process, network, IO monitors echo dnf -y install htop glances iotop iftop atop sysstat dnf -y install htop glances iotop iftop atop sysstat echo echo net echo dnf -y install wget telnet firewall-config dnf -y install wget telnet firewall-config echo echo libreoffice echo dnf -y install libreoffice xournal dnf -y install libreoffice xournal echo echo transfer de fichier echo dnf -y install filezilla dnf -y install filezilla echo echo "image manipulation (équivalent de photoshop et illustrator en FOSS)" echo dnf -y install gimp.x86_64 inkscape.x86_64 dnf -y install gimp.x86_64 inkscape.x86_64 echo echo compilateur C echo dnf -y install gcc automake autoconf dnf -y install gcc echo echo gnome configuration echo dnf -y install gnome-tweak-tool dnf -y install gnome-tweak-tool echo
Vous pouvez aussi copier/coller une à une les commandes dnf.
depuis le code source
Exemple avec HMMER http://hmmer.org/
Procédure typique configure make install.
En général, on dispose d'une archive du code au format .tar.gz ou .tgz
On vérifie le contenu de l'archive
tar tzf hmmer...tar.gz
ou avec la dernière version
tar tf hmmer...tar.gz
Cela permet de voir ce qui va être extrait (option t. On vérifie que c'est bien dans un sous-répertoire sinon l'extraction va créer un tas de fichiers dans le répertoire courant (auquel cas on créé un répertoire et on se place dedans pour faire l'extraction).
Remarque : il y a plusieurs méthodes de compression/décompression (ici z pour gzip, sinon j pour bzip2 extension .tar.bz2, ... cf. man tar ). La dernière version de tar identifie automatique de quel format il s'agit.
Extraction du contenu :
tar xzf hmmer...tar.gz
ou avec la dernière version
tar xf hmmer...tar.gz
- ./configure permet de tester l'environnement et de configurer la compilation, notamment où installer les fichiers et où trouver les librairies partagées. ./configure --help pour voir toutes les options. Si l'on ne dispose pas des droits administrateur, on ne peut pas l'installer ailleurs que dans son espace utilisateur. En général, il suffit de spécifier ./configure --PREFIX=~/destination.
- make lance la compilation
- make test ou make check (parfois optionnel ou absent) vérifie le bon fonctionnement de ce qui a été compilé
- make install (habituellement en tant qu'administrateur) installe les fichiers sur le système.
Si le script ./configure se plaint de ne pas de disposer de compilateur C. Il faut donc l'installer.
dnf list gcc dnf install gcc
D'habitude, les programmes d'HMMER sont installéq dans /usr/local/bin. Vérification :
ll /usr/local/bin
depuis un dépôt
Les plus utilisés sont les gestionnaires git et subversion. Ils permettent notamment de faire le suivi de modifications de code source.
git est normalement déjà installé.
user# git clone https://github.com/jahendrie/cheat.git cd cheat user# cp -r data ~/.cheat mkdir ~/bin cp src/cheat.sh ~/bin/cheat cheat -L cheat dnf
Installation/configuration de services et pare-feu
Commandes :
- systemctl pour systemd (sur des systèmes plus anciens : chkconfig et service)
La commande systemctl permet de gérer quels services sont démarrés ou pas avec le système.
Pour afficher la liste des services :
systemctl list-unit-files
Pour le seveur ssh (sshd) qui permet de se connecter à distance :
systemctl status sshd
On voit qu'il apparaît mais n'est pas activé au démarrage.
Démarrage :
systemctl start sshd
Vérification :
systemctl status sshd ssh localhost
Pour qu'il soit lancé au démarrage :
systemctl enable sshd
Vérification :
systemctl list-unit-files | grep sshd
Essayez de vous connecter sur l'ordinateur de votre voisin ou voisine.
apache/httpd
Y a-t-il un serveur web ? Essayer http://localhost dans un navigateur.
systemctl status httpd
Pour changer la configuration du serveur Web, il faut éditer les fichiers dans /etc/httpd puis redémarrer le service
systemctl restart httpd
ou recharger la configuration
systemctl reload httpd
Essayez d'utiliser le seveur Web de votre voisin ou voisine. Normalement, le parefeu est actif et bloque le port utilisé par le serveur Web, protégeant ainsi l'accès à la machine.
Configuration du firewall
Etat du firewall :
systemctl status firewalld
ou
firewall-cmd --state
Documentation : https://fedoraproject.org/wiki/Firewalld
C'est maintenant avec firewall-config. Il faudrait que les services suivants soient accessibles dans la Configuration permanente :
- http (80 par défaut) et https (443)
- mysql
- nfs
- ssh
Remarque : on peut aussi utiliser la commande shell firewall-cmd.
Par exemple, pour autoriser l'accès au serveur Web (port 80 par défaut) :
firewall-cmd --permanent --add-service=http
ou par numéro de port
firewall-cmd --permanent --add-port=80/tcp
Quand une règle est ajoutée de manière permanente, il faut recharger les règles pour la rendre active (runtime) :
firewall-cmd --reload
Documentation de Fedora : https://fedoraproject.org/wiki/Firewalld?rd=FirewallD
MySQL
Remarque : Dans les versions plus récente de fedora, mysql est remplacé par un fork nommé MariaDB qui s'utilise exactement de la même manière (avec les mêmes commandes mysql, mysqladmin, etc.).
dnf install mariadb-server.x86_64 mariadb-libs.x86_64 mariadb-devel.x86_64 mariadb.x86_64
Démarrage du serveur
systemctl start mariadb
Configuration du serveur : il faut faire certains paramétrage juste après l'installation du serveur (mot de passe, et autres) :
/usr/bin/mysql_secure_installation
Pour les question suivantes :
- Enter current password for root (enter for none): ne rien mettre + entrée
- Set root password? [Y/n] y
- Remove anonymous users? [Y/n] y
- Disallow root login remotely? [Y/n] y
- Remove test database and access to it? [Y/n] n
- Reload privilege tables now? [Y/n] y
Démarrage au boot
systemctl enable mariadb
Remarque : Un site assez efficace pour installer et configurer des logiciels et serveurs sur Red Hat, CentOS, Fedora est http://www.if-not-true-then-false.com/ ; par exemple pour MariaDB: http://www.if-not-true-then-false.com/2013/install-mariadb-on-fedora-centos-rhel/ vous trouverez les commandes précédentes et aussi d'autres informations : création d'une base, ajout d'un utilisateur pouvant se connecter à distance, configuration du firewall pour ouverture le port réseau pour se connecter à distance au serveur, ...
Test du bon fonctionnement :
root> mysql -uroot -p MariaDB [(none)]> show databases; MariaDB [(none)]> use mysql MariaDB [mysql]> show tables;
Ctrl + D ou \q ou \quit pour quitter.
Interface Web d'administration et de gestion : phpMyAdmin
Il faut donc installer PHP.
PHP
dnf install php.x86_64 phpMyAdmin php-bcmath.x86_64 php-gd.x86_64 php-geshi.noarch php-mbstring.x86_64 php-mcrypt.x86_64 php-pdo.x86_64 systemctl restart httpd
Aller à la page http://localhost/phpMyAdmin
Ou bien test manuel, en créant dans le répertoire /var/www/html/ les fichiers :
- phpinfo.php
<?php phpinfo();
- mysql.php
<?php $dbh = new PDO('mysql:host=localhost;dbname=test', 'user', 'password'); var_dump($dbh);
Arrêt ici 1er jour (9h30 - 17h30) 06 sep 2016
R, librairies et RStudio
dnf install R.x86_64
Ensuite, pour les librairies R, on utilise, selon les librairies :
- dnf
- CRAN: R> install.packages(...)
- Bioconductor: source("http://bioconductor.org/biocLite.R"); biocLite(...)
R libraries
En cas de problème, par exemple si une librairie est dite non disponible, par exemple pour la version de R trop récente, essayer à partir d'un autre site miroir :
chooseCRANmirror()
et choisir un autre site. Cela peut aussi être dû à des erreurs de connexion en https, dans ce cas sélectionner le dernier HTTP mirrors
CRAN
- lattice
- reshape et/ou reshape2
- dplyr
- tidyr
- ggplot2
Bioconductor
- chipseq
- GenomicRanges
- edgeR
- DESeq2
- mixOmics
- R-StringDB
prérequis :
dnf install libxml2-devel mesa-libGL-devel mesa-libGLU-devel dnf install R-RCurl libcurl-delvel
packages CRAN R nécessaires :
root> R R> install.packages( c('lattice','ggplot2','reshape2','rgl','dplyr','tidyr') )
Pour RMarkdown, il faut mettre à jour certaines librairies :
R> install.packages(c('evaluate', 'formatR', 'highr', 'markdown', 'yaml', 'htmltools', 'caTools', 'bitops', 'knitr', 'rmarkdown'), repos='https://cran.univ-paris1.fr/')
packages Bioconductor R nécessaires :
R> source('http://bioconductor.org/biocLite.R') R> biocLite( c('chipseq','GenomicRanges','edgeR','genefilter','geneplotter','DESeq2','mixOmics', 'STRINGdb', 'RNeo4j') )
RStudio
Le RPM est à télécharger sur le site RStudio : https://www.rstudio.com/products/rstudio/download/#download puis
dnf -y install rstudio-1.0.153-x86_64.rpm
Documents utiles pour RStudio et RMarkdown sur http://rmarkdown.rstudio.com/ et http://rmarkdown.rstudio.com/lesson-1.html (RMarkdown cheatsheet et RMarkdown reference guide)
Prérequis pour générer du PDF car il manque, entre autres, un fichier de style framed.sty :
dnf install texlive-framed texlive-titling
Perl et BioPerl
Modules Perl : on utilise dnf (préférable pour les mises à jour)
dnf list perl-*
dnf install perl-CPAN
ou le module CPAN
shell> perl -MCPAN -e shell cpan> m Bio::Perl
Installation de BioPerl
D'après le site http://bioperl.org/INSTALL.html et l'installation avec cpanminus.
Prérequis :
dnf install perl-CPAN perl-App-cpanminus
puis avec cpanm
cpanm --force Test::More cpanm Module::Build TestIO::String cpanm Bio::Perl
Remarque : il faut forcer l'installation de Test::More car il dépend su module Storable. Or, le module Storable nécessite Test::More (dépendances circulaires).
Autres logiciels spécifiques
Zotero
A partir de https://www.zotero.org : Cliquer sur Download puis installer l'application stand-alone (à gauche). Elle est fournit au format tar :
cd ~Downloads tar tf Zotero-5.0.17_linux-x86_64.tar.bz2 tar xf Zotero-5.0.17_linux-x86_64.tar.bz2 cd Zotero_linux-x86_64 ./zotero
Et ensuite, installer le plug-in firefox (à doite).
samtools
prérequis : curses.h
pour trouver le rpm à installer :
dnf provides */curses.h
c'est bien sûr ncurses-devel donc :
dnf install ncurses-devel
La dernière version à récupérer sur http://www.htslib.org/download/
wget https://github.com/samtools/samtools/releases/download/1.5/samtools-1.5.tar.bz2 tar xf samtools-1.5.tar.bz2 cd samtools-1.5 make make install
tabix
- dernière version à récupérer sur http://www.htslib.org/download/
wget https://github.com/samtools/htslib/releases/download/1.3.1/htslib-1.3.1.tar.bz2 tar xjf htslib-1.3.1.tar.bz2 cd htslib-1.3.1 ./configure make make install
bwa
Chez sourceforge, la liste des versions disponibles : https://sourceforge.net/projects/bio-bwa/files/
On récupère la dernière :
tar bwa-0.7.16a.tar.bz2 tar bwa-0.7.16a.tar.bz2 cd bwa-0.7.16a make cd ~/bin ln -s ~/Downloads/bwa-0.7.16a/bwa cd bwa ldd ~/bin/bwa # vérification des librairies utilisées
MACS2
Prérequis:
A lire dans https://github.com/taoliu/MACS puis le ISNTALL. Il faut apparemment Python 2.7, Numpy (>=1.6) gcc, Cython (>=0.18).
pip -V
pip2.7 list
numy 1.9.2 est installé. Mise à jour de pip, un peu vieux :
pip2.7 install --upgrade pip
Pour Cython, il faut aller sur http://cython.org qui nous indique de l'installer avec PyPI -- http://pypi.python.org/pypi/Cython/ -- et donc avec la commande pip :
pip2.7 install Cython --install-option="--no-cython-compile"
Installation :
Et encore d'après le README, on utilise ensuite pip pour installer MACS2, mais avant cela il manque encore une librarie (python-devel) :
dnf install python-devel pip2.7 install MACS2
fastqc
Le site http://www.bioinformatics.babraham.ac.uk/projects/fastqc/
Les liens de téléchargements http://www.bioinformatics.babraham.ac.uk/projects/download.html#fastqc
Les instructions pour l'installation http://www.bioinformatics.babraham.ac.uk/projects/fastqc/INSTALL.txt
Il faut notamment java >= 1.6
guest> wget http://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.11.5.zip unzip -l fastqc_v0.11.5.zip unzip fastqc_v0.11.5.zip # car tout est dans un sous-répertoire cd FastQC chmod +x fastqc ./fastqc
Ca marche !
cd mv Downloads/FastQC ~/bin/ cd ~/bin ln -s FastQC/fastqc
Java
Téléchargement de Java 1.6 d'Oracle depuis http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html mais cela nécessite de s'enregistrer.
Il faut lancer l'exécutable une fois téléchargé pour l'installation
root> ./jdk-6u24-linux-x64-rpm.bin
Cela installe Java dans /usr/java
Ensuite, il faut configurer le système pour choisir la nouvelle version d'installée avec la commande alternatives.
which java # on obtient /usr/bin/java ll /usr/bin/java # on obtient quelque chose comme lrwxrwxrwx 1 root root 22 10 juil. 2015 /usr/bin/java -> /etc/alternatives/java ll /etc/alternatives/java # donne quelque chose comme lrwxrwxrwx 1 root root 30 10 juil. 2015 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.102-1.b14.fc23.x86_64/jre/bin/java
Pour sélectionner entre différentes version
root> alternatives --config java
On obtient quelque chose comme
Selection Command ----------------------------------------------- *+ 1 java-1.8.0-openjdk.x86_64 (/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-5.b01.fc25.x86_64/jre/bin/java)
Enter to keep the current selection[+], or type selection number:
Pour ajouter une alternative (la version que l'on vient d'installer) :
alternatives --install /usr/bin/java java /usr/java/jdk1.6.0_24/bin/java 16024
Puis
alternatives --config java
nous propose
Selection Command ----------------------------------------------- *+ 1 java-1.8.0-openjdk.x86_64 (/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-5.b01.fc25.x86_64/jre/bin/java) 2 /usr/java/jdk1.6.0_24/bin/java
Enter to keep the current selection[+], or type selection number: 2
Ensuite faire pareil pour le compilateur java (javac)
alternatives --install /usr/bin/javac javac /usr/java/jdk1.6.0_24/bin/javac 16024 alternatives --config javac
Pour la commande alternatives, voir le manuel man alternatives. pour --install l'ordre des paramètres est :
alternatives --install link name path priority
- link est la commande à installer (obtenue avec de which java)
- name est le nom de l'alternative utilisée dans alternatives --config par exemple
- path est le chemin de l'exécutable (que l'on vient d'installer)
- priority est utilisée lors des mises à jour ou d'installations de logiciels qui remplace la commande. Par défaut, la priorité la plus forte est utilisée. Ainsi, si on installe jdk7u32 (1.7.0.32), la priorité devrait être plus importante (17032).
IGV (Integrated Genomics Viewer)
Soit par Java Web Start, soit en téléchargeant l'application (en tant qu'utilisateur et non root) depuis http://data.broadinstitute.org/igv/projects/downloads/ :
wget http://data.broadinstitute.org/igv/projects/downloads/IGV_2.3.98.zip unzip -l IGV_2.3.98.zip unzip IGV_2.3.98.zip cd IGV_2.3.98 ./igv.sh cd ~/bin ln -s ~/Downloads/IGV_2.3.98/igv.sh igv
Python modules
python 3 + libs : theano, matplotlib, keras
dnf install python3-theano python3-matplotlib pip install keras pip2.7 install scipy pip2.7 install neo4j-driver pip install neo4j-driver
Arrêt ici 2èmé jour (9h30 - 18h00) 07 sep 2016
GNA
Nécessite Java 1.6, pour sélectionner la version de java :
root> alternatives --config java
Installé dans /home/guest/bin/GNA_8.4.0
Création du lien symbolique :
cd ~/bin ln -s GNA_8.4.0/genetic_network_analyzer GNA
Le script de lancement a dû être modifié car la mauvaise version de java était utilisée (cf. lignes 383-384 du fichier genetic_network_analyzer)
Pour le lancer de n'importe où (guest) :
GNA
COPASI
Site http://copasi.org/
Téléchargements : http://copasi.org/Download//
From binaries:
wget https://github.com/copasi/COPASI/releases/download/Build-158/COPASI-4.20.158-Linux-64bit.tar.gz tar tf COPASI-4.20.158-Linux-64bit.tar.gz tar xf COPASI-4.20.158-Linux-64bit.tar.gz cd COPASI-4.20.158-Linux-64bit/ ll ll bin/ bin/CopasiUI
Et création du lien symbolique pour le lancer de n'importe où :
mv COPASI-4.20.158-Linux-64bit ~/bin/ ln -s ~/bin/COPASI-4.20.158-Linux-64bit/bin/CopasiUI ~/bin/COPASI cd COPASI
Snoopy
wget http://www-dssz.informatik.tu-cottbus.de/track/download.php?id=202 -O snoopy-stable-linux-ubuntu64-2017-06-19.tgz tar tf snoopy-stable-linux-ubuntu64-2017-06-19.tgz tar xf snoopy-stable-linux-ubuntu64-2017-06-19.tgz cd snoopy2 ./bin/snoopy ldd ./bin/snoopy # Problème : il manque des librairies partagées ls -lh lib export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/Downloads/snoopy2/lib ./bin/snoopy
il manque encore libpng12.so.0, qui le fournit ?
dnf provides */libpng12.so dnf install libpng12-devel
Ca fonctionne, on créé le lien symbolique et on le déplace dans bin et on ajoute le chemin des librairies dans ~/.bashrc :
cd .. mv snoopy2 ~/bin ln -s ~/bin/snoopy2/bin/snoopy ~/bin/
Dans geany ajouter la ligne suivante au fichier .bashrc (geany ~/.bashrc)
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/bin/snoopy2/lib
Test :
source ~/.bashrc # pour utiliser le nouveau .bashrc snoopy
VirtualBox
Site: https://www.virtualbox.org et pour les téléchargements pour linux https://www.virtualbox.org/wiki/Linux_Downloads
Remarque : VirtualBox est disponible sur le dépôt de Fedora mais ne correspond pas tout à fait à la même version.
VirtualBox 5.1.26 pour Fedora 25
wget http://download.virtualbox.org/virtualbox/5.1.26/VirtualBox-5.1-5.1.26_117224_fedora25-1.x86_64.rpm dnf install VirtualBox-5.1-5.1.26_117224_fedora25-1.x86_64.rpm VirtualBox
pymol
root> dnf install pymol
VMD
cd vmd-1.9.2 less README root> ./configure root> cd src root> make install guest> vmd
Qt 4.8
Avec dnf :
dnf list qt dnf info qt dnf install qt
Gromacs
avec dnf
dnf list gromacs root> dnf install gromacs
Imprimante/Scanner
L'installation dépend de la distribution ainsi que de la manière dont est gérée la file d'impression. Pour les systèmes les plus récents, l'installation n'est pas trop difficile mais pour ce qui est des imprimantes exotiques cela se gère au cas par cas.
Pour la salle P0, l'imprimante est une imprimante réseau (HP LaserJet M425dn).
Pour l'installer sur Fedora 25, à partir de la configuration :
- Ajouter une imprimante
- Network Printer
- AppSocket/HP JetDirect
- Host 195.220.42.131 ou printer s'il est présent dans /etc/hosts
- Port: 9100
- Connections: AppSocket/HP JetDirect
- Driver: HP (recommended)
- HP DeskJet 400 - CUPS+Gutenprint v5.2.11 Simplified ...
Ne pas imprimer la page de test sinon on va avoir 18 fois la même chose.
Scanner
- Configurer pour l'ordi de David mummer (il faut qu'il soit allumé).
- Sur le scanner faire Numériser puis Numériser vers un ordi
- le fichier PDF se retrouve sur mummer
- pour le récupérer via nautilus
- Connect to server...
- smb://mummer
- aller dans le répertoire scan (utilisateur guest avec son mot de passe)
Sauvegardes et restaurations
dd
Pour des tables de partition de type dos :
- sauvegarde du Master Boot Record (MBR = secteur de démarrage)
dd if=/dev/sda of=mbr.dd bs=512 count=1
- copie physique d'une partition
dd if=/dev/sda1 of=sda1.dd
Il y a aussi l'utilitaire dédié sfdisk mais il ne gère pas les tables de partition de type gpt :
backup:
sfdisk --dump /dev/sda > sda.partitions
restore (attention, peut rendre le disque inutilisable si mauvais fichier/device ou mauvaise manipulation):
sfdisk /dev/sda < sda.partitions
Pour les tables de type gpt :
backup :
sgdisk -b sda.partitions /dev/sda
restore (attention, peut rendre le disque inutilisable si mauvais fichier/device ou mauvaise manipulation):
sgdisk -l sda.partitions /dev/sda
tar
tar (tape archive)
avec l'option p pour préserver les permission (rwx), et on exclut certains répertoires (ex: home) pour ne garder que le systèmes (sans les répertoires spéciaux comme /proc ou /sys). Remarque : Il faudra recréer ces répertoires lors de la restauration.
- On créé un répertoire pour l'archive
mkdir /mnt/backup cd /mnt/backup
- /dev/sda1 montée sur /boot
tar cpjf boot.sda1.tar.bz2 /boot
- /dev/sda2 montée sur /
tar cpjf rootfs.sda2.tar.bz2 \ --exclude=/proc \ --exclude=/mnt \ --exclude=/sys \ --exclude=/lost+found \ --exclude=/media \ --exclude=/home \ /
- /dev/sda4 montée sur /home
tar cpjf home.sda4.tar.bz2 /home
rsync
rsync permet de "synchroniser" un fichier ou une sous-arborescence de répertoire, c'est-à-dire faire un miroir exact ou bien recopier seulement ce qui a été modifié, ou bien rajouter ce qui a été modifié, ..., et ceci éventuellement entre deux machines.
Cela peut être utile pour faire une sauvegarde de ces données personnelles :
rsync --dry-run \ --archive --hard-links --delete --acls --xattrs --one-file-system \ --itemize-changes --stats -h \ --exclude='*/.thumbnails' --exclude='*/Cache' --exclude='*/.cache' --exclude='*/.gvfs' /home/ /mnt/home_backup/
NFS (Network File System)
Côté serveur, on "exporte" un répertoire (et sa sous-arborescence).
Paquets nécessaires :
dnf list nfs-utils nfs-utils-lib
Le répertoire partagé pour cet exemple est le répertoire sur l'ordi de David qui accueille les scans : guest@mummer:/home/guest/scan
Fichier de configuration : /etc/exports sur mummer
/home/guest/scan 195.220.42.0/255.255.255.0(rw,no_root_squash)
Cela indique que ce répertoire là peut-être contacté par un client nfs depuis toute machine du sous-réseau (toute machine dont l'IP commence par 195.220.42.).
Démarrage (manuel) du service
root> systemctl start nfs
Au démarrage du système
root> systemctl enable nfs
Côté client :
dnf list nfs-utils nfs-utils-lib
Création du répertoire où est monté l'export nfs pour cet exemple.
root> mkdir /mnt/scan
Montage de l'export nfs avec la commande mount
root> mount mummer:/home/guest/scan /mnt/scan
En cas de succès, le contenu de /mnt/scan correspond à ce qu'il y a sur mummer. S'il y a des fichiers et/ou répertoires dans /mnt/scan du client (celui qui fait mount), ils ne sont plus accessibles après le montage.
En cas d'échec, on peut désactiver le pare-feu
root> firewall-config
Pour débugger (option -v)
root> mount -v mummer:/home/guest/scan /mnt/scan
Pour démonter le répertoire :
root> umount /mnt/scan
Pour consulter les montages actifs :
mount
Pour simplifier l'opération de montage/démontage, on peut l'ajouter au fichier /etc/fstab.
Avertissement : si le fichier /etc/fstab n'est pas bon, le système peut ne plus démarrer et il faudra le réparer (avec un liveCD par exemple).
Edition de /etc/fstab et ajout de la ligne :
mummer:/home/guest/scan /mnt/scan noauto,rw,intr,nfsver=3 0 0
A tester avant de redémarrer avec :
root> umount /mnt/scan # s'il était monté root> mount -a root> mount | grep scan
Si scan apparaît ou qu'on obtient une erreur avec mount -a il y a un problème à régler.
Options :
- noauto : ne demande pas le montage au démarrage. C'est préférable car si mummer n'est pas allumée, le démarrage de votre ordi pourrait ne pas marcher.
- rw : droits en lecture et en écriture
- intr : permet au requête NFS d'être interrompue si on perd le serveur ou qu'il ne peut être contacter
- nfsver= : spécifie quelle version du protocole utiliser
Si le fichier fstab est bon on peut monter/démonter le répertoire comme suit :
root> mount /mnt/scan root> umount /mnt/scan
Arrêt ici, 3ème jour (9h30-17h30 12 septembre 2016).
oublis
- LVM puis parted, gparted
- gnome software / packages / yumex /
- packages installed with dnf: htop, glances, gimp, inkscape, tweak-tool...
- photo du groupe pour le site
A ajouter
- jupyter
- Neo4j
- cytoscape ?
- igraph ?
- scikitlearn ...
- firebug, dictionnaries?
- Sun Grid Engine (now Oracle ?)
- wps office
- other linux desktop
Liens et autres
- Extensions de Gnome http://extensions.gnome.org
- eBooks sur enseignant:Documents
- explication du swap https://www.redhat.com/en/about/blog/do-we-really-need-swap-modern-systems