silico.biotoul.fr
 

M1 BBS Graphes TP Dessin et Introduction iGraph

From silico.biotoul.fr

Revision as of 15:29, 12 December 2016 by Barriot (Talk | contribs)
Jump to: navigation, search

Contents

Utilisation de la bibliothèque iGraph sous R

Pour cela nous allons travailler avec le graphe ci-contre dans lequel les sommets correspondent à des gènes de différents organismes procaryotes et les liens correspondent à une relation d'isorthologie inférée entre les gènes.

Graphe des isorthologues des protéines affines de systèmes ABC de la sous-famille 1 (import de sucres) dessiné par l'algorithme de Fruchterman-Reingold

Fichiers au format edgelist :

Premiers pas

La librairie iGraph met à disposition tout un ensemble de fonctions pour le traitement et la visualisation de graphes. Nous allons utiliser aujourd'hui son interfaçage avec R. Pour la charger :

library(igraph)

Pour charger un graphe (différents format possibles : pajek, newick, ...) :

g = read.graph("Cleandb_Luca_1_S_1_1_65_Iso_Tr_1-CC1.tgr", directed=FALSE)

Consulter l'aide de la fonction (?read.graph) pour voir les autres formats supportés.


Pour l'afficher, il faut au préalable en effectuer le dessin (layout) :

# soit en une ligne en passant la fonction de dessin :
plot(g, layout=layout.fruchterman.reingold)
 
# soit en sauvegardant ce layout dans une variable :
g.FR = layout.fruchterman.reingold(g)
plot(g, layout=g.FR, vertex.size=3, vertex.label=NA)

Consulter l'aide des fonction plot.igraph et layout.fructhterman.reingold pour voir les options ainsi que les autres algorithmes de dessin disponibles.

Vous trouverez la documentation de la librairie sur le site dédié. Pour celle de l'interface R en ligne : http://igraph.sourceforge.net/doc/R/00Index.html

  • Pour obtenir la liste des sommets : V(g)
  • la liste des arêtes : E(g)


  • Quel est l'ordre du graphe ? Combien a-t-il d'arêtes ?


On peut assigner des étiquettes aux sommets : V(g)$name = vector_of_labels

Remarque : la librairie étant codée en C puis interfacée avec R, cela créé au moins un petit inconvénient : les indices en C vont de 0 à n-1 alors que en R ils vont de 1 à n.

Charger les étiquettes des sommets :

V(g)$name=as.character(read.table("Cleandb_Luca_1_S_1_1_65_Iso_Tr_1-CC1.cod")[,2])
plot(g, layout=g.FR, vertex.size=3, vertex.label=V(g)$name)

Les paramètres de la fonction plot de igraph sont décrits dans la documentation.

Il est possible de stocker de l'information sur le graphe, les sommets et/ou les arêtes avec les fonctions dédiées :

get.vertex.attribute(g, name="name")
get.vertex.attribute(g, name="name", index=10)


  • Quel est le diamètre du graphe ?
  • Lister les points d'articulation (articulation.points)
  • Longueur moyenne des plus courts chemins (sans valuation) (average.path.length)
  • Afficher sa représentation canonique (canonical.permutation) et la matrice d'adjacence correspondante
  • Lister les cliques maximales (maximal.cliques)
  • Lister les composantes connexes (clusters) avant et après suppression du point d'articulation
  • Parcours en largeur et en profondeur (graph.bfs et graph.dfs)
  • Obtenir le line graph (line.graph)
  • Arbre couvrant de poids minimum (minimum.spanning.tree)
  • Plus courts chemins : utiliser les fonctions shortest.paths et get.shortest.paths pour obtenir la longueur des plus courts chemin entre tous les sommets, ainsi que le plus court chemin entre les sommets BantA01.AAP27658.1 et HmarA01.YUFN.
  • la betweenness d'une arête est le nombre de plus courts chemins passant par cette arête. Utiliser la fonction edge.betweenness pour calculer cette valeur et l'ajouter au dessin.

Suppression du point d'articulation, extraction du sous graphe induit et affichage avant l'analyse des composantes connexes :

vids = which( V(g) != V(g)[ articulation.points(g) ])
# ou
g1 = delete.vertices(g, articulation.points(g) )
g1.layout = g.FR[V(g) != V(g)[ articulation.points(g) ],] # pour conserver le même layout que g
plot(g1, vertex.size=3, layout=g1.layout, vertex.label=V(g)$name, vertex.label.cex=.5)
clusters(g1)

Partitionnement

Pour partitionner le graphe en communautés, différentes méthodes sont disponibles. Vous allez utilisez la betweenness des arêtes pour effectuer le partitionnement du graphe. Cette méthode sélectionne les arêtes dont la betweenness est la plus importantes afin de former des communautés (clusters).

Cette méthode ne fournit pas le meilleur partitionnement : seulement le clustering hiérarchique. Il va donc falloir déterminer où couper l'arbre pour former les clusters. Pour cela, il va falloir déterminer à quelle étape du clustering hiérarchique se situe le maximum de la mesure de qualité du partitionnement (on utilisera la modularité).

# community detection with edge-betweenness
com = edge.betweenness.community(g)
par(cex=.5)
plot(as.dendrogram(com))
 
 
# find best partition
com$best_step=0
com$best_modularity = -Inf
for (i in 1:nrow(com$merges)) {
  ctm = cut_at(com, steps=i)
  mod = modularity(g, ctm)
  print(paste("step: ",i,", modularity:",mod))
  if (mod>com$best_modularity) {
    com$best_step = i
    com$best_modularity = mod
    com$membership=ctm
  }
}
 
# plot best partition
plot(g, layout=g.FR, vertex.color=com$membership, vertex.size=3, vertex.label=NA, main=paste("step",com$best_step,", modularity:",com$best_modularity))

High Dimensional Embedding

A présent, vous allez devoir implémenter l'algorithme de dessin HDE vu en cours puisqu'il n'est pas disponible dans iGraph.

On rappelle son principe :

  • calculer les plus courts chemins entre chaque paire de sommets (utiliser la fonction shortest.paths(g))
  • déterminer les sommets pivots
    • le premier est pris au hasard
    • les suivants sont sélectionnés l'un après l'autre en maximisant à chaque fois leur distance aux pivots déjà sélectionnés
  • effectuer une ACP sur les coordonnées des sommets du graphes sur chacun des axes pivots
  • effectuer la projection par rapport aux 2 ou 3 composantes principales

Sélection des pivots:

pivot_selection = function(g, n.pivots) {
	g.sp = shortest.paths(g)
	g.pivots = c( 1 )
	g.others = 2:length(V(g))
	while ( length(g.pivots) < n.pivots ) {
		p.new.i = 1 # index in g.others
		p.new.best.i = g.others[1] # intialize with index of first non pivot
		p.new.best.dist = 0
		# iterate over non pivots (g.others)
		while ( p.new.i <= length(g.others) ) {
			p.new = g.others[ p.new.i ]
			p.new.dist = 0
			for (p.old in g.pivots) { # add shortest path to each selected pivots
				p.new.dist = p.new.dist + g.sp[ p.old, p.new ]
			}
			# keep it if it maximizes distance
			if (p.new.dist > p.new.best.dist) {
				p.new.best.dist = p.new.dist
				p.new.best.i = p.new.i
			}
			p.new.i = p.new.i + 1
		}
		# add best pivot to selected pivots
		g.pivots = c(g.pivots, g.others[p.new.best.i])
		# remove best pivot from non pivots
		g.others = g.others[ -p.new.best.i ]
	}
	g.pivots
}


Comparer le résultat obtenu par rapport à Fruchterman-Reingold sur le graphe précédent ainsi que sur une grille régulière de 10x10 générée avec la fonction suivante :

lat=graph.lattice(length=10,dim=2)
# layout
lat.FR=layout.fruchterman.reingold(lat)
lat.HDE=layout.hde(lat)
# tracé
plot(lat, layout=lat.FR, vertex.size=3, vertex.label=NA)
plot(lat, layout=lat.HDE, vertex.size=3, vertex.label=NA)

Augmenter la taille de la grille (par exemple 30), et apprécier le temps pris pour le dessin par l'algorithme de FR, et par HDE.

Disposant d'une matrice de distance, il également envisageable de faire du multidimensional scaling (cf. TD de Traitement de données biologiques sur les analyses multivariées) :

# MDS Layout
layout.mds = function(g, ndim=2) {
	g.sp = shortest.paths(g)
	fit <- cmdscale(g.sp,eig=TRUE, k=ndim) # k est le nombre de dimensions
	fit$points[,1:ndim]
}
lat.MDS=layout.mds(lat)
plot(lat, layout=lat.MDS, vertex.size=3, vertex.label=NA)

Avec HDE et MDS, on peut aussi dessiner le graphe en 3 dimensions :

# grille
lat=graph.lattice(length=10,dim=2)
lat.HDE=layout.hde(lat,ndim=3)
rglplot(lat, layout=lat.HDE, vertex.size=3, vertex.label=NA)
# cube
lat=graph.lattice(length=6,dim=3)
lat.HDE=layout.hde(lat,ndim=3)
rglplot(lat, layout=lat.HDE, vertex.size=3, vertex.label=NA)

Dessin de graphes

Un arbre phylogénétique récupéré sur le site PATRIC. Télécharger au format Newick.
Toy example. Télécharger au format SVG ou Newick.

Dans cette partie, nous allons voir comment lire/écrire un arbre au format Newick. Puis, comment afficher l'arborescence avec différents algorithmes :

  • textuelle comme par exemple une arborescence de fichiers
  • graphique


Pour cela, nous allons utiliser les arbres ci-contre.


Chargement d'un arbre au format Newick

La première étape consiste donc à pouvoir charger l'arbre au format Newick dans un script python.

Pour cela, vous pouvez compléter la librairie ci-dessous qui utilise la librairie que vous avez développée au cours des séances précédentes. manipuler les arbres :

#!/usr/bin/python3
# -*- coding: utf-8 -*-
 
from pprint import pprint
import Graph as gr
 
def loadNewick(filename):
	def parseNewick(g, text):
		i=0
		stack=[]
		idx=0
		current = { 'parent': None, 'index': 0, 'id': 'root', 'length': 1.0 }
		nodes = [ current ]
		while i < len(text):
			if text[i]==' ': # skip spaces
				i+=1
			if text[i]==';': # finished add root
				gr.addNode(g, current['id'], current)
				g['root'] = current['id']
				i+=1
			elif text[i]=='(': # new child
				idx += 1
				N = { 'parent': current['index'], 'index': idx, 'id': idx, 'length': 1.0 }
				nodes.append(N)
				stack.insert(0, current['index'])
				current = N
				i+=1
			elif text[i]==',': # end of label or branch length... next child incoming
				# create previous node
				gr.addNode(g, current['id'], current)
				parent = nodes[ stack[0] ] # parent is at the top of the stack
				idx += 1
				N = { 'parent': parent['index'], 'index': idx, 'id': idx, 'length': 1.0 }
				nodes.append(N)
				current = N
				i+=1
			elif text[i]==')': # new child complete
				gr.addNode(g, current['id'], current)
				current=nodes[ stack.pop(0) ]
				i+=1
			elif text[i]==':': # incoming branch length
				# parse number
				nbText = ''
				i+=1
				while text[i] in ['0','1','2','3','4','5','6','7','8','9','0','.','E','e','-']:
					nbText+=text[i]
					i+=1
				current['length'] = float(nbText)
			else: # maybe incoming node label
				label=''
				while not text[i] in [' ',')',':',',',';']:
					label+=text[i]
					i+=1
				current['id'] = label
		# all nodes created with correct label if provided, create edges
		for n in nodes:
			if n['parent'] is not None:
				gr.addEdge(g, nodes[ n['parent'] ]['id'], n['id'], { 'length': n['length']} )
				n['parent'] = nodes[ n['parent'] ]['id'] # update parent id
			# clean up node attributes
			del n['index']
			#del n['length']
	#
	g = gr.createGraph(directed=True, weighted=True)
	g['weight_attribute'] = 'length'
	g['rooted'] = True
	with open(filename) as f: 
		text = f.readline().rstrip()
		parseNewick(g,text)
	return g
 
 
##### main #####
if __name__ == "__main__":
	print('Tree lib tests')
	print("\n####")
	print(" # loadNewick('aTree.nwk')")
	t = loadNewick('aTree.nwk')

Affichage au format texte

Ajouter une fonction pour afficher un arbre sous forme d'arborescence de fichier. Le résultat pour toyExample devrait ressembler à ce qui suit :

|- A
|  |-0.4- F
|  |  |-0.2- B
|  |  |-0.4- J
|  |  |-0.2- E
|  |  |  |-0.2- C
|  |  |  |-0.4- D
|  |  |  |-0.2- H
|  |  |  |-0.4- I
|  |-0.2- G
|  |  |-0.2- K
|  |  |-0.4- L

Écrire une procédure pour exporter l'arbre au format Newick.

Fructherman-Reingold

#!/usr/bin/python3
# -*- coding: utf-8 -*-
 
from pprint import pprint
import Graph as gr
from math import sqrt
from random import random
 
 
def layoutFruchtermanReingold(g, nb_iterations=500, cool=1.0, max_displacement=10.0, width = 800, height=600):
	"""
	The force directed layout algorithm adapted from Fruchterman-Reingold, 1991.
	"""
	layoutFruchtermanReingoldInit(g, cool, max_displacement, width, height)
	for i in range(nb_iterations):
		layoutFruchtermanReingoldIteration(g)
	# remove temp attributes
	for n in g['nodes']:
		del g['nodes'][n]['force_x']
		del g['nodes'][n]['force_y']
 
def layoutFruchtermanReingoldInit(g, cool=1.0, max_displacement=10.0, width = 800, height=600):
	"""
	Utility function (initialization) for the force directed layout algorithm adapted from Fruchterman-Reingold, 1991.
	"""
	k = sqrt(float(width)*height/g['nb_nodes'])/2 # optimal distance between 2 nodes
	fr = {}
	g['Fruchterman-Reingold'] = fr
	fr['k'] = k
	fr['cool'] = cool
	fr['canvas_width'] = width - 200
	fr['canvas_height'] = height - 50
	fr['max_displacement'] = max_displacement
	# initalize node positions
	for nid in g['nodes']:
		n = g['nodes'][nid]
		n['x'] = random()*float(width)
		n['y'] = random()*float(height)
		n['force_x'] = float(0)
		n['force_y'] = float(0)
 
def layoutFruchtermanReingoldIteration(g):
	"""
	Utility function (an iteration for nodes displacements) for the force directed layout algorithm adapted from Fruchterman-Reingold, 1991.
	"""
	# calculate repulsive forces
	fr = g['Fruchterman-Reingold']
	for v in g['nodes']:
		m = g['nodes'][v]
		m['force_x'] = float(0)
		m['force_y'] = float(0)
		for u in g['nodes']:
			n = g['nodes'][u]
			if u!=v:
				dx = m['x']-n['x']
				dy = m['y']-n['y']
				d = sqrt( dx**2 + dy**2 )
				# avoid too small distances
				if d < 0.1:
					dx = 0.1 * random() + 0.1
					dy = 0.1 * random() + 0.1
					d = sqrt( dx**2 + dy**2 )
				force = fr['k']**2/d
				m['force_x'] += force * dx / d
				m['force_y'] += force * dy / d
	# calculate attractive forces
	for u in g['nodes']:
		for v in g['edges'][u]:
			if u!=v: # do not process loops (division by 0)
				dx = g['nodes'][v]['x'] - g['nodes'][u]['x']
				dy = g['nodes'][v]['y'] - g['nodes'][u]['y']
				d = sqrt( dx**2 + dy**2 )
				force = d**2 / fr['k']
				g['nodes'][u]['force_x'] += force * dx / d
				g['nodes'][u]['force_y'] += force * dy / d
				g['nodes'][v]['force_x'] -= force * dx / d
				g['nodes'][v]['force_y'] -= force * dy / d
	# move nodes
	for n in g['nodes']:
		disp = sqrt( g['nodes'][n]['force_x']**2 + g['nodes'][n]['force_y']**2 )
		if disp > fr['max_displacement']:
			scale = sqrt( fr['max_displacement']**2 / disp**2 )
			g['nodes'][n]['force_x'] *= scale
			g['nodes'][n]['force_y'] *= scale
		g['nodes'][n]['x'] +=  g['nodes'][n]['force_x']
		g['nodes'][n]['y'] +=  g['nodes'][n]['force_y']
		g['nodes'][n]['x'] = min( fr['canvas_width'], max( 0, g['nodes'][n]['x'] ) ) 
		g['nodes'][n]['y'] = min( fr['canvas_height'], max( 0, g['nodes'][n]['y'] ) ) 
	# cooling
	fr['max_displacement'] *= fr['cool']
 
# SVG Rendering
def renderSVG(g, filename=None, width=800, height=600):
	def svgText(x,y,text): return '<text x="'+str(x+20)+'" y="'+str(y+20)+'">'+text+"</text>\n"
	def svgLine(x1,y1,x2,y2):  return '<line x1="'+str(x1+20)+'" y1="'+str(y1+20)+'" x2="'+str(x2+20)+'" y2="'+str(y2+20)+'" style="stroke:rgb(0,0,0);stroke-width:1"/>\n'
	def svgEdge(x1,y1,x2,y2): return '<path d="M'+str(x1+20)+','+str(y1+20)+' L'+str(x2+20)+','+str(y2+20)+'" style="stroke:rgb(0,0,0); stroke-width:1px; fill: none; marker-end: url(#markerArrow);"/>\n'
	def svgNode(x, y): return '<circle cx="'+str(x+20)+'" cy="'+str(y+20)+'" r="5" stroke="black" stroke-width="1" fill="white"/>'
 
	svg = '<svg xmlns="http://www.w3.org/2000/svg" version="1.1" width="'+str(width)+'" height="'+str(height)+'">\n'
	svg += '<defs>\n <marker id="markerArrow" markerWidth="13" markerHeight="13" refX="15" refY="6" orient="auto">\n  <path d="M2,2 L2,10 L10,6 L2,2" style="fill: #000000;" />\n </marker>\n</defs>\n'
	svg += '<path d="M0,0 L'+str(width)+',0 L'+str(width)+','+str(height)+' L0,'+str(height)+' L0,0" style="fill: #eee;"/>' 
	for ui in g['nodes']:
		u = g['nodes'][ui]
		for vi in g['edges'][ui]:
			v = g['nodes'][vi]
			svg += svgEdge( int(u['x']), int(u['y']), int(v['x']), int(v['y']))
	for n in g['nodes']:
		svg += svgNode(g['nodes'][n]['x'], g['nodes'][n]['y'])
		svg += svgText( g['nodes'][n]['x']+10, g['nodes'][n]['y']+5, n)
	svg += '</svg>\n'
	if filename is None:
		print(svg)
	else:
		f = open(filename, 'w')
		f.write(svg)
		f.close()
 
 
 
##### main #####
if __name__ == "__main__":
	g=gr.loadSIF('dressing.sif')
	layoutFruchtermanReingold(g)
	pprint(g)
	print('#### SVG Rendering')
	renderSVG(g)
	renderSVG(g,'dressing.svg')


Annexes

HDE
grid30x50 Fructherman-Reingold
grid30x50 HDE