En cette fin de semestre et dans le cadre de l'UV IC05 (à UTC), je vous présente la première version publique du projet sur lequel j'ai travaillé : IRCParser (actuellement beta1).
Il s'agit d'un logiciel visant à convertir des logs IRC (sous différents formats), en données graphiques, exploitables en EDA.

Grâce à ce logiciel, il est par exemple facile de retrouver les liens entre les différents channels d'un même serveur, mais aussi d'obtenir des graphiques sur les activités (horaires et journalières) des utilisateurs, des channels, et du serveur. Les exports se font pour le moment au format GDF pour les graphes, au format PNG pour les graphiques. Le module de log en entrée est pour l'instant compatible avec le format de log d'#instantbird (module Perl pour mozbot pas encore publié car pas prêt) et du client IRC irssi (avec options par défaut).

Graphe de quelques channels IRC sur Freenode (logs au format irssi fournis par madprog, merci à lui)

• Rouge à droite : #gcu
• Jaune à droite : #.g3ek
• Vert au centre : #python
• Orange en haut : ##javascript
• Mauve à gauche : ##java
• Cyan en bas : #math
• Bleu en bas : #archlinux
• Gris : #osdev
• Marron : #ogre3d

Chaque noeud représente une personne, et on colore les personnes selon le channel dans lequel elle est le plus active. Un arc entre deux personne signifie que ces personnes ont parlé ensemble (déterminé par heuristique), ainsi on peut observer les "liaisons" entre différents channels.

Zoom sur quelques channels

Tout comme il existe NaviCrawler pour cartographier le web, il semblait intéressant d'avoir le même genre d'outils pour cartographier les relations entre les utilisateurs d'IRC, c'est de là qu'est venue l'idée.
Le format GDF a le mérite d'être simple à comprendre, bien que vite limité, il est lisible grâce au logiciel Gephi. Il est prévu d'améliorer le module de génération de graphes afin de pouvoir exporter dans les formats GraphML (Standard, lisible par la plupart des logiciels de graphe), ainsi que format Gephi qui offre des possibilités intéressantes.

Graphique d'activité par tranche horaire sur le channel #.g3ek

Le programme a été écrit en Perl, qui offre de nombreuses facilités pour le traitement de données textuelles, il est donc compatible avec Windows, GNU/Linux et Mac, sous réserve d'avoir installé les bonnes bibliothèques (un article détaillant la procédure sur windows viendra). IRCParser est actuellement toujours instable, en version beta, je vous incite fortement à lire le fichier README pour découvrir des fonctionnalités (telles que la fusion de pseudos), qui ne sont pas décrites dans cet article.
L'architecture modulaire rend très simple l'ajout de modules (support de nouveaux formats de logs, ajout de traitements donnant des fichiers en sortie, ...).
Vous pouvez télécharger les dernières sources sur le dépôt Mercurial : https://hg.bezut.info/IRCParser/, ou bien sur mon site de projets : http://dev.bezut.info/p8/IRCParser.

De nombreuses améliorations sont envisagées, il manque juste le temps pour les réaliser, mais ça viendra. Vous pouvez également télécharger un exemple de log (tirés d'#instantbird), ainsi que les slides de la présentation.

Il se prénome 'instantbot', il est né hier, quelques complications et dépendances, mais il est bien vivant . Dérivé légèrement de mozbot, le bot IRC utilisé par Mozilla sur irc.mozilla.org.
En version 2.7CVS, il a déjà appris beaucoup de choses de ses quelques modules en perl. Les visites sont autorisées sur irc.mozilla.org, channel #instantbird.
Comme son nom l'indique si bien il sera dévoué à ce projet, pour répondre aux questions des utilisateurs, donner des informations...
Deux modules très intéressants pour nous :

• RDF, lecteur de flux RSS, légèrement modifié pour afficher "Check-in: <url> - <Nom de la personne> - <titre>" sur le flux HG et une façon plus normale pour le reste.
• Bugzilla, qui marche très bien quand il s'agit de reconnaitre les bugs, mais pour les avertissements il a fallu trouver une solution (les avertissements se font par des mails bruts envoyés sur l'entée standard d'un script).
  N'ayant pas la possibilité de redémarrer mon routeur à distance (freebox ...) pour autoriser le port 25, nous avons créé une boite mail gratuite, et grâce à un accès pop toutes les 90 secondes suivi d'un filtrage et d'un envoi sur le script, on arrive à s'en sortir quand même avec un délai raisonnable entre l'envoie du mail et la diffusion du message sur IRC.
  Je n'avais jusque là rien compris à l'utilisation de postfix, fetchmail, procmail, me voilà servi .

Ce projet était dans ma tête depuis bien longtemps, faire un site totalement nouveau pour y stocker tout mes projets. J'ai profité de la sortie de Firefox 3.5 pour le réaliser en m'amusant un peu avec le (X)HTML5, et les nouvelles propriétés CSS, tout en appliquant des règles strictes au niveau de la base de données (jusque là je n'avais jamais exploité les techniques "avancées" des SGBD telles que les triggers, les events, les clés étrangères, etc...
C'était donc un projet à la fois pour faire quelque chose "au top", et pour remplacer le vieux site de scripts PHP .

J'en ai profité également pour remettre au goût du jour des scripts comme APSN et APSN', en remettant la CSS plus aux normes, quelques petits changements qui affecteront sans doute positivement les performances, etc...
Vous pourrez également y retrouver mon projet de LO11 en C++, un programme de résolution de sudoku dont j'avais déjà parlé sur ce blog, le code source du site sur lequel sont disponibles ces projets, ainsi que Xinb, le code source de ce blog.

Il reste encore quelques scripts ou quelques programmes dans les cartons, mais qu'il faut retravailler pour les rendre à peu près publiables, et aussi définir ce qui peut être intéressant à publier de ce qui n'a que peu d'intérêt.

http://dev.bezut.info