Pages : 1 - 2 - 3 - 4 - 5 - 6 - 7 - 8
Progz : IRCParser 0.1beta released
En cette fin de semestre et dans le cadre de l'UV IC05 (à UTC), je vous présente la première version publique du projet sur lequel j'ai travaillé : IRCParser (actuellement beta1).
Il s'agit d'un logiciel visant à convertir des logs IRC (sous différents formats), en données graphiques, exploitables en EDA.
Grâce à ce logiciel, il est par exemple facile de retrouver les liens entre les différents channels d'un même serveur, mais aussi d'obtenir des graphiques sur les activités (horaires et journalières) des utilisateurs, des channels, et du serveur. Les exports se font pour le moment au format GDF pour les graphes, au format PNG pour les graphiques. Le module de log en entrée est pour l'instant compatible avec le format de log d'#instantbird (module Perl pour mozbot pas encore publié car pas prêt) et du client IRC irssi (avec options par défaut).
Graphe de quelques channels IRC sur Freenode (logs au format irssi fournis par madprog, merci à lui)
- Rouge à droite : #gcu
- Jaune à droite : #.g3ek
- Vert au centre : #python
- Orange en haut : ##javascript
- Mauve à gauche : ##java
- Cyan en bas : #math
- Bleu en bas : #archlinux
- Gris : #osdev
- Marron : #ogre3d
Chaque noeud représente une personne, et on colore les personnes selon le channel dans lequel elle est le plus active. Un arc entre deux personne signifie que ces personnes ont parlé ensemble (déterminé par heuristique), ainsi on peut observer les "liaisons" entre différents channels.
Zoom sur quelques channels
Tout comme il existe NaviCrawler pour cartographier le web, il semblait intéressant d'avoir le même genre d'outils pour cartographier les relations entre les utilisateurs d'IRC, c'est de là qu'est venue l'idée.
Le format GDF a le mérite d'être simple à comprendre, bien que vite limité, il est lisible grâce au logiciel Gephi. Il est prévu d'améliorer le module de génération de graphes afin de pouvoir exporter dans les formats GraphML (Standard, lisible par la plupart des logiciels de graphe), ainsi que format Gephi qui offre des possibilités intéressantes.
Graphique d'activité par tranche horaire sur le channel #.g3ek
Le programme a été écrit en Perl, qui offre de nombreuses facilités pour le traitement de données textuelles, il est donc compatible avec Windows, GNU/Linux et Mac, sous réserve d'avoir installé les bonnes bibliothèques (un article détaillant la procédure sur windows viendra). IRCParser est actuellement toujours instable, en version beta, je vous incite fortement à lire le fichier README pour découvrir des fonctionnalités (telles que la fusion de pseudos), qui ne sont pas décrites dans cet article.
L'architecture modulaire rend très simple l'ajout de modules (support de nouveaux formats de logs, ajout de traitements donnant des fichiers en sortie, ...).
Vous pouvez télécharger les dernières sources sur le dépôt Mercurial : https://hg.bezut.info/IRCParser/, ou bien sur mon site de projets : http://dev.bezut.info/p8/IRCParser.
De nombreuses améliorations sont envisagées, il manque juste le temps pour les réaliser, mais ça viendra. Vous pouvez également télécharger un exemple de log (tirés d'#instantbird), ainsi que les slides de la présentation.
End of the semester, and here is a project done in the UV IC05. I present the first public version of the project I worked on: IRCParser (beta1 now). It is a simple software which aim is to convert IRC logs (in various formats) into graphical data, usable in EDA.
Thanks to this software, it is for example easy to draw links between several channels in a common IRC Network, but also easy to get charts on user, channel and server activity. Exports are for now in GDF for graphs and PNG for charts. The Input modules can handle Irssi log format, and an other format (the one used on #instantbird), which is part of a mozbot Module (and not ready yet for release).
Graph of some channels on Freenode (from irssi format by madprog, thanks madprog!)
- Red on right: #gcu
- Yellow on right: #.g3ek
- Green in center: #python
- Orange on top: ##javascript
- Violet on left: ##java
- Cyan on bottom: #math
- Blue on bottom: #archlinux
- Grey: #osdev
- Brown: #ogre3d
Each node represents a people, and we add color to people depending on in which channel the people is the most active. An edge between two people means that these people have already talked together, thus we can see "links" between the different channels.
Zoom on some channels
There is already NaviCrawler to map the web, and it seemed interesting to have the same kind of tool to map relationship between people on IRC, that is where is idea come from.
The GDF Format is very simple to understand - even if limited -, it is readable with Gephi. It is planned to enhance the Graph generation module to handle GraphML (Standard) and Gephi format as well, which has many interesting features.
Graph of activity by time slot on the channel #.g3ek
This program was written in Perl, which is very convenient for text parsing. As a result it is compatible with Windows, GNU/Linux and Mac (if you have installed the correct libraries). IRCParser is still instable, in beta right now, I advise you to read the README file if you want more information on some features (as for nick merging).
This program is also very Modular, so that it is very easy to add Modules (handle new log format, adding some filters to draw new charts, ...).
You can download the last sources on the Mercurial repository: https://hg.bezut.info/IRCParser/, or the current version on my projects website: http://dev.bezut.info/p8/IRCParser.
Several enhancements are planed, but I just have not enough time to do them all in the near future, but it surely will come later. You can download a log example (from #instantbird), and the slides of my presentation.
Posté par Romain le 8 Janvier 2010 à 14h44 - Commenter
Progz : IRCParser gives its first results!
Date associée à ce récit : 28 Décembre 2009 à 04H00
This article could also be in "School" or "Programming", but since my tests are made on #Instantbird using Instantbot... 
I finally got it working on the last 150 days on #Instantbird, and here are the early results:
The bigger the node is, the more this person has connections with other people (click to enlarge in SVG)
Of course the results are experimental, a lot of other stuff is coming soon on this project.
To generate this graph I use Gephi, IRCParser exports with GDF format, but I plan to export to GraphML, so that we are compatible with more Software. IRCParser will be eventually released as a Free Software when it's ready , and of course will be usable for various log formats, and various output data.
Posté par Romain le 28 Décembre 2009 à 04h49 - Commenter
Progz : Xinb 1.2 est sorti, Xinb 1.5 se dévoile
Sans tambour ni trompette, Xinb 1.2 est sorti, après être resté longtemps en Release Candidate (pour rappel Xinb c'est juste cette plate forme de blog sur laquelle vous lisez ces lignes).
Mais à peine sorti, son successeur se profile (à long terme 
), voici les caractéristiques qu'il devrait arborer :
- Articles
- Sauvegarde automatique (à la gmail) d'un article lors de son écriture.
- Formulaire d'upload d'images / sons / choses dans la rédaction d'un article.
- Formulaire de Recherche.
- rendre le champ "Dossier associé dans l'album*" plus user-friendly (popup + choix du dossier).
- TextBox AutoExpand lors de la rédaction d'un article.
- BBCode Like (actuellement HTML).
- Commentaires
- Édition des commentaires possible (avec système de versioning ?).
- Améliorer la CSS dans les commentaires.
- Album
- Formulaire d'Upload de fichiers.
- Administration de gestion de droits intuitive pour l'album photo (fichiers txt ou BDD, mais plutôt BDD).
- Divers
- Liens en bas à gauche à gérer par BDD.
- Mise en cache du dernier Twit pour éviter les requêtes à chaque chargement de page.
- (Système de traduction ?).
- Compteur inutile en bas à gauche pour les non admins.
- Meilleure intégration dev/xinb/album.
- Exports SQL plus intelligents de la BDD.
- Formulaire de demande d'inscription avec validation par l'admin.
- Confirmation de suppression d'articles et de commentaires + requêtes post ou XHR au lieu d'un GET.
Posté par Romain le 15 Décembre 2009 à 04h29 - Commenter
Divers : You are here
Chaque noeud représente un site web (ou un compte twitter dans le cas de twitter), et chaque arc représente un lien http
- Rouge : Mozilla
- Bleu : Twitter
- Vert : SourceForge
- Jaune : Wikipedia
Posté par Romain le 2 Décembre 2009 à 22h15 - Commenter
Divers : It was called ... RTGames
Il y a fort longtemps dans une contrée pas si éloignée, j'étais webmaster d'un site appelé RTGames.
RTGames a vécu de 2002 à 2007 environ, et était à la base un site "entre amis" pour le partage d'informations autour des jeux vidéos, et plus précisément de l'émulation. Commencé avec Word (si si !), puis Dreamweaver, puis enfin le bloc note / emacs / vi / kate ... ce site évoluait à la mesure de mes connaissances en webdev, et sa population également.
C'est ainsi qu'au fil des années le nombre de visiteurs a très rapidement grimpé, pour atteindre près de 2000 visites uniques par jour dans sa meilleure époque, proposant des centaines de roms (c'est comme ça qu'on appelle des fichiers de jeux) GBA, GB, NeoGeo, N64, SNES, NES, et bien d'autres. Il accueillait aussi une section de tests de jeux vidéos, "comme les plus grands sites", avec des tests réalisés en majeure partie par Zitan2, qui est devenu un ami IRL .
Ce site disposait aussi d'une section RPG Maker, logiciel permettant la création de RPG de manière très simple, avec de nombreuses ressources à dispositions (images, maps, etc ...), section animée par Aragorn62 alias Loack62 alias Kiwei, et depuis devenu également ami IRL (il est même dans la même école que moi !).
Ce site très visité m'a donné l'occasion de faire de nombreux tests statistiques en tout genres, sur une population constituée en majeure partie de gens très jeunes (moyenne d'âge de 14 ans). En voici quelques exemples :
Répartition des User Agent entre décembre 2004 et Juillet 2006
Répartition moyenne des pages vues en fonction de l'heure de la journée
C'était une expérience très intéressante, par exemple de constater que des gens dans mon lycée allaient sur ce site d'eux même sans savoir que j'en étais l'auteur. Ça m'a également apporté des amis et quelques connaissances, une expérience dans la publicité sur internet (comment attirer de nouveaux visiteurs ?), et de grandes compétences techniques.
Malheureusement tout a une fin, et RTGames s'est éteint courant 2007, il devenait très lourd à gérer, le code était vraiment crade, le nombre de visites important posait des problèmes à mon hébergeur, le spam envahissait les bases de donneés, et bien d'autres soucis encore.
Ceci dit ça reste une très bonne expérience !
A long time ago, in a not so far away land, I was the webmaster of a site called RTGames.
RTGames lived from 2002 to 2007, and was at the beginning a site for my friend and I to share information about Video Games, and more especially emulation.
I began with Word (yeah ...), then Dreamweaver, and at last with a notepad / emacs / vi / kate... This site evolved to the extent of my knowledge in Web Development, and its population too.
That's how year after year the number of visitors grew quickly, to reach 2000 unique visitors/day in its best.
We offered hundreds of roms (that's how we call game files), GBA, GB, NeoGeo, N64, SNES, NES, et many others.
There were a section for video game tests, like in "big video games sites", with tests done in most part by Zitan2, who has become a friend IRL .
There were also a section on RPG Maker, a software designed to create RPG without programming knowledge. We had also many resources (character tiles, maps tiles, sounds, etc...). All this stuff was leaded by Aragorn62 alias Loack62 alias Kiwai alias ... ans now a good friend IRL (we are in the same school !).
This very popular site gave me the opportunity to do stats of all kinds, on very young people (average of 14yo). Here are some examples: (sorry, the graphs are in French)
Evolution of browsers types on RTGames from December 2004 to Juy 2006
Distribution of average page views according to the time of day
It was a very interesting experience, for example I saw one day a student in my High School going to this site, and he didn't know that I was its authors. It brought me some friend, some contacts, an experience in advertising on the Internet (how to get new visitors ?), and great technical knowledge.
Unfortunately, RTGames "died" in 2007, it was very hard to manage, the code was very dirty, the high amount of visitors was becoming an issue for my host, spam was growing up in databases, and a lot more ...
Anyway it was a great experience, and I still can run it on Localhost 
.
Posté par Romain le 27 Octobre 2009 à 18h37 - Commenter
Divers : Direct Energie !
Date associée à ce récit : 23 Septembre 2009 à 10H00
C'est une histoire banale, en ce 23 septembre, je me lève vers 10h, ayant cours l'après midi, mon appart n'est pas dans un état ultra clean, je me réveille tranquillement, et on sonne à ma porte.
Mais qui ça peut bien être .. un voisin pour le partage du Wifi ? un colis surprise du facteur ? Je regarde par le Judas, rien.
A peu près habillé, j'ouvre la porte, et je vois débarquer deux bonhomme cravatés, l'air niais, et le sourire aux lèvres ... mauvaise pioche.
Ils se présentent comme représentants d'EDF ("vous savez comme ceux qui relèvent les compteurs"), et ils m'annoncent que je suis peut-être éligible à une baisse de tarif pour mon électricité de 10% !
Et d'ailleurs je cite : "Mais comme vous payez tous les deux mois ça fait 20%, 2 fois 10!".
Mouais ... et ta connerie elle est doublée aussi ? (pensée véridique).
J'ai préféré conclure sur une simple erreur d'inattention, pour ne pas le mettre mal à l'aise et parce que de si bon matin je ne me sens pas de taille à lutter contre eux dans des "détails" mathématiques.
Donc il me demande une facture, je lui en tends une, ne comprenant toujours pas vraiment de quoi il retourne, et il m'annonce fièrement que je suis éligible !
Comment procéder ?
Et bien c'est très simple, si je donne mon accord, au lieu d'un logo "Bleu Ciel" en haut de ma facture, j'aurai "un petit soleil", ce qui signifie que je paye mon électricité moins cher, car "elle provient à plus de 20% d'énergie renouvelable", alors que mon ancienne l'était à 9% (de mémoire).
Et pour justifier tout ça, il part sur la taxe carbone, me disant qu'à cause de la taxe carbone, l'électricité est plus chère quand elle contient moins de renouvelable.
Je lui demande alors ce que la taxe carbone vient faire là dedans, l'énergie étant produite à plus de 75% par le nucléaire, qui ne rejette pas de carbone...
A cela il répond qu'il s'agit quand même d'une taxe carbone... Bon, admettons, après tout il doit savoir de quoi il parle hein ...
Puis il me tend les papiers, que je lis (assez rapidement, je suis pressé de les voir partir !).
Les moments magiques de social seront inoubliables ... "vous êtes pas en cours ?" (bah non puisque je suis chez moi ... t'es un peu con toi non ?). "Vous êtes étudiant en quoi alors ?", ce à quoi je répond quand même "Informatique" d'un air détaché, et là exclamation des intéressés "Ah bah ça se voit !", à la vue de mes 3 PCs et 3 écrans dont le gros monstre de 24". "Vous devez être tranquilles alors vous pour tout ce qui est virus, vous êtes dans le truc".
O M G ... à l'aide 
Petit à petit ils se présentent progressivement comme des partenaires de EDF sous mes questions suspicieuses.
Puis, l'envie de les voir sortir rapidement prend le dessus, je lis rapidement le contrat (C'EST MAL), je signe, et je leur donne les trucs dont ils ont besoin (une facture et un RIB).
Évidemment ils repartent, le sourire aux lèvres et me lancent un "on vous appellera pour vérifier les informations et vous demander comment ça s'est passé avec nous.".
Je n'ai appris que tard le nom de leur société, juste avant de signer, Direct Energie, et je les croyais sur leur supposé partenariat avec EDF.
Puis, seul, disposant du contrat, je le lis à tête reposée, et tente de m'informer un peu plus sur tout ça, des doutes persistent en moi. Google est mon ami, et un sentiment de remord commence à me prendre.
Je lis qu'ils ont une très mauvaise réputation, surtout pour leur côté marketing agressif.
Quelques heures après, j'envoie par lettre recommandé avec AR le bon d'annulation de commande, fermement convaincu d'avoir fait une connerie (je suis faible 
).
Leurs tarifs sont peut être avantageux, je n'en sais rien et honnêtement je m'en moque, leur pratique marketing est à l'extrême opposée de ce que je respecte, je suis furieux.
Quelques jours plus tard une dame me téléphone pour vérifier les informations avec moi, je lui annonce que justement elle tombe bien, j'ai renvoyé le bon d'annulation.
Elle me demande sous quel raison, je lui réponds en toute sincérité que je n'étais pas bien réveillé, que les représentants m'ont totalement embrouillé en prétextant un lien avec EDF, et que j'ai eu de nombreux retours négatifs dans mon entourage. Sur un air dépité elle m'indique que les papiers fournis me seront retournés par la poste, et que l'annulation est effective.
Ainsi qu'un "Je vous souhaite quand même une bonne soirée ...", qu'elle a eu beaucoup de mal à sortir.
Enfin dernier épisode, j'ai reçu ce matin les papiers que je leur avait prêtés. L'affaire est close. 
En conclusion, je pense que je ne signerai plus jamais quelque chose sans avoir eu l'occasion de lire le contrat entièrement à tête reposée, qu'il n'en plaise aux commerciaux (ils ne méritent pas mieux que d'êtres foutus dehors !).
Leurs méthodes de vente sont clairement scandaleuses, je dirais presque à la limite de la légalité. De nombreux voisins se sont fait avoir aussi dans mon immeuble, et je doute qu'ils aient tous eu l'idée de relire et de se renseigner sérieusement après coup.
Cette société mérite sa mauvaise réputation, le principe même de démarchage à domicile étant déjà limite, mais là c'est clairement du foutage de gueule.
Et bon dieu où ont-ils été pêcher des abrutis pareil ! "10% sur 1 mois ça fait 20% sur deux mois" !!!! La "taxe carbone sur le nucléaire" ?
Comment peut-on avoir bonne conscience après avoir vendu cette merde à des gens naturellement plus "faibles" (je pense aux nouveaux étudiants qui viennent d'emménager il n'y a même pas un mois, ou aux personnes âgées par exemple).
Je suis furieux, autant contre moi que contre cette société.
Posté par Romain le 29 Septembre 2009 à 00h47 - 1 commentaire
Twitter...