feedsmap

Map of french book blogs

2009-06-25T07:15:00.000-07:00

A poster on "book blogs". I like this : a short selection ( ~ 100, the same amount I'try to visualize), a cluster effect, (which structure the space) and few bridge blogs that are highlighted.

It's look like I want to do. But building such a representation automatically is no so easy. To handle that I'm trying to connect my perl scripts with R to work on the map construction by my self. And particularly on the automatic clustering. I work on algorithm from Raftery, Hoff,... on social latent space.

For the moment, I've only try some simple thinks such asy multidimensional scaling (MDS) using the shortest path distance of the graph.

You can obtain something like that with as few as 3 lines of R. MDS is used to position node; mixture model being then use to find the cluster.

It's just a try and there is a lot to do to have something good enough bur it seems to me that R suited well for what I want to do.

reprise toute douce et moteur de recherche de feeds

2009-04-24T05:56:00.000-07:00

Un petit billet après une longue pose. J'ai en effet délaissé quelque peu ce petit projet pour m'occuper de mes autres moutons. J'espère pouvoir dégager de nouveau un peu de temps pour continuer prochainement.

Je n'ai donc pas fait grand chose depuis mon dernier billet qui date d'un mois !!! Et je n'ai donc pas grand chose a raconter. Je me contenterait donc de relayer grâce à ce billet l'annonce d'un nouveau moteur que j'ai rapidement essayé et qui m'a parut intéressant feedsmil.

Ce moteur m'intéresse tout d'abord car il ne s'attaque pas au web mais aux flux et deuxièmement car il propose une interface qui me semble pertinente.

Possibilité de choisir la profondeur à laquelle on envoie le filet de pêche grâce à un double curseur placé sous la boite de recherche et possibilité d'affiner les résultats toujours à l'aide de curseur associé a des expressions extraite de l'analyse des résultats obtenus, cela ne doit surement pas être pertinent tout le temps, mais pourquoi pas.

A short post after a big pause.

2009-04-24T00:51:00.000-07:00

A short post after a big pause. I've neglected this little project since a while for doing other stuff. I hope to have a some time to work on this in the following month.

I've done anything since my last post, one month ago !!! And I've therefore nothing to tell on the project. I will therefore only relay the launch of a new search engine, that I've rapidly tested and found interesting feedsmil.

This search engine is interesting because it has an interesting starting point, It does not index web-pages but RSS feeds and furthermore the interface is also a little bit new.

You can choose the depth at which you send our fish-net thanks to a double cursor under the search box. You can also refined the results thanks to other cursor linked to sentences extracted from the current search results. I thinks this sentences are not alway meaningfull, but why not.

blog bd

2009-03-25T06:36:00.000-07:00

Une carte d'une grosse communauté : bds, illustrations ... (full screen):

alt : blogs bd

comics blogs

2009-03-25T01:10:00.000-07:00

A map of a big community : european comics, drawings ... (full screen):

alt : blogs bd

sauvons l'université

2009-03-24T01:59:00.000-07:00

Le milieu universitaire s'agite, et le net reflète cette agitation. J'ai donc réalisé une petite carte des sites militants dans ce domaine en partant de quelques sites bien connus. J'ai modifié le code qui génère la carte, comme vous pouvez le constater. C'est en phase de test j'en reparlerai donc plus tard. (full screen):

alt : reformes

Cartographie de la blogosphere francophone du livre

2009-03-17T01:48:00.000-07:00

Un petit poster sur la thématique "blogs livres". J'aime plutôt bien le rendu, une sélection assez serré de blogs (une grosse centaines de sites, le volume que je vise aussi), un effet cluster qui permet de s'y retrouver assez rapidement, d'accélérer la navigation; et quelques sites inclassables, passerelles mis en valeur.

Cela ressemble assez à ce vers quoi j'aimerais que Feedsmap tende. Mais construire ce genre de représentation automatiquement n'est pas aisé. Pour y parvenir je suis en train de connecter mes traitements avec R pour pouvoir travailler un peu la construction de la carte moi même et en particulier travailler sur la clustering des blogs. Je commence à travailler sur les algorithmes de visualisation débouchant des travaux de Raftery, Hoff,... sur l'espace social latent.

Pour le moment j'ai juste essayé quelques trucs simples, en particulier l'utilisation de différentes versions de multidimensional scaling sur la matrice de distances construite à partir du graph (la distance utilisée correspond au plus court chemin entre deux nœuds).

Voila par exemple ce que l'on peut obtenir en deux trois lignes de R sur le graph de mes flux perso. Le multidimensional scaling est utilisé pour construire la spatialisation 2d du graph; un modèle de mélange est ensuite utilisé sur cet espace pour obtenir les clusters.

Il reste du boulot pour en faire quelques chose de bien mais R me semble en tout cas être une piste intéressante pour la partie analyse, enrichissement de données.

datamining'map

2009-02-08T12:45:00.000-08:00

Une carte sur un domaine qui m'intéresse le datamining; je suis partis de deux, trois blogs trouvés le long de mon chemin (full screen):

alt : datamining's map

lego's map

2009-02-08T12:41:00.001-08:00

Une carte sur le thème du lego, je ne pensais pas qu'il existait autant de fan inconditionnels de la petite brique, en particulier dans les pays asiatique. Je suis partis de deux HUB du domaine trouvés grâce a un amis lui aussi un peu frappé de la petite brique. (full screen):

alt : lego's map

datamining'map

2009-02-08T01:12:00.000-08:00

A map on a topics that i'm interesting in : datamining; I've started from two or three blogs found along my way (full screen):

alt : datamining's map

vincent's map

2009-02-02T07:46:00.000-08:00

Une carte construite a partir du fichier opml d'un ami dont les centres d'intérêts web portent sur la programmation rubby on rails.(full screen):

alt : vincent's map

ubuntu's map

2009-01-26T15:20:00.001-08:00

Une carte construite a partir d'un fichier opml trouvé sur le net listant des blogs liés à planet-ubuntu.(full screen):

alt : ubuntu's map

votre carte

2009-01-26T10:24:00.000-08:00

Feeds map a pour objectif d'être disponible en ligne au travers d'une interface simple permettant à l'utilisateur de soumettre son fichier opml personnel afin de construire automatiquement une carte à partir de celui-ci.

Cependant, je n'ai pas encore trouvé d'hébergement qui me convienne. La seule solution pour obtenir sa carte consiste donc à m'envoyer un fichier opml par mail afin que je génère votre carte et que je vous la retourne.

etienne.come[at]gmail.com

your maps

2009-01-26T01:14:00.000-08:00

Feeds map must be one day a online service. Using a simple interface users will upload their opml files and a map will automatically be constructed.

However, i did not have found any providez that suited me well. The only way to have your own map is therefore to send me your opml files by e-mail. I will run the script and send tou the results when i will have enough time.

etienne.come[at]gmail.com

navigateurs

2009-01-25T07:52:00.001-08:00

La carte navigable que feeds map construit, utilise la technologie svg+javascript, les différents navigateurs présents sur le marché ne gère pas tous de la même manière ces formats et le résultats peut donc parfois être décevant.

Pour le moment j'ai testé le résultat sur firefox v3.03 et chrome. Sous chrome le rendu est plutôt bon et l'interface répond bien; sous firefox j'ai parfois rencontré des problème de lenteur de réaction. Nous verrons ce que cela donnera avec la prochaine version.

suggest rss

2009-01-25T06:26:00.001-08:00

Un nouveau service dans la veine de ce que j'essaye de faire mais avec une approche différentes basés sur l'analyse de données d'usage http://www.suggestrss.com/, comme beaucoup d'autre service de suggestion de flux. A priori cela à l'air intéressant puisque le site n'a pas réussi a tenir la demande.

A partir d'un fichier opml c'est à dire à partir des même données d'entrées que mon script ce service propose une liste de blogs pouvant intéresser l'utilisateur. Cependant cette liste de propositions est construite en analysant les lectures d'autres utilisateurs aux profils similaires, alors que j'utilise les liens présents dans les pages auxquels l'utilisateur est abonnés.

Autre différence il ne semble pas y avoir de volonté de spatialisation visualisation des résultats.

feeds map beta

2009-01-24T12:13:00.000-08:00

Feeds map est un script que je développe permettant de visualiser un ensemble de flux rss grâce aux relations que ceux-ci entretiennent.

Les "cartes de flux" que ce script génères sont construites automatiquement à partir de fichiers opml. Ces cartes ont un double objectif :

vous faire découvrir de nouvelles sources d'informations pertinentes;

vous permettre de faire découvrir vos lectures à d'autres personnes.

Ces cartes sont construite en parcourant internet à partir de vos blogs pour trouver de nouvelles sources d'informations et construire un graphe décrivant les connexions existantes entres les différents blogs.

Les différents nœuds des graphes construit par feeds map correspondent donc à des sites web permettant de s'abonner à leurs contenus via rss ou atom. Les nœuds en noir sont directement issus du fichier opml ayant servi à construire la carte. Les nœuds gris sont quant à eux des propositions de sites qui entretiennent des liens privilégiés avec les sites de départs et méritent donc peut être le détour.

Vous pouvez bien sûr naviguer grâce aux cartes construites par feeds map les noeuds sont en effet cliquables et vous permettent donc d'utiliser celles-ci pour naviguer autour de vos propre lecture ou dans l'univers des lectures d'un autre internaute.

Interface

2009-01-24T02:50:00.001-08:00

En ce qui concerne l'interface de la carte, celle-ci est composée de deux parties, la carte en elle même et l'outil de navigation en haut a droite. Cet outil permet de visualiser le positionnement et le niveau de zoom courant grâce a une minimap. Le niveau de zoom peut être changé de deux manière en utilisant le slider situé a gauche de la minimap ou le bouton [+] permettant de définir un nouveau rectangle de visualisation. Le centre de la carte peut quand à lui être modifié grâce au bouton main ou au bouton X. Enfin, le bouton F permet de revenir a la visualisation initiale sans zoom et le dernier bouton en bas de re-passer en mode navigation (nœuds cliquables).

Feeds map beta

2009-01-24T01:21:00.000-08:00

Feeds map is a short script that I'm developing. It enables the visualization of the relation between a set of RSS feeds.

The feeds map build using this script are automatically build using opml files. They have 2 main goals :

Enable you to find new meaningful feeds;

give a visual representations of your readings for other peoples.

These maps are build by spiding the web starting form your readings to find new feeds and build the graph describing the links between all the found blogs.

The node of the graph are websites offering subscribing services (via RSS or atom). The back node are your readings found in the opml file. The gray node are proposal of interesting sites linked to your lectures.

You can navigated inside the map, the node being clickable.

etienne's map

2008-12-22T06:25:00.000-08:00

Voila la carte de mes flux rss perso. D'un point de vue thématique blog bd, blog littérature, blog technologie, blog cartographie sont au menu de cette carte. (full screen):

alt : etienne's map

quelques petites explications...

2008-12-22T05:28:00.000-08:00

Le script est codé en perl, il prend en entrée un fichier opml, parse celui-ci, récupère les urls des flux auxquels le possesseur du fichier est abonnés et télécharge les pages html associées à ces flux. Celles-ci sont ensuite parsées a leurs tour pour en extraire les liens. Une fois ceci fait pour l'ensemble des flux, un graphe est construit grâce à ces liens, celui-ci contient l'ensemble des flux de départs ainsi que toutes les pages trouvées à partir de ceux-ci.

Une première sélection est réalisée sur ces nouvelles pages : toutes les pages qui ne sont pointées que par un seul flux de la liste de départ sont supprimés du graphe ce qui restreint énormément le nombre de site trouvés. Une fois cette première liste de propositions établie les pages correspondantes sont à leurs tour téléchargées pour vérifier que celles-ci permettent de s'abonner via rss ou atom, si ce n'est pas le cas celles-ci sont supprimées. Enfin, un dernier détails heuristique d'importance, une black liste de site a forte connectivité est utilisée avant toute prise en compte d'un lien; cette black liste permet de sortir de la carte tous les sites de type google, microsoft... Enfin, tout nœud ne possédant pas de liends avec d'autres noeuds n'est pas représenté.

D'un point de vue plus technique, le script a été réalisé en perl, graphviz a été utilisé pour spatialiser le graphe (avec neato qui utilise un algorithme de type spring) et l'exporter en svg. Finalement les outils proposés sur carto.net ont été utilisés pour rendre ce svg navigable et zoomable.

gilda's map

2008-12-22T04:22:00.000-08:00

La carte de gildas un amis urbaniste. En ce qui concerne l'analyse de la carte de gildas celle-ci est largement construite autour d'une thématique forte l'urbanisme et plus particulièrement l'urbanisme en région parisienne. La carte de gildas constitue donc un excellent point d'entré pour découvrir des sources intéressantes sur cette thématique. (full screen)

alt : gilda's map