J’ai lancé un nouveau site avec un nom de domaine que je m’étais réservé (jadis). Et oui les projets mettent parfois du temps pour éclore:

Réservé le 01/10/2015 pour faire un truc sur ma ville…

Pendant un certains temps je voulais créer un bot/crawler capable de parser automatiquement les événements (quoi, quand, où) mais j’ai vite été calmé par la complexité pour extraire  ces données. J’étais parti au début avec NLTK en Python mais j’avais l’impression de partir de loin rien que pour le « quand » qui est à mon avis l’information la plus structurée versus le « où » et le « quoi ». Quand je regarde aujourd’hui certaines API de bot, il y a tout de même de belles choses en reconnaissance de texte, cependant on ne peut pas construire un crawler sur une API ($$$) il faut maitriser l’algo.

Bref, entre temps je suis revenu à une ambition plus lean startup/mvp et j’ai décidé de ne pas crawler le monde entier mais juste le site de la mairie de ma ville, et de faire un bon vieux scrapping des données qui m’interessaient le quand/quoi+où.

En une soirée, j’ai mis au point un scrappy pour collecter mes données.

Puis j’ai pris mon temps pour coder le site en Symfony 3. Découvrir Doctrine, etc; Je me suis bien aidé de Linkedin Learning, hop quelques videos et la glace était brisée.

Le but du site est simple, passer d’un mode pull où on doit aller chercher l’information à un mode push par email. Je scrappe les événements de ma ville pour en faire une newsletter hebdomadaire. Je suis parti du constat qu’à Villeneuve d’Ascq il se passe énormément de choses et que c’est dommage de passer à coté de supers événements par manque de communication. Je me suis donc fait ma newsletter des événements de Villeneuve d’Ascq à la semaine.

Au passage j’ai rajouté une carte de curiosité sur la ville. J’espère y référencer au fil de l’eau les bâtiments, les œuvres d’arts, etc qui me plaisent.

Pour conclure et pour le fun :

• Une semaine apres la mise en ligne je me suis fait pourrir mon formulaire par un bot… hop intégration de Recaptcha de Google
• Je me suis aussi fait pourrir par des utilisateurs cette fois par manque de validation de l’email (j’acceptais tout par générosité). Et hop validation d’email.
• Pour vous abonner, c’est ici : https://www.villeneuvedascq.ovh