Abscence
Par Arthur Milchior le dimanche 26 juillet 2009, 23:15 - Travail - Lien permanent
Je voulais juste vous prévenir que je serai absent quelque temps.
En effet, mon programme bug parfois, de manière aléatoire, sur de gros exemple. J'ai actuellement un fichier de log de 36031 linges à parcourir.
Je devrai avoir fini d'ici 2011, 2050 au plus tard.
A la prochaine
Commentaires
Bon courage donc, ou bonne chance (avec 36031 lignes, je pense que tu en auras besoin).
Bonne nuit, et bonne chance!
Moi, ce sont les moments que je préfère... Bon courage !
Enizia, merci
Comme je sais que tu es garagiste (ahem, tousse tousse), je suppose que tu n'as pas de tel problème.
En réalité je ne lirai pas tout heureusement.
N'empêche, il y a des truc étrange qui se passe.
@N:Sérieusement, j'avoue qu'un énorme log ça me met pas en joie.
J'ai recréé le log jusqu'à n'avoir que la partie intéressante, et fort heureusement, j'ai fini avec seulement quelques centaine de ligne, là j'ai pu vraiment débugger.
Sinon, je suis fou de joie, j'ai pratiquement multiplié par 2/3 le temps d'éxecution :D
Ouais mais justement, tu as un log. Et mine de rien, écrire des trucs, que ce soit dans une console ou un fichier, ça prend ééééénormément de temps. Une fois virées toutes tes lignes de débuggage, ça ira plus vite.
Wlad, si tu multiplie par une valeur inférieure à 1, ton temps diminue. Et 2/3<1
J'ai fini par trouver l'erreur, et c'était l'erreur qui me prenait 50% du temps en plus, pas tellement le log.
En fait, j'utilise du partage maximale, et comme un imbécile je hashais sans arrêt mes termes, alors que grace au partage maximale, alors même que la valeur de hash était stocké comme paramètre de mon terme.
Ah, deux tiers ! J'avais compris "2 ou 3".
Snif, le fichier de log que j'ai sous les yeux fait 81445320 lignes (il y en a pour ~3Gio de données).
Combien de temps, ô grand maître, me faudra-t-il selon vous pour le parcourir ? :(
Juste le temps d'écrire un script qui ne retient que les lignes pertinantes
Voir si c'est un peu plus compliqué, du genre d'un log qui décrit un arbre, le temps d'écrire un parseur
(Et dans ce cas mon truc serait, en utilisant scheme ou tout autre lisp, il n'y même plus besoin de parser, les parenthèse font tout pour toi!)
Sinon, enchanté Isleymeyocu, puis-je te demander comment tu as connu ce blog?
C'est un log qui décrit un ensemble (2 millions) d'événements et l'ensemble des appels de fonctions correspondants.
Mais effectivement, écrire un petit script devrait faire l'affaire. Cela dit, ne pouviez vous pas appliquer la même technique pour vos 36031 linges ? (ça doit faire une sacré lessive ça d'ailleurs)
De même, enchanté. J'ai connu ce blog par l'entremise d'un collègue à l'IRISA, si cela peut satisfaire votre avide curiosité.
Pardonnez mon égarement grammatical dans le commentaire précédent, il fallait bien évidemment lire "une sacrée lessive" et non pas "une sacré lessive". Toutes mes plus plates excuses.
En fait, j'ai commencé par recréer le log en y mettant moins de chose.
Je suis descendu à quelque centaine de ligne, j'écrivais ça en rigolant un peu... (et j'étais un peu desespéré aussi)
Je ne crois pas connaitre qui que ce soit à l'IRISA, à vrai dire, avant de googler ce nom, je n'avais jamais entendu parler de l'IRISA. Je suis assez surpris, mais ça me fait plaisir qu'on me conseille :D
Ca me gène aussi un peu.
(Et surtout, ça me surprend que ce soit ce billet qui soit commenté, qui est loin d'être le plus passionant)