Travis-CI Review

A couple of days ago I stumbled across Travis-CI, a tool for automated build tetsts of github projects. It sounded like a great idea to me, since I were very lax lately with testing builds of PCP on other platforms, so I gave it a try.

Basically Travis-CI works very simple: you create a .travis.yml file, which contains instructions to configure, build and test your github project, and you create an account on Travis-CI and activate a github project of yours. Then every time you make a commit, Travis-CI creates a fresh VM instance, checks out your latest code and runs the instructions in your .travis.yml file.

However, I had lots of problems making it work. Admittedly some of them were caused by code which either didn't compile or run on linux. This is a fat point on the plus side, because I was totally unaware of those issues. But I had much more trouble getting all the dependencies to work.

According to Travis' documentation each VM contains everything needed like gcc, perl, node.js and whatnot. But in reality you have to denote your project to a specific environment, which is C in my case. The unittests in the PCP source are driven by a perl script which needs a couple of additional modules. Their documentation stated, they use perlbrew, which I know and like a lot since I use it almost every day. Unfortunately perlbrew is not installed in a C VM. And so I had to install the perl modules "manually" (by wgetting them, untar, perl Makefile.PL, make and sudo install).

The good thing is you can do almost anything on the Travis-CI VM including root installs with sudo.  Thanks to this ability I were able to get the unittests to work. But PCP also has a python binding. This was mush more troublesome. Python itself were installed, but no headers, no python-pip, no cffi and so on. First I tried to install a package "python-cffi", which does exist according to google, but not on the Travis-CI VM. Instead I had to install the python headers, python-pip and libffi by downloading and compiling it. There's also an libffi ubuntu package available but it could not be installed because of some unspecified and unresolvable conflict. Such conflicts of binary package management tools are the very reason I left linux behind many years ago.

Well, now, 60 commits later, I've got it working:

Would I recommend Travis-CI? Definitly yes. However, there are some pros and cons I like to point out:

Pros:

  1. Each commit leads to a test build and if that fails you get notified.
  2. Pull requests lead to test builds as well, so you'll see if a patch breaks something or not.
  3. It's a free service, and a recource hungry at that. so - wow!
  4. It just works and every problem can be fixed by yourself, given you know how to do it.
  5. The Travis-CI documentation is outstanding with lots of examples.

Cons:

  1. There's only one platform available for tests: Linux (and only one distribution: Ubuntu). It maybe possible to test on MacOSX, but as of this writing only upon request.
  2. While you can choose between clang and gcc, you cannot test with different versions of the compilers.
  3. Those language specific environments make it difficult to use with a project with multiple language needs.
  4. There's no way to live test your .travis.yml file, like on a VM where you can login temporarily and initiate the test manually multiple times and tune the .travis.yml file til it works. Instead you've got to commit everything you like to try out, wait until Travis-CI tests are done, look on the site for the results and repeat the process. This iterative process comsumes a lot of time.
  5. Travis-CI is a german startup in berlin and as always with german companies they do just not respond to emails. I mailed them because of the mixed language issue outlined above, but noting came back and I had to figure it out myself like a blind one in a foreign country (at least sometimes I felt like this during the process detailed in 3.).
  6. Although they provide a Pro account for which you've to pay, I doubt the business model. Maybe the company will vanish overnight (or, worse, get sold and closed).

20.04.2015 18:36 CC0 en git opensource pcp Source Null Comment






Willkommen 08/15

Heute wies mich ein Kollege darauf hin, dass wir diese Woche die KW 8 haben, also 08/15 :)


16.02.2015 18:13 CC0 fun Geschwätz Null Kommentar






Crypt::PWSafe3 @Fedora

I bumped the version of Crypt::PWSafe3 to 1.16 and re-licensed the code under the Artistic License 2.0. This was required to be license compatible with fedora (and fully ok with me). Now someone made a RPM package of it. So it seems, people are using it, which is quite cool.


13.02.2015 18:58 CC0 en opensource perl Source Null Comment






New perl module Data::Interactive::Inspect and dbmdeep

I published a new perl module: Data::Interactive::Inspect, which provides an interactive shell which can be used to inspect and modify a perl data structure. The module is the backend for dbmdeep, a DBM::Deep command line manager.

I made a short video to demonstrate the capabilities of the module:

 

So, basically, you can use the module like a command line database client of some sort, browse the structure and change all aspects of it. There are a couple of scenarios where this capability might help.

Say, you develop a software for systems management at a customer. Your possiblities for debugging are limited, something is awkward and you need to know what the software writes to the DBM::Deep database. With dbmdeep, which uses this module, the customer would be able to look at it himself and he would even be able to remove invalid entries.

Another example: lets say you want to feed a perl software, which uses a DBM::Deep database, with data from the outside and the program you have to use is written in python. Then the python script could just generate a YAML file and use the 'dbmdeep' command line tool to import this into the database.


08.02.2015 16:59 CC0 en opensource perl Source Null Comment






Eine Tüte Mitleid für Werner Koch - Updated 08.02.2015 12:34

Bei Propublica ist ein Artikel über Werner Koch, dem GNUPG Entwickler erschienen, weil er pleite ist. Dem Artikel ist zu entnehmen, dass der Mann offensichtlich keinen Job hat und nur von den GNUPG Spenden lebt, seine Frau hat auch keine Arbeit.

Ich muss Fefe vollumfänglich Recht geben: mein Mitleid hält sich in Grenzen. Was mich am meisten daran stört ist diese unsägliche Weltanschauung, dass man für so etwas bezahlt werden müsse. Das ist Unsinn. Warum sollte der Mann für GNUPG bezahlt werden? Er hat es als Opensource und kostenlos veröffentlicht und damit hat sich Thema Bezahlung erledigt. Ja, zufälligerweise wird die Software von Hunderttausenden Menschen weltweit verwendet. Aber das ändert nichts an der Tatsache, dass es Opensource ist. Daraus ergibt sich kein "Recht auf Bezahlung".

Ich mache das so, wie Fefe es auch beschreibt: ich habe einen Job, von dem ich gut leben kann. Opensource Entwicklung mache ich in meiner Freizeit und ich WILL dafür kein Geld haben. Was viele nämlich nicht sehen, ist dass ich als Entwickler nämlich derjenige bin, der bezahlt. Ich benutze eine Menge Opensource: FreeBSD, OpenSSH, OpenSSL, Emacs, Bash, GCC, Postfix, Apache, PostgreSQL, Django, Perl, Python, FFmpeg, Xmonad, Firefox und so weiter und so fort. In jedem einzelnen dieser Projekte stecken zum Teil zig Tausende Manntage Entwicklerarbeit. Musste ich dafür was bezahlen? Nein. Aber indem ich ebenfalls Opensource Software veröffentliche, gebe ich etwas zurück. Ich leiste sozusagen meinen Beitrag. Der mag angesichts der erwähnten Giganten bescheiden sein, ja. Aber ich tue das ja primär, weil es mir Spass macht.

Das ist bei Werner Koch auch nicht anders. Er nutzt ebenfalls Opensource Software, sonst könnte er gar nicht an GNUPG arbeiten. Mit seinem Projekt leistet er seinen Beitrag, die Welt zu einem besseren Ort zu machen. Dafür gebührt ihm Dank und Ehre, ohne Zweifel. Aber Geld? Nein, auf keinen Fall.

Hinzu kommt, dass Koch schon diverse Male von hoher Seite unterstützt wurde, unter anderem von der Bundesregierung. Welcher Opensourcler kann das schon von sich behaupten. Aber weil er keinen Job hat, reicht das natürlich nicht. Dass Propublica ihn bei dem Gejammer unterstützt ist eher traurig. Laut dem Artikel hat er inzwischen diverse Sponsoren gefunden: Facebook (von denen würde ich keinen Cent annehmen) und Stripe. Bemerkenswerte Konversation mit Stripe:

Kenn White:
@stripe @gnupg no strings attached? (serious question)


Stripe:
@kennwhite @gnupg Nope.

Klar.

Auf ein Detail in dem Artikel möchte ich noch eingehen, das den zugrundeliegenden Denkfehler sehr schön veranschaulicht:

The fact that so much of the Internet's security software is underfunded is becoming increasingly problematic. Last year, in the wake of the Heartbleed bug, I wrote that while the U.S. spends more than $50 billion per year on spying and intelligence, pennies go to Internet security.

Auch in den Kommentaren zum Artikel gibt es viele Leute, die sich darüber beklagen, dass die US Regierung kaum Geld für Opensource Crypto ausgibt. Liebe Leute, Software wie GNUPG, OpenSSL oder OpenSSH hat vor allem einen Zweck: uns vor der Regierung zu schützen. Wieso sollten wir also von irgendeiner Regierung Geld dafür verlangen, damit wir vor ihr geschützt werden können? Das ist doch absurd.

Opensource ist eine Idee, kein Geschäftsmodell. Die Idee ist, mit den Mitteln, die man hat, zu versuchen die Welt zu verbessern. Seit wann müssen Leute, die die Welt verbessern, dafür bezahlt werden? Wenn man das will, muss man in die Wirtschaft gehen, ein Unternehmen gründen und seine Software verkaufen. Oder eben den Schritt wagen, seine Zeit, Nerven und Resourcen zu opfern für eine grössere Sache. Wovon man während dieser Zeit lebt, ist jedoch eine ganz andere Frage, mit der die Nutzer der Software nichts zu schaffen haben. Ja, die Welt ist hart und gemein. Ja, es wäre schöner, wenn man einfach machen könnte, was man gerne mag und irgendwie automatisch davon leben könnte. Aber so ist die Welt nicht und nicht nur Werner Koch ist davon betroffen, sondern wir alle.

Das heisst: es ist mir scheissegal, wovon Werner Koch's Mittagessen bezahlt wird. Das ist sein eigenes Problem, um das er sich verdammt nochmal selber kümmern muss. Um mein Mittagessen muss ich mich auch selber kümmern. Wie kann man sich nur auf diese Weise selbst erniedrigen, unmöglich.


Update 08.02.2015 12:34:

Es gibt noch einen Nachtrag bei Fefe::

Und dann schmeißt Werner Koch die geschenkten $100k den Patch weg und ich pflege 9 Jahre lang meinen Patch parallel weiter. Und Werner Koch winselt dann herum, dass er nicht versteht, wieso ihm keiner Geld nachwirft.

Das liegt daran, dass Werner Koch das Problem ist, nicht die Lösung. Werner Koch macht mit dem Code keine Wartung, eher eine Geiselnahme. Denn wer will schon gnupg forken. Wir kriegen ja schon ohne Fork die Leute nicht in signifikanter Größenordnung dazu, das zu benutzen. Das wäre noch übler, wenn es da auch noch Marktfragmentierung gäbe. Deshalb hat noch niemand gnupg geforkt. Nötig gewesen wäre es seit Jahren. Ich persönlich hoffe seit Jahren, dass Werner endlich hinwirft, und dann jemand die Wartung übernehmen kann, der auch ein Interesse daran hat, daraus ein ordentliches Projekt zu machen. Aber das wird ja jetzt nicht mehr stattfinden. Jetzt wo nicht mehr nur sein Ego sondern auch sein Lebensunterhalt direkt davon abhängt, dass er weiterhin Diktator von gnupg bleibt.
[..]
Ich sollte der Sicherheit halber dazu sagen, dass das nicht bloß meine Eintschätzung ist, dass Werner Koch das Problem ist, sondern ziemlich breiter Konsens. Ich habe diverse Mails von anderen Leuten gekriegt, die mit Werner vergeblich zu kooperieren versucht haben.








0.2.4 Release Pretty Curved Privacy

Finally I made a new release of Pretty Curved Privacy: 0.2.4. There are no new features,but lots of fixes and enhancements. Also there's a python API available as well (enable with --enable-python-binding).


11.01.2015 17:53 CC0 crypto en pcp Source Null Comment






Salut

† Georges Wolinski

† Stephane Charbonnier

† Bernard Verlhac

† Jean Cabut

† Bernard Maris

 

 

Defending the Project of Free Inquiry:

A very dangerous principle is now being established as a social right: Thou shalt not hurt others with words. This principle is a menace–and not just to civil liberties. At bottom it threatens liberal inquiry–that is, science itself.

also.








Re: The Perl Jam: Exploiting a 20 Year-old Vulnerability [31c3]

Netanel Rubin held a talk about an alleged 20 year old vulnerability in perl named "The Perl Jam: Exploiting a 20 Year-old Vulnerability" at 31C3 [PDF].

Basically he claims that this is a problem:

my @a = qw(8 foo 666);
my %h = (foo => 100,
	 bar => 333,
	 san => @a);
print Dumper(\%h);

$VAR1 = { 'san' => 8, 'bar' => 333, 'foo' => 666 };

As you can see, the array @a is assigned as a value to the key 'san' of the hash %h. But since it's not assigned as a array reference, the array dissolves into the hash and its values overwrite the keys 'foo' and 'san'.

The "vulnerability" Netanel found, is in the CGI module. The method 'param()' of this module returns an array if a CGI parameter occurs more than once. If the output of that method is being used unchecked in a hash assignment as shown above, then it is possible to overwrite certain values of that hash. This leaded for example to the vulnerability CVE-2014-1572 in Bugzilla.

Netanel's conclusion: perl is broken, horrible, hazardous, bizarre and should not be used anymore.

Wow.

He is wrong on multiple levels. Arrays dissolving into hashes is not a bug and not bad, but intended behavior and very well documented. In fact, I use it alot. I even love it! If you take a look into the function new() of about 80% of all perl modules on CPAN, you'll find, that they support hash arguments, and feed @_ into a hash. Pretty standard for perl people. Others might find it ugly or weird, but hey, it's a free world (mostly), choose another language if you don't like the concept.

Then Netanel has been asked if he knows about references and in response complained about using a backslash in order to assign a reference to a hash (or array) to a variable. He called it "escaping", but that's utter nonsense. \%hash ist pure perl syntax, not escaping.

The talk sounds funny in the first place, but is unsubstancial. Yes there are flaws in perl code which uses CGI.pm in the wrong way. But that's not a perl problem, it's a CGI.pm problem. And it's solved since a long time. Modern web stuff written in perl uses Dancer, Mojolicious or Catalyst and not CGI.pm.








Migrated from Tiddlywiki to Emacs Org-Mode

I am an early adopter of TiddlyWiki, a personal wiki which runs locally in a browser. I used it for many years nearly every day at work and home. I'm so used to it, I'm unable to do my daily work without it. I even wrote a couple of plugins for TiddlyWiki and I ported it to the palm pre mobile platform.

Now that era is over, thanks to the developers of firefox. I used to use an outdated portable firefox instance at work when a couple of weeks ago the NoScript plugin has been updated. From that moment on, firefox didn't work properly anymore, so I had to update firefox as well. I did it and everything looked good. Until I clicked the "save" button in tiddlywiki - it didn't work anymore. Turns out, that the firefox developers disabled the UniversalXPConnect capability, which made it possible for local Javascripts like TiddlyWiki to access the local harddisk.

There's a plugin called TiddlyFox, which aims to close the gap, but there are several reasons why I can't use it. First, it doesn't work with older wikis. Mine was based on version 2.3 and heavily customized. I just couldn't upgrade it (and I don't know, how, anyway). So I had to use the latest TiddlyWiki version, which I don't like. Then there's the problem, that the TiddlyFox plugin just pops up firefox' "Save as..." dialogue, if you click save and the file already exists, you end up with "wiki(1).html", the next time with "wiki(2).html" and so forth, which is really annoying and impractical. Also, the very fact, that a plugin is required to save a wiki, is a no-go for me. What if the admins of my workstation decide to forbid firefox plugins? I would be fucked.

Therefore I decided to make a cut and look for another solution for note taking and organizing. I ended up with org-mode for emacs. I use emacs anyway, primarily for programming, so I'm at home already. I tried org-mode a decade ago and didn't like it. I've got to admit, I still don't really like it, but I get used to it and it'll suffice my requirements. I use org-mode only for note taking, I don't use its agenda-mode or the time and clocking keeping stuff. So, it's ok. The only thing I miss is a feature I regularly used in TiddlyWiki: click on a tag, a popup appears with all tiddlers which also have this tag, from which you can select one to open it (or jump to it, if it's already open). In org-mode you end up in the agenda if you click on a tag, which splits the window. Ok it is possible to click on a tag there which shows all matching entries but if you click on one, it opens it within the same frame as the agenda. So, in the end you've got two frames with org-mode. So far I was unsuccessfull to disable this annoying behavior, therefore I don't use the tags. Maybe some day I've got a working solution for this (e.g. an imenu with matching entries if click on a tag).

Ok, this is the script I used to convert my TiddlyWiki entries to an org-mode file: tiddlers2orgmode.pl. If you want to use it, keep in mind that it is only tested with TiddlyWiki 2.3. You may also tweak it here and there.

Finally here's the org-mode emacs config I've put together so far:

; org mode
(defvar my-home "C:/Cygwin/home/tom")
(defvar my-lisp (concat my-home "/.emacs.d"))
(defvar my-org-file (concat my-home "/notizen.org"))

(setq load-path (cons (concat my-lisp "/org/lisp") load-path))
(setq load-path (cons (concat my-lisp "/org/contrib/lisp") load-path))

(custom-set-variables
 '(org-agenda-files (list my-org-file))
 '(org-default-notes-file (concat "/remember.org"))
 '(org-reverse-note-order t)
 '(org-remember-store-without-prompt t)
 '(org-reverse-note-order t)
 '(org-startup-indented t)
 '(word-wrap t)
 '(org-startup-truncated nil)
 '(org-columns-default-format "%80ITEM %22Timestamp %TODO %TAGS %0PRIORITY")
 '(org-mouse-1-follows-link nil)
 '(org-insert-heading-always-after-current 't) ; new headings below current
 '(org-M-RET-may-split-line nil) ;; dont break heading with enter
 '(org-blank-before-new-entry (
      ; no blank lines after headings
      quote ((heading . auto) (plain-list-item . auto)))
  )
 '(org-agenda-restore-windows-after-quit t)
 '(org-use-speed-commands t) ; see next block for which ones
 '(org-catch-invisible-edits 'error) ; dont edit invisibles
)

(setq org-speed-commands-user (quote (
    ("0" . ignore)
    ("1" . delete-other-windows)
    ("2" . ignore)
    ("3" . ignore)
    ("d" . org-archive-subtree-default-with-confirmation) ; delete, keep track
    ("v" . org-narrow-to-subtree) ; only show current heading ("view")
    ("q" . widen)                 ; close current heading and show all ("quit")
    (":" . org-set-tags-command)  ; add/edit tags
    )))

; ctrl-n for new entry with template
(setq org-capture-templates
      '(("j" "Note" entry (file+datetree my-org-file)
	 "* %? %^g\n %U\n %i\n"))
)

(define-key global-map "\C-n"
  (lambda () (interactive) (org-capture nil "j")))

; use ctrl-arrows to jump between headings
(add-hook 'org-mode-hook ( lambda ()
   ; move heading down
   (local-set-key (kbd "<C-down>") 'outline-next-visible-heading)
   ; move heading up
   (local-set-key (kbd "<C-up>")   'outline-previous-visible-heading)
   ; alt-enter = insert new subheading below current
   (local-set-key (kbd "<kp-enter>") 'org-insert-subheading)
   ; search for tags (ends up in agenda view)
   (local-set-key "\C-f" 'org-tags-view)
))

(setq org-todo-keywords
 '((sequence "TODO" "STARTED" "WAITING" "DONE" "CANCELED")))

;; todo colors
(setq org-todo-keyword-faces '(
   ("TODO"  . (:foreground "#b70101" :weight bold))
   ("STARTED"  . (:foreground "#b70101" :weight bold))
   ("WAITING"  . (:foreground "orange" :weight bold))
   ("DONE"  . (:foreground "forestgreen" :weight bold))
   ("CANCELED"  . shadow)
))

29.12.2014 10:16 CC0 emacs en Emacs 1 Comment






Unverschämt

Irgendwie hat man sich als Kassenpatient ja damit abgefunden, beim Arzt lange warten zu müssen. Ist halt so. Der Arzt hat ja auch viel zu tun, Wartezimmer voll, wassollmanmachen. Heute habe ich dieses Posting von Kitty Koma über Pünktlichkeit gelesen und dabei ist mir klar geworden, dass das eigentlich eine Frechheit ist.

An sich ist es ganz einfach. Man vereinbart mit jemandem einen Termin und erscheint pünktlich. Erscheint der andere nicht pünktlich, muss man warten. Wenn ich aber warten muss, heisst das, der andere hat meine Zeit verschwendet, denn schliesslich hätte ich in der Zeit ja irgendwas anderes machen können anstatt auf ihn zu warten. Völlig richtig konstatiert Kitty, dass das eine egoistische Unverschämtheit ist.

Und natürlich trifft das auch auf Arzttermine zu. Bei meinem bisherigen (d.h. seit dieser Woche nicht mehr) Hausarzt läuft das so ab: man MUSS um 6:30 Uhr persönlich dort erscheinen und sich in einer Liste mit vergegebenen Terminen eintragen, dann wieder heimgehen und schliesslich zu der Zeit in der man sich eingetragen hat, wieder zu erscheinen. Standard ist dort auch, dass man dann nochmal 45 bis 60 Minuten warten muss, bis man dran ist. Obwohl man einen Termin hatte, den man sich um 6:30 Uhr persönlich besorgen musste! Eigentlich ein Unding und ich frage mich, warum ich diesen Scheiss überhaupt all die Jahre mitgemacht habe, auch wenn ich nicht oft zum Arzt muss.

Nun kam es aber, dass ich diese Woche echt heftig erkältet bin und es nicht geschafft habe, 6:30 dort zu sein. Ich war gegen 7:30 Uhr da und habe keinen Termin bekommen. Ich wurde weggeschickt. Obwohl ich mich mit meinen letzten Reservern dahin geschleppt hatte. Arschlöcher. Ich bin dann zu einem anderen Arzt gefahren und bin nach 10 Minuten dran gewesen. Ohne Termin!

Aber es kommt noch besser: meine Frau, die schon seit 20 Jahren dorthin geht, verfügte über das seltene Privileg, Termine telefonisch mit der Praxis ausmachen zu können (natürlich musste sie dann aber auch immer eine Stunde warten, klar). Und natürlich erstreckte sich dieses Privileg nicht auf mich, ihren Mann. Jedenfalls hat sie sich bei mir angesteckt und nun sind wir beide krank. Sie rief also an, um einen Termin auszumachen. Und was sagt man ihr? Sie soll um 6:30 Uhr vorbekommen und sich eintragen. Das Privileg wurde also gestrichen. Ganz toll.

Da ich sowieso bei Dr. Kaps war, hatte ich auch einen Termin für meine Frau ausgemacht. Ich wurde dann gefragt, ob es ihr denn auch so schlecht ginge, wie mir, was ich bejahte (tatsächlich sogar schlechter). Nein, lassen Sie das mit dem Termin, der Doktor kommt zu Ihnen nach Hause. Klasse finde ich das!

Wie kommen solche Leute eigentlich auf die Idee, ihre Zeit sei irgendwie wertvoller als meine? Was bilden die sich eigentlich ein?