HTTP-BASIC-AUTH nach Umleitung auf HTTPS

Eine HTTP-BASIC-AUTH-Authentifizierung sollte man nicht unverschlüsselt durchs Netz jagen. Doof ist es, wenn die Umleitung per .htaccess erst nach der Authentifizierung greift, da die erste Anfrage über HTTP läuft, von der Authentifizierung abgefangen wird und erst danach umgeleitet wird.
Eine Möglichkeit dies zu umgehen sieht so aus:

SetEnvIf %{SERVER_PORT} ^80$ IS_NON_SSL

RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI}

AuthUserFile /pfad/zur/.htpasswd
AuthName "HTTP-BASIC-AUTH über TLS"
AuthType Basic
require valid-user
Allow from env=IS_NON_SSL

via http://stackoverflow.com/questions/10267102/apache-htaccess-redirect-to-https-before-asking-for-user-authentication

OpenStack schnell und einfach auf einem Host installieren

OpenStack auf einem einzigen Host aufzusetzen kann viel Handarbeit bedeuten, muss aber nicht. Über packstack des RDO-Projekts lässt sich OpenStack schnell und einfach installieren und konfigurieren. Zwar bringt Ferdora 22 Packstack von Haus aus mit sich, das Skript scheint aber noch nicht angepasst zu sein. Auf CentOS 7 lief die Installation ohne Probleme durch – nach 30 Minuten war OpenStack installiert und einsatzbereit.

Mit Netz und doppeltem Boden – Backup für den vServer

Wer einen eigenen Server betreibt sollte auf jeden Fall eine Backup-Strategie fahren, um im Falle eines Crashes/Angriffes keine wichtigen Daten zu verlieren. Bis jetzt bestand meine Lösung aus einem NFS-Share, welches mein Hoster zur Verfügung stellte, und einem Scrip, welches den kompletten vServer in ein TAR-Archiv schob, komprimierte und verschlüsselte:


#!/bin/sh
mount $ADRESSEDESNFSSHARES /storage/ -t nfs
systemctl stop mariadb
key=`openssl rand 128 -hex`
echo $key > key
path=/storage/`date +"%d-%m-%y"`
mkdir $path
openssl rsautl -encrypt -inkey public.key -pubin -in key -out $path/key.`date +"%d-%m-%y"`.enc
rm key
tar -cO --exclude='/proc' --exclude='/sys' --exclude='/backup' --exclude='/storage' --exclude='buildroot.img' /* | pbzip2 -c | ccrypt -K $key > $path/backup.`date +"%d-%m-%y"`.tar.bz2.cpt
systemctl start mariadb
umount /storage

Was tut dieses Script? Es generiert einen 128 Bit langen Verschlüsselungsschlüssel, welcher mit einem öffentlichen Schlüssel verschlüsselt wird. Der Verschlüsselungsschlüssel wird zur (symmetrischen) Verschlüsselung des komprimierten TAR-Archives genutzt. Beides wird anschließend auf dem NFS-Share gespeichert. Damit das TAR-Archiv nicht zwischengespeichert werden muss, werden alle Vorgänge (Packen, Komprimieren und Verschlüsseln) durch Pipes miteinander verbunden. Der große Nachteil dieser Lösung ist, dass es sehr zeitaufwändig ist, eine einzelne Datei wiederherzustellen. Zuerst muss das Archiv entschlüsselt, dekomprimiert und entpackt werden, was entsprechend dauern kann.
Auf der Suche nach einer besseren Lösung bin ich über duplicity gestolpert. Das Tool bietet die Möglichkeit, verschlüsselte, inkrementelle und einfach wieder herzustellende Sicherungen zu erstellen.


#!/bin/sh
mount $ADRESSEDESNFSSHARES /storage/ -t nfs
#systemctl stop mariadb
PASSPHRASE='GPGSCHLÜSSELHIERREIN'
SIGN_PASSPHRASE='GPGSCHLÜSSELHIERREIN'
export PASSPHRASE
export SIGN_PASSPHRASE
duplicity --exclude /var/tmp --exclude /tmp --exclude /proc --exclude /sys --encrypt-key 987AAD58 --sign-key 987AAD58 -v 8 / file:///storage > /var/log/backup/backup.log
duplicity remove-older-than 3W file:///storage > /var/log/backup/backup_cleanup.log
#systemctl start mariadbi
unset PASSPHRASE
unset SIGN_PASSPHRASE
umount /storage

Die Handhabung ist relativ einfach. Zunächst erstellt man einen GPG-Schlüssel. Anschließend läuft bei mir obiges Script, gesteuert per Cronjob, alle zwei Stunden durch. Über duplicity remove-older-than 3W werden alle Sicherungen, welche älter als 3Wochen sind, gelöscht. Die Wiederherstellung von Dateien erfolgt über duplicity –file-to-restore. Im Moment macht die Lösung einen ganz soliden Eindruck. Hoffentlich tut sie das im richtigen Ernstfall weiterhin.
Ach ja:
Auf jeden Fall die GPG-Schlüssel und den zugehörigen Key extra sichern! Ohne ist das Backup nicht mehr zu entschlüsseln!

Alles unter Kontrolle

Mittlerweile muss ja alles irgendwo in der Cloud liegen. Kalender, Kontakte und Mails bei Google, Bilder bei Flickr/Picasa, Dateien bei Dropbox/Box/SkyDrive und so weiter… Es ist ja ganz praktisch, alles immer und überall verfügbar zu haben. Doch was ist, wenn es Anbieter xyz nicht mehr gibt, sein Geschäftsmodell ändert oder man einfach Bedenken hat, seinen ganzen Kram irgendwelchen Diensten anzuvertrauen? Gerade die ersten beiden Punkten waren für mich ausschlaggebend, so viel wie möglich selbst in die Hand zu nehmen.
Auslöser dafür war Google mit der Einstellung des Google Readers. Nur weil der RSS-Reader (vermutlich) kein Geld eingebracht hat und für Google überflüssig erschien, wurde er kurzerhand eingestampft. Im Prinzip kann dies auch mit allen anderen Diensten passieren – wobei das schon der Worst-Case ist. Seit dem habe ich versucht, so viel wie möglich von irgendwelchen externen Anbietern wegzubekommen und selbst zu hosten.

Mails
Angefangen hat es mit E-Mails. Die Einrichtung eines Mailservers war eigentlich das schwierigste – bis das Ding gemacht hatte, was ich wollte hat es schon etwas gedauert. Doch es hat sich auf jeden Fall gelohnt. Keine Beschränkungen mehr, dass man z.B. nur x Filter oder y Unterordner einrichten darf. Auch speichertechnisch war es ein gewaltiger Fortschritt. Die Mailbox war plötzlich so groß was die Festplatte des Servers hergab. Ein weiterer Vorteil: Irgendwelche Anbieter konnten jetzt nicht mehr in den Mails rumschnüffeln – und vor allem war sie werbefrei!

RSS
Als nächstes habe ich einen Ersatz für den Google Reader gesucht. Meine Wahl viel hier sehr schnell auf TinyTinyRSS (TT-RSS). Für TT-RSS reicht es, einen Webserver mit PHP Unterstützung zu haben. Im Prinzip sollte es also auch auf einem simplen Webspace laufen. Ein wichtiges Entscheidungskriterium war für mich die Android-Unterstützung. Und die hat TT-RSS in Form einer Android-App. Neben der offiziellen App gibt es auch diverse Alternativen.

Kalender und Kontakte
Dann kamen Kalender und Kontaktdaten an die Reihe. Bis dahin hatte ich alles bei Google liegen. Doch warum sollte ich Google all meine Kontakte und Termine offenbaren? Die Auslagerung hier ist etwas schwierig, da auch der Sync mit Android gegeben sein muss. Vorher hatte ich schon mal mit SyncML und eGroupware experimentiert, was aber mehr schlecht als recht lief. Alternativen sind CalDAV/CardDAV oder MS-Exchange. Für die erste Möglichkeit bietet Android keine native Unterstützung und man ist auf externe Tools angewiesen. Für die Umsetzung von MS-Exchange gibt es mehrere Tools – meine Wahl ist dabei auf Tine 2.0 gefallen, einer Open-Source Groupware. (Gut, andere Programme habe ich nicht wirklich getestet, da Tine auf Anhieb funktionierte ;-))
Die Synchronisation mit Android funktioniert ohne Probleme und auch ein WebOS-Gerät habe ich damit im Einsatz. Zudem bietet Tine ein (meiner Meinung nach) schickes Webinterface an, welches eine Desktop-Software durchaus ersetzen kann.
Der große Vorteil von Tine 2.0 ist u.a., dass Repositories für diverse Linux-Distributionen angeboten werden und es so bequem per Paketmanager aktuell gehalten werden kann. Eine manuelle Installation ist aber auch möglich, sodass Tine auch auf einem Webspace lauffähig ist.

Dateien
Wenn man schon mal dabei ist alles mögliche selbst zu hosten, war bei mir der nächste Punkt die Ersetzung von Dropbox, Box und Skydrive. Hierzu bietet sich OwnCloud an. Die PHP-Software bietet neben der Synchronisation von Dateien zwischen mehreren Geräten auch Funktionen Kalender, Aufgaben, Kontakte etc an. Der große Vorteil von OwnCloud ist, dass die Schnittstelle für die Synchronisation auf offenen Standards (WebDAV, CalDAV, CardDAV) aufsetzt. Dadurch ist man nicht unbedingt an die offiziellen Clients (welche es für Windows, Linux, MacOS, Android und iOS gibt) gebunden. Auch wird der Up- und Download nur durch die Anbindung des Servers begrenzt. Bei Dropbox kam es bei mir oft vor, dass ich nicht die volle verfügbare Bandbreite ausnutzen konnte. Weiterhin ist es möglich, beliebig viele Quellverzeichnisse zu synchronisieren. Man ist so nicht auf einen einzelnen Ordner beschränkt. Freigaben für z.B. Freunde, auf welche dann ohne Anmeldung zugegriffen werden kann, sind natürlich auch möglich.

Bilder
Bevor Flickr für die kostenlose Nutzung die Beschränkungen entfernt bzw. stark gelockert hat, war der Dienst für mich eher uninteressant. Alternativen waren entweder gruselig zu benutzen oder verlangten schon für den kleinsten Account Geld. Also hieß es auch hier: selbst hosten!
Meine Wahl viel hierbei auf Coppermine. Das Tool bietet viele Schrauben, an denen man es einstellen und nach seinen Bedürfnissen einrichten kann. Neben öffentlichen Galerien ist es möglich, Alben mit einem Passwort zu schützen, das Design anzupassen wie man es gerne hätte, mit mehreren Benutzern zu arbeiten etc.
Clients für Android gibt es leider nicht, wobei ich den auch nicht wirklich brauche (habe ich auch bei Flickr nie genutzt).

DynDNS
Ein weiterer großer Brocken (neben E-Mails) war die Einrichtung eines eigenen DyDNS-Dienstes. Da dyn.com sein Modell für kostenlose Accounts umgestellt hat, mit dem Ziel einen Richtung Bezahl-Accounts (mit dessen Preisen ich nicht so wirklich einverstanden war) zu drängen, war es Zeit für mich zu wechseln. Irgendwann kam dann die Idee, diesen Dienst selbst umzusetzen (siehe Bastelstunde: Der eigene DynDNS-Dienst), was mit einer mehr oder weniger großen Bastelaktion verbunden war, welche zudem nicht ganz ungefährlich war (wenn man mit dem DNS-Server Mist baut, läuft man Gefahr für die nächsten maximal 24h “offline” zu sein).

So viel wie möglich selbst hosten hat Vorteile und Nachteile. Man hat all seine Daten unter Kontrolle und kann mehr oder weniger machen was man möchte.
Andererseits benötigt man mehr oder wenig gute Kenntnisse darüber, was man macht. Auch steht und fällt alles mit dem Anbieter, bei dem man den Server, vServer oder Webspace gemietet hat. Andererseits hat man die freie Auswahl, bei welchem Anbieter man hosten möchte und kann bei Bedarf wechseln. Natürlich ist es auch möglich, alles auf einem Homeserver bei sich zu Hause unter dem Tisch zu betreiben. Allerdings ist es dann eher schwierig, einen eigenen Mailserver (Mail-Anbieter wie GMX, web.de, Yahoo!, Google… nehmen aus Gründen der Spamvermeidung keine Mails von dynamischen IP-Adressen an) oder DynDNS Dienst zu betreiben. Die anderen Dienste sind aber problemlos nutzbar.

Die eigene Cloud mit ownCloud – Der Anfang

Die neuen NetCup KVM-vServer bringen im Vergleich zu den alten Angeboten gleich einiges mehr an Speicher mit sich. Dies bietet sich doch geradezu für eine eigene Cloud an wie ich finde.
Meine Wahl fiel dabei auf ownCloud, da man dieses System auch mit einem Desktop- und Android-Client nutzen kann (nen iOS Client gibts auch, war für mich aber eher uninteressant).
Die Installation war eher simpel, für Debian gibt es eigene Repos welche man einbindet und dann die Installation mit “apt-get update && apt-get install owncloud” beginnt. Pakete, die nicht installiert sind aber benötigt werden, werden automatisch mit installiert (Abhängigkeiten und so ;-)). ownCloud benötigt einen eigenen Apache2, dieser war bei mir schon eingerichtet, so musste ich nur einen neuen VirtualHost zum ownCloud Verzeichnis hinzufügen. Da sich ownCloud unter Debian nach /var/www/owncloud installiert, konnte ich einen bestehenden vHost einfach als Grundlage nehmen. Die entsprechende Konfigurationsdatei sah anschließend so aus:

root@johnassel:/# cat /etc/apache2/sites-enabled/owncloud-ssl
<IfModule mod_ssl.c>
<VirtualHost *:443>
        SSLProxyEngine on
        ServerAdmin webmaster@localhost
        ServerAlias owncloud.johnassel.de
        DocumentRoot /var/www/owncloud
        <Directory />
                Options FollowSymLinks
                AllowOverride All
        </Directory>
        <Directory /var/www/owncloud>
                Options Indexes FollowSymLinks MultiViews
                AllowOverride All
                Order allow,deny
                allow from all
        </Directory>		
        LogLevel warn
        CustomLog ${APACHE_LOG_DIR}/ssl_access.log combined
        SSLEngine on
        SSLCertificateFile    /pfad/zum/ssl/zertifikat
        SSLCertificateKeyFile /pfad/zum/ssl/key
        SSLCertificateChainFile /pfad/zur/ca/kette
        <FilesMatch "\.(cgi|shtml|phtml|php)$">
                SSLOptions +StdEnvVars
        </FilesMatch>
        <Directory /usr/lib/cgi-bin>
                SSLOptions +StdEnvVars
        </Directory>		
        BrowserMatch "MSIE [2-6]" \
                nokeepalive ssl-unclean-shutdown \
                downgrade-1.0 force-response-1.0
        BrowserMatch "MSIE [17-9]" ssl-unclean-shutdown
</VirtualHost>
</IfModule>

 

Anschließend musste ich nur noch den Apache neu starten, dann war die neue Cloud unter https://owncloud.johnassel.de erreichbar. Beim ersten Zugriff musste ein Admin-Account angelegt werden, eine Datenbank oder sowas muss nicht eingerichtet werden. Danach konnte es auch sofort losgehen – der Desktop-Client und Android-Client hatten sofort Zugriff auf den Speicher. Die ersten Tests sahen ganz gut aus, neue und geänderte Dateien im ownCloud Verzeichnis auf dem PC wurden erkannt und hochgeladen, ganz so wie man es auch von Dropbox her kennt.
Ein paar kleine Dinge, die wünschenswert sind gibt es allerdings doch: So gibt es beim Client keine Bandbreitenbeschränkung und es wird genutzt was verfügbar ist – ohne Rücksicht auf Verluste. Auch fehlt mir eine Statusanzeige, beispielsweise wie schnell der Datentransfer gerade läuft und wie lange der Upload/Download noch dauern wird. Man sieht quasi nur das etwas passiert, mehr nicht.
Davon abgesehen sieht ownCloud eigentlich ganz gut aus, mal sehen wie es sich im Produktivbetrieb macht. ;-)

Mails per IMAP und imapsync auf einen anderen Server verschieben

Da hier ein eigener Mail Server läuft, liegt es nahe, diesen zu nutzen und GMX GMX sein zu lassen. Dies gibt einige Vorteile, wie z.B. keine wirklichen Limitierungen (Speicher, Anzahl der Ordner, Anzahl der Mailadressen, Anzahl der Filter etc.), eine schickere Webmailoberfläche und so weiter.
Der Nachteil dabei ist allerdings, das man den Server komplett selbst aufsetzen und warten muss. Gerade die Einrichtung ist etwas kompliziert und hat ein paar Schrauben, an denen man drehen muss. Aber da ich diese Hürde schon gemeistert hatte, steht alles weiterem nichts mehr im Weg. Doch wie bekommt man alle Mails von einem zum anderen Anbieter?
Hier kommt das kleine Tool imapsync (Download z.B. über fedorahosted.org) zum Einsatz.
Das Kommandozeilentool kann schnell und einfach Mails von einem Server zum anderen schaufeln. Ordnerstrukturen, Anhänge und so weiter bleiben dabei erhalten.
Der entsprechende Befehl dazu lautet (hier im Beispiel mit GMX):

imapsync --host1 imap.gmx.net --user1 xyz@gmx.net --passfile1 gmxnet --ssl2 --host2 imap.johnassel.de --user2 xyz --passfile2 johnasselde -ssl2

Die beiden “–host*”, “–user*” und “–passfile*” Parameter müssen natürlich entsprechend angepasst werden. In der passfile steht das Kennwort für den entsprechenden Account. Man könnte dieses auch direkt im Befehl angeben. Sollte dieser allerdings in irgendeiner History auftauchen, sieht man dort das Passwort im Klartext, was nicht Sinn der Sache ist.
Bei mir dauerte der Umzug mit etwas mehr als 23000 Mails unter einer Stunde.
38 Mails wurden übersprungen, welche dies waren wird leider nicht angezeigt.

++++ Statistics
Transfer started on : Thu Aug 23 09:54:23 2012
Transfer ended on : Thu Aug 23 10:48:41 2012
Transfer time : 3258 sec
Messages transferred : 23144
Messages skipped : 38
Messages found duplicate on host1 : 1
Messages found duplicate on host2 : 2
Messages void (noheader) on host1 : 37
Messages void (noheader) on host2 : 0
Messages deleted on host1 : 0
Messages deleted on host2 : 0
Total bytes transferred : 279898015 (266.9 MiB)
Total bytes duplicate host1 : 1672 (1.6 KiB)
Total bytes duplicate host2 : 6265 (6.1 KiB)
Total bytes skipped : 2816814 (2.7 MiB)
Total bytes error : 0 (0.0 KiB)
Message rate : 7.1 messages/s
Average bandwidth rate : 83.9 KiB/s
Reconnections to host1 : 0
Reconnections to host2 : 0
Memory consumption : 65.3 MiB
Biggest message : 11816511 bytes
Detected 0 errors