Das schmuffligste Blog der Welt

For a english version scroll down!

Heute habe ich noch einen Leckerbissen: Ein Script für ESX3/ESX4 mit dem einfache, automatisierte VCB Backups möglich sind.
Über die Annotations kann die Variable DO_BACKUP als einfacher Text für jede VM gesetzt werden, z.B. DO_BACKUP=DAILY.
Das Skript liest diese Anmerkungen aus und sichert die Maschine dann täglich. Aber genug der Rede, hier ist der Download Link:

esx3_4_backup.sh

Voraussetzungen/Infos:
-es gibt die Methoden ONCE, DAILY, WEEKLY und MONTHLY
-DO_BACKUP muss immer am Ende der Annotations stehen. Also z.B. „Nur eine Testmaschine, blah blah blah, DO_BACKUP=WEEKLY“
-Annotations dürfen keine Sonderzeichen (ß,ü,ä,ö, usw) enthalten
-je nach Größe der Backup-LUNs muss die default Vorhaltezeit angepasst werden, sonst laufen die LUNs voll.
-es müssen die UUIDs für _alle_ Produktions-LUNs und Backup-LUNS angepasst werden
-über die Variable ESX müssen alle Hostnamen der ESXe richtig gesetzt sein
-remote SSH login für alle ESXe muss über ein root Zertifikat möglich sein. Default ist /root/.ssh/id_rsa

Ganz wichtig: bevor das Skript ausgeführt wird, sollte DEBUG=1 gesetzt werden. Außerdem solltet Ihr das Skript durchlesen, verstehen und auf eure Bedürfnisse anpassen! Das Skript löscht Dateien auf LUNs auf Konsolenebene, also OBACHT!
1. LESEN
2. VERSTEHEN
3. ZURÜCK ZU 1.

Ich lehne natürlich jegliche Haftung für gelöschte Daten ab. Benutzung auf eigene Gefahr!
(Für alle Schlaumeier: Ja, man kann das besser machen, awk überall durch cut ersetzen, sed zusammenziehen, blablabla. Help yourself.)

English version:

Today I have another gimmick for you: A script for ESX3/ESX4 which makes creating automated VCB backups very easy.
You can set a variable DO_BACKUP as text in the VMs annotations, e.g. DO_BACKUP=DAILY.
The script then reads the annotations, finds the variable and executes the desired vcbbackup.
Here is the download link:

esx3_4_backup.sh

Requirements/Infos:
-you can use backup methods ONCE, DAILY, WEEKLY und MONTHLY
-DO_BACKUP has to be defined at the end of the annotations, e.g. „This is a test machine, blah blah blah, DO_BACKUP=WEEKLY“
-annotations  must not contain special characters (ß,ü,ä,ö, etc)
-depending on the size of your backup LUNs you have to change the default keep times or your LUNs will end up with no space left.
-you have to set the correct UUIDs for  _all_ production and backup LUNS
-variable ESX must be set correctly to contain all ESX hostnames
-remote SSH login must be working for all ESX using a root certificate. Default is /root/.ssh/id_rsa

Very important: before you execute the script you should set DEBUG=1. Additionally you should read, understand and modify the script to fit your needs! The script deletes files directly from LUNs, be careful!
1. READ
2. UNDERSTAND
3. BACK TO 1.

This script comes without any warranty. Use at own risk!
(For all wise guys: yes you can solve this better, replace all awk with cut, shorten the seds, blablabla. Help yourself.)

Please scroll down for the english version of this article!

Heute habe ich ein besonderes Häppchen für alle Spamassassin Benutzer. Eine Bayesdatenbank mit ein paar Millionen gelernten Mails.
Die Datenbank stammt von einem ISP und hat die gelernten Mails von einigen tausend Kunden intus.

Im Detail:

spam_count    ham_count    token_count    oldest_token_age   newest_token_age
591151        4433526      144282         1259699456         1259823676

Also rund 4.4 Millionen HAM counts, knapp 600.00 SPAM counts.
Das ist schon ganz ordentlich 😉

Die Datenbank wurde mit

sa-learn -u public --backup > bayes_02-12-09

gesichert und kann mit

sa-learn -u public --restore ./bayes_02-12-09

wieder importiert werden. Der Pfad sowie der von euch verwendete User (hier: ‚public‘) sollte ggf.  angepasst werden. Vorher das File natürlich gunzippen!

Hier der Link (120MB!):
http://rapidshare.com/files/315578995/bayes_02-12-09.gz

As this is quite an international matter of interest, here the english version:

Today I have a special gimmick  for all Spamassassin users. A bayes database with a few million entries.
The database originates from a German ISP and contains the learned mail of a few thousand customers.

In detail:

spam_count    ham_count    token_count    oldest_token_age   newest_token_age
591151        4433526      144282         1259699456         1259823676

So we have about 4.4 million HAM counts and almost 600.00 SPAM counts.

That is quite a chunk 😉

The database had been dumped with

sa-learn -u public --backup > bayes_02-12-09

and can be imported with

sa-learn -u public --restore ./bayes_02-12-09

The path to the file and the user (‚public‘ in my example) has to be altered to fit your needs. Careful: The file is  gzipped and has to be unzipped before use!

Here is the link (120MB!)
http://rapidshare.com/files/315578995/bayes_02-12-09.gz