Anhangsexport - Effektiv Speicherplatz schaffen ohne Informationsverlust

  • [Update 02.12.2013] Ich habe diese Anleitung überarbeitet und eine aktualisierte Regel erstellt. Eine stets aktuelle Version der Anhangsexportregel findet ihr hier (rechte Maustaste, Speichern unter).


    Wesentliche Verbesserungen sind:

    • Die Anhangsgröße wird nun in der Regel selber noch einmal abgefragt. Somit führen falsch konfigurierte Filter nicht mehr zu einer Endlosschleife beim Export, in der die erzeugten TXT-Dateien immer wieder exportiert werden.
    • Die neu erstellten Dateien werden nun nicht nochmals auf Spam und Viren überprüft. Das entlastet den GREYHOUND Server massiv, da dieser beim Erstexport teilweise mehrere tausend Elemente erneut scannen musste.
    • Die Datei-Elemente werden nun direkt endgültig gelöscht, nachdem der FileSync die Löschung (nach dem Verschieben) mit dem GREYHOUND Server synchronisiert hatte. Das hat in der Vergangenheit stets zu Fragen bei Kunden geführt, die im GREYHOUND Hosting auf das Freiwerden des Speicherplatzes angewiesen waren und sich nicht bewusst waren, dass die Elemente vom Export nur als gelöscht markiert wurden.


    Info: Seit GREYHOUND Version 4.2.7 build 1642 wird GREYHOUND mit einer veränderten Grundkonfiguration ausgeliefert. Diese Konfiguration ist bereits auf die Einrichtung des Anhangsexports vorbereitet. Eine Gruppe, eine Benutzergruppe, ein Profil sowie ein Benutzer mit dem Namen FileSyncund/oder Anhangsexport wurden bereits angelegt.


    Vorwort
    Egal wo ihr euren GREYHOUND betreibt, die meisten von euch werden sicher immer einen prüfenden Blick auf den verfügbaren Speicherplatz werfen (müssen). Wer das vernachlässigt der riskiert im ersten Schritt erstmal "nur" eine geringere Performance von GREYHOUND, kurz darauf jedoch einen Totalausfall, weil Windows schlichtweg keinen Festplattenplatz mehr für das Speichern neuer Daten hat. Das GREYHOUND Control Center (GCC) fährt das System in letzter Instanz selbstverständlich sauber runter, sodass im GREYHOUND Hosting kein Datenverlust droht, aber ihr habt dann erstmal keinen Zugriff mehr auf eure Daten und der Anruf bei uns ist unausweichlich.


    Im GREYHOUND Handbuch sind bereits einige Tipps und Methoden beschrieben, wie ihr euren Speicherplatzverbrauch im Griff behalten könnt. Diesen Tipps möchte ich noch meinen persönlichen Favoriten zur Reduzierung des Speicherplatzbedarf hinzufügen: Den Anhangsexport.


    [infobox]Wer nur wissen will wie es geht der kann direkt zum Punkt "Und wie geht das?" vorspulen. Ich kann euch aber empfehlen die nachfolgenden Abschnitte ebenfalls durchzulesen, da sie wichtige Infos enthalten die euch bei der Planung der für euch idealen Speicherplatzverwaltung helfen könnten.[/infobox]
    Was wirklich Speicherplatz verbraucht
    Bevor ich euch zeigen möchte wie ihr Speicherplatz frei bekommt, solltet ihr verstehen wie sich der Speicherplatzverbrauch in GREYHOUND zusammensetzt. Ihr könnt dann selber entscheiden, welche der im Handbuch und hier genannten Methoden zur Speicherplatzreduzierung für euch die praktikabelste ist.


    Im Zeitalter der Megapixelkameras belegen Dateianhänge im klassischen E-Commerce im Durchschnitt 50-80% des verfügbaren Speicherplatzes! Wir sind dankbar wenn Kunden uns Fotos von einem Transportschaden anfertigen, doch nur wenige wissen wie groß die Bilder wirklich sind. Bei 8 oder mehr Megapixeln sind einige Megabyte pro Bild heutzutage absolut üblich und zusätzlich durch die im E-Mailversand notwendige Kodierung für den Transport kommen noch einmal 15-30% hinzu.


    Hinzu kommt, dass GREYHOUND eine eingehende E-Mail aus technischen- und aus Datenschutztechnischen Gründen stets zweimal auf der Festplatte speichert: Einmal unverändert als EML-Datei, und einmal optimiert für den Zugriff und die Arbeit mit diesem Element.Faktisch bedeutet dies, dass sich dadurch der Verbrauch noch einmal verdoppelt.


    Beispiel
    Eine typische E-Mail mit drei JPG-Bildern im Anhang ( jeweils 5-Megapixel,1,8 MB + 2,5 MB + 2,5 MB = 6,8 MB) resultiert in einer Gesamt-E-Mailgröße von 9,4 MB und belegt somit aufgrund der doppelten Speicherung in GREYHOUND 18,8 MB Festplattenspeicher.
    Der geschriebene Anteil dieser Nachricht belegt im HTML-Format davon nur 31 kB, also rund 0,3% der Gesamtgröße. Im TEXT-Format sind es gar nur noch 1kB. Man müsste also mehr als 300 dieser HTML-Nachrichten oder rund 9000 dieser TEXT-Nachrichten löschen um den Speicherplatz freizugeben, den diese einzige E-Mail mit 3 Bildern belegt!


    Spätestens jetzt wird klar, dass das massenweise Löschen von E-Mails ohne Anhänge nur dann nennenswerten Speicherplatz freigibt, wenn es sich entweder um sehr, sehr,sehr viele Nachrichten handelt, oder diese extrem viele eingebettete Grafiken enthalten (sodass der HTML-Anteil eine nennenswerte Größe hat).
    Mein Tipp: Um Platz zu schaffen sollte man sich am besten erstmal nur um die Nachrichten mit Anhängen kümmern.


    Weg damit! Oder besser nicht?
    Eine Möglichkeit Platz zu schaffen ist immer das Löschen von Nachrichten. Das mag für viele bereits aus unterschiedlichsten Gründen eine praktikable Lösung sein, doch mit dem Löschen von Daten geht ein ganz großes Problem einher: Die Daten stehen nicht mehr zu Verfügung. Neben einer möglichen Verletzung der Aufbewahrungspflicht gehen damit aber auch einige praktische Nachteile einher. Im Falle einer Garantieabwicklung nach einigen Jahren beispielsweise stehen möglicherweise wichtige Informationen zur Klärung von Ansprüchen nicht mehr zur Verfügung. Oder die Kommunikationshistorie ist aufgrund einiger gelöschter Nachrichten löchrig und man kann dem Kunden oder den Lieferanten gegenüber nicht mehr mit der notwendigen Beständigkeit gegenübertreten. Das alles kann zusätzliche Kosten verursachen, insbesondere wenn es in Einzelfällen um Abmahnungen, Rechtsverstöße oder Ähnliches geht. Löschen ist für mich persönlich daher keine Option. Nicht zuletzt aufgrund der extrem schnellen Volltextsuche und der Historienfunktion von GREYHOUND hat man auch nach Jahren und bei Millionen von Nachrichten noch blitzschnell Zugriff auf längst vergangene Kommunikation.


    Doch man kann es drehen und wenden wie man will. Wenn man nichts löschen kann, darf oder will, dann muss mehr Festplattenspeicher für GREYHOUND her. Ob sich diese Investition lohnt muss jeder individuell für sich entscheiden. Vielleicht ist nachfolgender Kompromiss ja für den einen oder anderen von euch praktikabel?


    Ein Kompromiss
    Wie oben exemplarisch berechnet, tragen die Dateianhänge sehr viel zum Speicherplatzverbrauch bei, während die eigentliche E-Mail dahingehend vernachlässigbar ist. Umgekehrt verhält es sich jedoch oft mit dem Informationsanteil. Hier ist der geschriebene Text häufig wichtiger, welcher beispielsweise die Paket-Rücksendedaten oder eine Telefonnummer enthält. Auch das reine Vorhandensein einer Nachricht mit Eingangsdatum kann im Fall der Fälle ausschlaggebend sein. Es liegt also nahe die Anhänge von der eigentlichen E-Mail zu trennen, und nur diese Anhänge zu archivieren. Die eigentliche E-Mail belegt nicht viel Platz und kann im System verbleiben. Die wichtigsten Infos bleiben vorhanden und sind jederzeit abrufbar.
    Die Anhänge hingegen sollten so abgelegt werden, dass sie a) keinen wertvollen GREYHOUND Speicher belegen, und b) trotzdem im Bedarfsfall wiedergefunden werden können.


    Und wie geht das?
    Um die Anhänge aus GREYHOUND heraus zu bekommen, bedienen wir uns des FileSync-Programms, welches bei der Client-Installation von GREYHOUND mit installiert wird. Dieses Programm synchronisiert Dateien zwischen GREYHOUND und einem lokalen Rechner, ähnlich wie Dropbox, Skydrive oder GoogleDrive. (Weitere Infos zu FileSync findet ihr im Handbuch.) FileSync synchronisiert dabei ausschließlich Elemente vom Typ Datei, also keine E-Mails, Briefe oder sonstige Elemente. Die Anhänge in GREYHOUND sind jedoch Bestandteil einer E-Mail, und damit für den FileSync nicht verfügbar. Wir müssen also dafür sorgen, dass die Anhänge von der jeweiligen E-Mail getrennt, und separat als Datei in GREYHOUND gespeichert werden.


    Wenn FileSync entsprechend konfiguriert, gestartet und aktiv geschaltet wurde, beginnt das Programm automatisch alle Dateien in GREYHOUND mit dem lokalen Rechner zu synchronisieren. FileSync erstellt dazu auf dem lokalen Rechner einen Ordner und hält die Daten darin von nun an immer synchron. Das bedeutet, dass jede Änderung auf der einen Seite die gleiche Änderung auf der anderen Seite herbeiführt. Sobald ein Dateianhang in eine Datei konvertiert wurde, wird diese von FileSync auf den lokalen Rechner heruntergeladen. Beim ersten Start wird demnach eine Kopie aller Dateien in GREYHOUND auf dem lokalen Rechner erstellt, weil diese lokal noch nicht vorhanden sind.


    Doch dann ist der Speicherplatz in GREYHOUND noch nicht frei geworden. Die Dateien sind ja dort noch vorhanden. Damit diese in GREYHOUND gelöscht werden und damit Speicherplatz freigegeben wird, müssen wir die Dateien erst auf unserem lokalen Rechner aus dem vom FileSync überwachten Ordner woanders hin verschieben (Beispielsweise auf einen Fileserver oder ein NAS). FileSync erkennt die verschobenen Dateien als gelöscht, und sorgt umgehend dafür, dass die Dateien auf der anderen Seite, in diesem Fall dem GREYHOUND, ebenfalls als gelöscht markiert werden. Nun müssen diese Dateien lediglich noch endgültig in GREYHOUND gelöscht werden (idealerweise von einer automatischen Regel). - Voilá :-)


    Damit man später wieder eine Zuordnung zwischen E-Mail und Anhang herstellen kann, wird der Dateiname des Anhangs von einer Regel so geändert, dass die Vorgangsnummer darin enthalten ist. Somit lässt sich sowohl über die Windows Suche in den Dateien, als auch über die GREYHOUND-Suche in den E-Mails leicht der passende Anhang zu einer E-Mail und umgekehrt wiederfinden.
    Zudem wird der jeweiligen E-Mail eine kleine Textdatei mit einer Info beigefügt, wohin der Anhang archiviert wurde.


    Die Umsetzung im Detail

    • Erstellen einer Gruppe Anhangsexport
    • Optional: Einrichtung des/der notwendigen Benutzer, Benutzergruppe und des Profils (für erhöhte Sicherheit)
    • Erstellen eines Filters zur Filterung aller E-Mails mit Anhängen größer 512kB
    • Erstellen einer Regel zur "Abtrennung" von E-Mail-Anhängen und Speicherung dieser als Elementtyp Datei in GREYHOUND
    • Konfiguration des GREYHOUND FileSync auf einem lokalen Rechner und manuelles Verschieben der Anhänge auf eine lokale Festplatte
    • Optional zu Punkt 5: Automatisierung des Verschiebens der Anhänge auf eine lokale Festplatte
    • Optional: Anpassung oder Erweiterung der Regel für das endgültige Löschen


    1.) Legt eine Gruppe Anhangsexport an. Aus Gründen der Übersicht empfehle ich diese Gruppe als Untergruppe einer Gruppe FileSync anzulegen, doch prinzipiell ist es egal wo sich die Gruppe befindet. Es sind zudem keine zusätzlichen Angaben wie E-Mail-Adresse oder Telefonnummer notwendig.
    FileSync synchronisiert die Dateien der Gruppen, die später in der FileSync-Konfiguration auswählbar sein werden. Damit die Dateianhänge von anderen Datei-Elementen unterscheidbar sind, wird diese Gruppe benötigt.


    2.) Legt ein Profil FileSync an, erstellt dann eine gleichnamige Benutzergruppe und legt zuletzt den Benutzer filesync_anhangsexport wie in den nachfolgenden Screenshots gezeigt an.
    Dieser Schritt ist nicht unbedingt notwendig, sorgt aber für mehr Sicherheit und Flexibilität beim Anhangsexport. Man hat damit die Möglichkeit den Anhangsexport unabhängig von anderen Benutzerzugriffsberechtigungen einzurichten und somit das jeweilige Benutzerkennwort zu schützen. Da FileSync optimaler weise unbeobachtet gestartet und aktiviert werden soll, kann man durch diesen Schritt später in der FileSync-Konfiguration Benutzerdaten mit geringen Rechten hinterlegen.





    3.) Erstellt einen neuen Filter der euch genau die E-Mails mit Anhängen anzeigt, die ihr archivieren wollt. Nennt diesen Filter beispielsweise E-Mails mit großen Anhängen älter 180 Tage. Dieser Filter sollte nur für Administratoren sichtbar sein. Selbstverständlich könnt ihr den Filter noch auf eure eigenen Bedürfnisse anpassen. Hier ein Beispiel wie die Optionen eines solchen Filters aussehen könnten:


    4.) Im GREYHOUND Client importiert ihr unter Funktionen > Einstellungen > Regeln > Import die Regel Archivierungsregel: Anhangsexport, welche hier heruntergeladen werden kann. Passt die Einstellungen auf den Reitern Serieneinstellungen (Zeitsteuerung) und Filter (Zeitsteuerung) so wie auf den Screenshots gezeigt an.


    [warnbox]Wie bei allen Regeln solltet ihr diese erst durch manuelles Anwenden auf ein Element testen, bevor ihr diese zeitgesteuert automatisiert![/warnbox]
    5.) Als nächstes startet und konfiguriert ihr FileSync auf dem Rechner, der für das Herunterladen der Dateien verantwortlich sein soll. Das kann entweder ein Server sein (Administrator muss angemeldet bleiben), oder aber ein beliebiger Arbeitsplatzrechner, der täglich im Gebrauch ist.
    [infobox]Das Herunterladen der Dateien ist von dem regelgesteuerten "Abtrennen" der Anhänge zeitlich gesehen völlig unabhängig. Es ist nicht unbedingt notwendig, dass der Rechner mit FileSync nachts ebenfalls angeschaltet ist. Sobald der Rechner hochgefahren wird, beginnt FileSync mit seiner Arbeit und lädt die ggf. durch die Anhangsexport-Regel in der Nacht hinzugekommenen Dateien herunter.[/infobox]
    Hier sollte man nach erfolgreichem Test der Konfiguration die beiden Optionen Programm nach der Benutzeranmeldung automatisch starten sowie Synchronisation nach dem Programmstart sofort aktivieren aktivieren, damit die Synchronisierung nach der Anmeldung automatisch startet (1).
    Als Zielverzeichnis wählt ihr hier ein Verzeichnis aus, welches vorübergehend genügend Platz hat. Dieses Verzeichnis ist NICHT das endgültige Archivverzeichnis!
    Bei den Verbindungsoptionen (2) gebt ihr die Zugangsdaten für den vorhin angelegten Benutzer filesync_anhangsexport ein. Alternativ könnt ihr hier auch die Zugangsdaten eines beliebigen Benutzers eintragen. Ihr müsst in diesem Fall aber sicherstellen, dass dieser Benutzer auch Zugriff auf die neue Gruppe Anhangsexport, sowie die entsprechenden Rechte im Benutzerprofil hat.
    Die Komprimierung macht keinen Sinn wenn eure Anhänge überwiegend aus bereits komprimierten Dateien wie JPG-Bildern besteht, daher habe ich diese hier ausgeschaltet gelassen.
    Auf dem ReiterGruppen für Synchronisation wählt ihr die zu synchronisierenden Gruppen aus. Solltet ihr die Gruppe Anhangsexport als Untergruppe einer anderen Gruppe erstellt haben, so müsst ihr an dieser Stelle neben der Gruppe Anhangsexport auch diese auswählen (3).



    [warnbox]Wichtig 1: Der Speicherplatz in GREYHOUND wird erst dann frei, wenn ihr die Dateien auf dem lokalen Rechner nach der Synchronisation aus dem FileSync Verzeichnis (das was ihr in der FileSync-Konfiguration eingetragen habt) manuell in das endgültige Zielverzeichnis verschoben habt.[/warnbox]
    [warnbox]Wichtig 2: Der Anhangsexport ersetzt nicht die EML-Regel! Bitte prüft ob ihr in eurem System regelmäßig automatisiert alte EML-Dateien löscht. Ansonsten verschenkt ihr auch nach dem Export der Anhänge noch 50% eures Speicherplatzes.[/warnbox]
    6.) Ihr könnt eines der zahlreichen Synchronisationstools für Windows verwenden um das manuell notwendige Verschieben in das endgültige Zielverzeichnis auch noch zu automatisieren. Das Programm SyncToy von Microsoft oder Syncovery sind nur zwei dieser Tools die das können sollten.


    7.) Wie bereits oben beschrieben sind die Dateien nach dem Verschieben in GREYHOUND lediglich als gelöscht markiert. Der Speicherplatz wird also erst dann frei, wenn ihr diese Dateien manuell als gelöscht markiert, oder wenn eure Regel für das automatische Leeren des Papierkorbs greift. Bei akutem Platzbedarf kann es daher sinnvoll sein, diese Löschregel entweder anzupassen (beispielsweise indem ihr die Zeit nachdem Elemente gelöscht werden verkürzt), oder eine weitere Regel zu erstellen, die explizit gelöschte Dateien löscht. Meine Empfehlung ist eine zusätzliche Regel für die gelöschten Dateien, welche einmal pro Nacht läuft.


    Meine persönliche Checkliste für das Speicherplatzmanagement
    Abschließend möchte ich euch noch meine persönliche Checkliste für das Speicherplatzmanagement mitgeben. Wenn ihr diese Schritt für Schritt durchgeht und umsetzt, dann hält sich euer GREYHOUND völlig alleine in Schuss. Ihr vermeidet Speicherplatzprobleme in GREYHOUND und die damit einhergehenden Sorgen in Bezug auf die Datensicherung. Letztendlich habt ihr dann einfach weniger Stress :-)

    • Regel zum Löschen von Original EML-Dateien vorhanden und funktionstüchtig? (kein Informationsverlust)
    • Regel zum endgültigen Löschen des "Papierkorbs" vorhanden und funktionstüchtig?
    • Regel zum Löschen von Statusnachrichten (eBay, Amazon, PayPal, Webshop, usw.) vorhanden und funktionstüchtig? (meist kein Informationsverlust, da Auftragsdaten in der Warenwirtschaft oder dem Marktplatz einsehbar sind)
    • Regel zum löschen von geprüftem Spam vorhanden und funktionstüchtig?
    • Regel zum Exportieren von Dateianhängen vorhanden und funktionstüchtig? (kein Informationsverlust, lediglich der Zugriff auf die Infos dauern gegebenenfalls länger)
    • Regel zum endgültigen Löschen des "Papierkorbs" explizit für exportierte Dateianhänge vorhanden und funktionstüchtig?


    Ich hoffe ich konnte euch hiermit eine nachvollziehbare Anleitung mitgeben mit der ihr euren Speicherplatz im Griff behaltet :-)


    Lieben Gruß,
    Sascha

    Sascha "Grandmaster" Lammers ;-)
    Team GREYHOUND

    Dieser Beitrag wurde bereits 1 Mal editiert, zuletzt von Wolfram () aus folgendem Grund: Anhangsexport-Regel in Doku verlinkt (anstatt Cube)

  • Hallo Sascha,


    der Kölner Artgenosse meldet sich nochmal zu Wort (Kinderzimmerhaus.de / Admin-Schulung 19.06.2013).


    Auch ich habe FileSync bei uns erfolgreich einrichten können und dank deiner Regel läuft er auch einwandfrei, vielen Dank für diesen tollen, ausführlichen Beitrag!.


    Der Inhaber wünscht sich aber, dass auch im lokalen Verzeichnis die Anhänge nach Gruppen sortiert werden, da eine Suche nach Vorgangsnummer (so werden die Dateianhänge ja benannt) zu umständlich erscheint.


    Betreffende Stelle in deiner Regel:


    Code
    1. FileItem.GroupRef := 55; // Hier die Zielgruppe für die Dateien festlegen.


    Zeile 21. Hier definiere ich ja, dank dem ID Inspect die Gruppe Anhangsexport. Kann oder muss ich die Regel irgendwo ergänzen um das angestrebte Ergebnis zu erzielen ?


    Nochmal konkret: Derzeit werden alle Dateianhängen aus Greyhound in das lokale Verzeichnis "Backup\Filesync\Anhangsexport" exportiert. Mittels Sync-Tool in einen weiteren Ordner "...\Archiv Anhang GH" exportiert und aus "\Anhangsexport" gelöscht, damit FileSync sie auch brav im Greyhound als gelöscht markiert. Ziel ist, alle Gruppen so darzustellen, also "Backup\Filesync\Kundenservice" und "...\Buchhaltung" und "...\Marketing".


    Vielleicht habe ich mich in letzter Zeit ein wenig überdosiert mit Greyhound beschäftigt, aber mir will gerade kein Lösungsansatz einfallen. Für einen kleinen Tipp wäre ich also dankbar.


    Freundliche Grüße


    Stefan von Kinderzimmerhaus.de

  • Hallo Stefan,


    einfach ersetzen:

    Code
    1. FileItem.GroupRef := Item.GroupRef


    Anschließend muss du den Filesync natürlich so konfigurieren, dass auch die entsprechenden Gruppen synchronisiert werden.


    Nachteil: Etwaige andere Dateien in GREYHOUND werden natürlich auch gesynct, daher der "Umweg" über eine "exklusive" Anhangsexport-Gruppe.

  • Update: Die Anhangsexportregel mit dem Namen Archivierungsregel Anhangsexport.ghRule habe ich überarbeitet und die Beschreibung inklusive Downloadlink angepasst. Die jeweils aktuellste Regel für den Anhangsexport findet ihr zusammen mit den anderen GREYHOUND-Standardregeln in der Filebase .


    Lieben Gruß