Speicherplatz-Management: Wie behalte ich die Datenbank-Größe im Griff?

  • Hallo Community,


    das Weihnachtsgeschäft ist in vollem Gange, täglich steigt das Volumen an eingehenden Nachrichten, Kundenmails mit hochauflösenden Fotos, aktuelle Einkaufslisten vom Großhändler etc., und Euer GREYHOUND wächst natürlich mit.


    Gerade wenn Speicherplatz technisch bedingt oder aus Kostengründen begrenzt ist, stellt sich zwangsläufig irgendwann die Frage, wie man diesem Umstand entgegen wirken kann. Je grösser die Datenbasis umso interessanter werden ausserdem Backupstrategien etc.


    Heute möchten wir hier einige Möglichkeiten aufzeigen, um ausuferndem Datenvolumen entgegenzuwirken.


    Eins vorweg: Das von GREYHOUND zu verwaltende Datenvolumen hat Architekturbedingt nur einen geringen Einfluss auf die Performance des Gesamt-Systems (entsprechende Hardware vorausgesetzt). Dem GREYHOUND ist es also ziemlich egal, wieviele Elemente Ihr mit ihm verwaltet.


    Den grössten Anteil am Gesamtdatenvolumen machen übrigens typischerweise nicht die Kommunikationsdaten (E-Mails, Briefe, Faxe etc.), sondern E-Mail-Anhänge (Bilder, Fotos, Dokumente, etc.) aus. Typischerweise besteht ein Verhältnis von 20% / 80 % = 20% des Gesamtdatenvolumens sind reine Kommunikationsdaten, die restlichen 80% sind Anhänge.


    Nachfolgend einige Möglichkeiten wie man mit steigendem Gesamtdatenvolumen umgehen kann:


    1.) Wenn ihr GREYHOUND ohne Ausnahmen als zentrales, volltextdurchsuchbares System nutzen möchtet in dem immer alle Daten ich Echtzeit verfügbar sind (UNSERE EMPFEHLUNG - je aufwendiger eine Suche nach Informationen ist umso weniger sucht man wirklich überall = umso schlechter ist die Datenbasis für die Entscheidung)


    Die zentrale Frage die man sich stellen muss: Welche Informationen benötige ich WIRKLICH, welche sind "Schön zu haben" und welche werden nach einer bestimmten Zeitspanne unnötig?


    Nachfolgend einige beispielhafte Fälle, die nicht zwangsweise einer dauerhaft Archivierung bedürfen da diese Informationen entweder schon in anderen Drittsystemen (ERP-System, Online-Shop etc.) gespeichert werden oder diese nur eine bestimmte Lebensdauer haben:


    • Automatisiert generierte Statusbenachrichtigungen wie Bestellbestätigungen des Onlineshops, Versandbestätigungen, Zahlungsbestätigungen, eBay Einstellbestätigungen etc.
    • Bild-Anhänge grösser X MB im Kundenservice oder Reklamationsordner die Reklamationen betreffen
    • Produktphotos vom Hersteller / Lieferanten / aus der eigenen Produktphotoproduktion
    • Angebote die inkl. Produktbroschüren etc. als E-Mail-Anhänge versendet werden

    In den allermeisten Fällen reicht es in den oben genannten Fällen aus die Nachrichten bzw. die Anhänge der Nachrichten (Bilder, Angebote, Excel Tabellen etc.) nur für einen bestimmten Zeitraum (beispielsweise 3 - 12 Monate je nach Typ) vorzuhalten. Dannach können die Statusnachrichten eventuell komplett gelöscht werden und Anhänge grösser X MB könnten automatisiert gelöscht werden wobei die dazugehörigen E-Mails erhalten bleiben können.


    Wenn ihr bestimmte Nachrichten nach einem definierten Zeitraum löschen möchtet, lässt sich das am besten über eine zeitgesteuerte Regel einrichten.


    a.) Das folgende Beispiel selektiert und löscht Elemente z. B. der Kaufabwicklung mit bestimmten Eigenschaften 180 Tage nach Nachrichteneingang bzw. der letzten Bearbeitung:



    b.) Das folgende Beispiel löscht alle Elemente mit einer definierten Anhangs-Größe nach 180 Tagen:



    Die oben aufgeführten Beispiele lassen sich natürlich mit beliebig weiteren Bedingungen ergänzen, z. B. das die Regel nur auf bestimmte Elementtypen, Themen, Gruppen, etc. angewandt werden soll.


    Achtung: Bei der Verwendung des Regelknotens / der Aktion "Element löschen" ist größte Sorgfalt geboten, die unüberlegte Anwendung in einer Regel kann schwerwiegende Auswirkungen haben = die Elemente werden unwiderruflich gelöscht!


    2.) Eine weitere Möglichkeit besteht darin, den "Mobilen Nachrichtenzugriff" für die Bereitstellung in einem externen bzw. lokalem Archiv-System (z. B. Outlook) zu verwenden. Über einen benutzerdefinierten Filter in GREYHOUND wird definiert, welche Elemente von der externen Anwendung per POP3 abgerufen werden sollen, über die Einstellung "Nachrichten nach dem Abruf auf dem Server löschen" in der externen Anwendung lassen sich die Elemente aus GREYHOUND entsprechend entfernen, eine weitere Regel hierzu ist nicht notwendig.


    a.) Das Modul "Mobiler Nachrichtenzugriff" muss Bestandteil eures GREYHOUND Vertrags sein, dieses kann einfach und unkompliziert online über das GREYHOUND Controlcenter unter https://greyhound-software.com//gcc/myaccount hinzugebucht werden.


    b.) Über einen neuen benutzerdefinierten Filter wird entsprechend definiert, welche Nachrichten das externe Archivsystem abrufen soll. Die Einrichtung in der externen Anwendung erfolgt über ein entsprechendes POP3-Konto, welches die Nachrichten aus GREYHOUND abruft, beispielsweise Microsoft Outlook.


    c.) Anschließend wird das POP3-Konto in der externen Anwendung konfiguriert, die entsprechenden Parameter sind:


    Host des POP3-Servers: [Host/IP eures GREYHOUND Serves]
    Benutzername: [GREYHOUND Benutzername]#[Name des angelegten Filters]
    Kennwort: [äquivalent zum Login im GREYHOUND Client]


    Zusätzlich muss entsprechend die Einstellung "Nachrichten nach POP3-Abruf auf Server löschen" aktiviert werden.


    Folglich werden die im Filter definierten Elemente von der externen Anwendung abgerufen und anschließend in GREYHOUND gelöscht, entsprechend reduziert sich der Speicherbedarf auf dem GREYHOUND Server.


    Bedenkt bei dieser Lösung, dass die abgerufenen Elemente nach dem "Export" nicht mehr in GREYHOUND und somit auch nicht mehr über die Volltext-Suche verfügbar sind.


    Viel Erfolg! :thumbsup:

  • Hier noch ein kleiner Nachtrag mit einem Ausblick auf die kommende Beta/Stable-Version (Version 4.0.0 Build 1297 oder höher):


    Mit der kommenden Version bieten wir zwei zusätzliche erweiterte Aktionen im Regelsystem an:


    1.) Original-EML-Datei löschen: GREYHOUND speichert jedes Element redundant, einmal in der Datenbank und einmal im Datei-System. Die doppelte Speicherung ist notwendig um bei etwaigen Fehlern eine Diagnose-Möglichkeit zu schaffen, bzw. Elemente schnell und einfach zu exportieren. Für Elemente, welche fehlerfrei eingegangen sind oder bereits bearbeitet wurden ist die Original-EML-Datei nicht mehr notwendig, aus diesem Grund kann diese optional gelöscht werden. Wir empfehlen eine entsprechende Regel anzulegen, alle EML-Dateien älter als 14 Tage zu löschen.



    2.) Anhänge löschen: Mit diesem Regelknoten besteht die Möglichkeit Anhänge von Elementen aus dem Dateisystem zu löschen, wird dieser Knoten angewandt sind die Anhänge anschließend nicht mehr verfügbar. Das eigentliche Element bleibt aber erhalten. Innerhalb des Knotens lässt sich bestimmten, ab welcher Dateigröße Anhänge gelöscht werden sollen und ob bei Verwendung der Dateiverwaltung in GREYHOUND alle Datei-Revisonen gelöscht werden sollen, optional lässt sich die letzte Revision des Anhangs / der Datei erhalten.



    Mit diesen beiden neuen Optionen ist es möglich, die Datenbank-Größe um bis zu 50% oder mehr zu reduzieren und somit ein möglicherweise notwendiges Upgrade des Hosting-Pakets oder einer Speicher-Erweiterung eures eigenen Servers hinauszuzögern.


    Für alle, welche die Möglichkeit nutzen möchten EML-Dateien zu löschen anbei die entsprechende Regel:


    Original-EML Dateien automatisch löschen.ghRule

  • ACHTUNG, nochmal ganz wichtig.


    Konfuzius* sagt: ERST FILTERN, dann Regeln (anwenden), denn so eine Regel, wie im obigen Fall muss NICHT immer auf den gesamten Datenbestand angewendet werden. Hier reicht es zum Beispiel, die Regel nur auf EINGEGANGENE Mails anzuwenden, das wiederrum verringert die Anzahl zu überprüfender Elemente und verringt die Zeit, in der der Queueserver buckeln muss.


    Im obigen Fall wäre es also sinnvoll einen Filter zu erstellen, der alle Mails im Zeitraum XA anzeigt, die den Status OFFEN oder ERLEDIGT haben. Auf diesen Filter kann man dann die Regel anwenden.



    * Name durch Red. geändert :-)

  • Am besten wäre es jedoch, wenn man einen Filter bauen kann, der sowohl das Alter des Elements berücksichtigt als auch ob die original EML noch vorhanden ist. Weil so durchläuft die Regel immer mehrere 100.000 Dokumente.... Oder kann man das irgendwie machen?

  • Hallo,


    wir wollen jetzt langsam mal dem ständig wachsendem Speicherbedarf in unserem Greyhound System Herr werden und entspr. "abspecken".


    In dem Beitrag oben von Herrn Voortmann zu diesem Thema befindet sich u.a. der Vorschlag, die Original-EML Dateien zu löschen. Leider funktioniert der Link zu der entspr. Regel nicht oder ich kann damit nicht umgehen.


    Kann jemand diese Regel hier posten ?


    Noch eine generelle Frage: Weiss jemand, ob ggfs. eine komfortable Archivierungsoption in Planung, mit der auch "nicht IT Profis" Mails vom Greyhound - Server holen können, die nicht mehr im direkten Zugriff sein müssen ?


    Danke im voraus !


    Beste Grüsse


    Ronald Dierks
    www.maddypopper.de
    Perlenshop und Schmuckdesgn

  • Hallo!


    Wir erhielten vor kurzem einen Anruf von GREYHOUND mit der Bitte, unseren Speicherverbrauch zu reduzieren. Der Thread liefert nun genau die Hinweise, die wir brauchen. Ich werde mich in den nächsten Tagen dransetzen und nach Rückspreche mit unseren Kunden entsprechende Löschungen vornehmen bzw. Backups durchführen.


    mfg
    Andreas Finke

  • Hallo,

    In dem Beitrag oben von Herrn Voortmann zu diesem Thema befindet sich u.a. der Vorschlag, die Original-EML Dateien zu löschen. Leider funktioniert der Link zu der entspr. Regel nicht oder ich kann damit nicht umgehen.

    Der Download der Regel funktiioniert. Beim Anklicken wird eine Datei zum Download angeboten, diese dann lokal speichern und im Regeleditor im GREYHOUND importieren.
    Falls die Datei beim Anklicken geöffnet wird anstatt dass ein Download angeboten wird, einfach mal mit Rechtsklick + "Ziel speichern unter" versuchen.


    Noch eine generelle Frage: Weiss jemand, ob ggfs. eine komfortable Archivierungsoption in Planung, mit der auch "nicht IT Profis" Mails vom Greyhound - Server holen können, die nicht mehr im direkten Zugriff sein müssen ?

    Man muss kein "IT-Profi" sein, um die hier genannte Möglichkeit der Archivierung selbst durchzuführen. Im Grunde funktioniert das Ganze genau so, wie wenn man sein Smartphone für die Abholung von Emails aus einem bestimmten GREYHOUND-Filter konfiguriert. Nur dass hier dann eben kein Smartphone die Emails abholt sondern ein anderer Mail-Client. Die Einrichtung des notwendigen mobilen Nachrichtenzugriffs ist hier beschrieben: Einrichtung des iPhones und anderer Mobiltelefone (Mobile Access) .


    Falls immer noch Unklarheiten bestehen, bitte hier weiter nachfragen - und am besten konkret beschreiben, wo an welcher Stelle es hängt.

  • Hallo,


    vielen Dank für die rasche Info zu meiner Anfrage.


    Die Regel haben wir mit Hilfe der Anmerkungen dann auch erfolgreich importiert.


    Eine Frage hierzu:


    Die Regel steht im System mit Trigger "zeitgesteuert" und wird täglich um 20:00 Uhr ausgeführt. Muss zu diesem Zeitpunkt ein User angemeldet sein oder passiert das im Hintergrund ? Ich kann mir vorstellen, dass das Löschen dieser EML Dateien beim ersten Mal ezwas dauert, da das System ersteinmal den kompletten Bestand bereinigen muss, oder ?


    Danke nochmal für Info.


    Ronald Dierks
    www.maddypopper.de
    Perlenshop und Schmuckdesign

  • Zitat


    Muss zu diesem Zeitpunkt ein User angemeldet sein oder passiert das im Hintergrund ?


    Es muss kein User angemeldet sein - der Vorgang passiert komplett im Hintergrund.



    Wichtige Zusatzinfo:
    Die Regel sollte NICHT täglich laufen - besser wöchentlich, z. B. am Wochenende. Denn die Abarbeitung kann in der Tat einiges an Ressourcen in Anspruch nehmen und ggf. auch etwas länger dauern. Eine leicht abgeänderte Form der Regel hänge ich hier noch einmal an.