allg. Fragen zu Eurem Umgang mit großen Datenmengen und TB..

  • Hallo Forum!


    Ich hoffe auf einige generelle Hinweise und Denkanstöße aus der erfahrenen TB-Gemeinschaft.


    Mein Problem:
    Wir sind ein ehemals sehr kleines Grafikstudio (mit 2 Personen angefangen) und sind in letzter Zeit auf über 40 Mitarbeiter angewachsen.
    Unsere IT-Struktur ist wohl noch eher mit "self made" zu beschreiben.


    Unsere komplette Mailkommunikation läuft über einen Provider - wir haben also keinen eigenen Mail-Server im Büro stehen.


    Es kommt nun regelmäßig vor das der TB keine Mails mehr senden oder empfangen kann weil die jeweiligen Dateien auf den einzelnen Rechnern zu groß geworden sind. Erst eine Aufteilung durch weitere Unterverzeichnisse und ein Komprimieren im TB bringt Abhilfe.


    Wir sind auf diese große Anzahl Mails und die jeweiligen Anhänge in der Mail angewiesen um Vorgänge auch später erneut nachvollziehen zu können.


    Gibt es irgendwelche erprobten Möglichkeiten den Umgang mit vielen großen Anhängen zu erleichtern? Kann man die z.B. automatisch abtrennen und auf einen eigenen Dateiserver legen und dabei die Verlinkung in der Mail zu dieser Datei erhalten?


    Ich bin mir nicht sicher ob ich mein Problem konkret genug darstellen konnte. Ich bin mir letztlich auch nicht ganz sicher wo eigentlich unser Problem liegt ;)
    Fakt ist das wir hier permanent Ärger mit zu großen Mail-Dateien (also z.B. die "Sent" oder "Inbox") haben und ich dieses Problem irgendwie lösen will/muß.


    Das gilt hier übrigens für alle Systeme. Das sind sowohl Win7, OS X als auch Linux-Systeme.


    Also wie läuft das bei Euch privat und/oder in den Firmen?


    Bin für jeden Hinweis mehr als dankbar.


    Gruß!

  • Hallo oro5!


    Keine Sorge, der Sachverhalt wurde von dir gut und nachvollziehbar formuliert. Ich kann mitfühlen ... .

    Zitat

    Ich bin mir letztlich auch nicht ganz sicher wo eigentlich unser Problem liegt ...


    Ich sehe da ganz klar zwei Ursachen für euer Problem:

    • Ihr habt wie viele andere KMU ganz klein und bescheiden angefangen, habt auch (aus vernünftigen und verständlichen Kostengründen) eure IT "selfmade" errichtet, habt erfolgreich expandiert - und den Moment verpasst, an welchem auch die IT einen entsprechenden Qualitätssprung hätte machen müssen.
    • Ihr habt wie leider sehr viele E-Mail-Anwender den Fehler gemacht, dass ihr bis heute nicht wahrhaben wollt, dass E-Mail nie als ein Mittel für den Transport von Massendaten entwickelt wurde bzw. dafür gut geeignet ist.


    Ja, und das alles "zahlt sich nun aus". Leider aber unweigerlich. Firmen wie eure sind dafür bekannt, dass sie nun mal mit riesigen Dateien umgehen müssen.


    Selbstverständlich könnt ihr euch einen E-Mailprovider für kommerzielle Kunden suchen, der euch Dutzende von GB in seinen (selbstverständlich!) IMAP-Konten anbietet. Ihr könnt diesen Provider vertraglich beauftragen, dass er euch eine extrem hohe Verfügbarkeit eurer empfangenen und gesendeten Mails garantiert. Auch eine entsprechende Redundanz (Speicherung in mehreren räumlich getrennten Rechenzentren) kann gegen Geld vereinbart werden. <= alles das könnt ihr auch als KMU in "selfmade" nicht packen!
    Der (wie ich aus deinem Beitrag herauslese) unter POP3 betriebene Thunderbird ist auf jeden Fall mit dieser Aufgabe rettungslos überfordert. Irgendwann wachsen euch die vielen Ordner über den Kopf.
    Selbstverständlich gibt es Add-ons, mit denen du händisch (!) die Anhänge aus den E-Mails ablösen und (so wie es sich gehört) als ganz normale Datei auf einem Fileserver speichern kannst. Aber auch letzterer benötigt wieder eine Sicherung ... .


    Ich denke da eher an eine Lösung, welche was die Massendaten betrifft, völlig weg geht von E-Mail!
    Ich kann mir da eine Lösung vorstellen, wo die Kunden sich an einer Webseite anmelden und dann wie heutzutage üblich ihre Grafikdateien mit dem Broswer hochladen und vielleicht auch bearbeitete Dateien wieder herunterladen. Im Hintergrund werden diese Dateien in professionellen Storagesystemen beim Provider (mit entsprechenden Schnittstellen zu euch) gespeichert. Für die Sicherheit (Verfügbarkeit) der Dateien ist der Provider zuständig. Der wird dafür bezahlt. Bei euch müssten die Daten noch nicht einmal zwingend gespeichert werden (was aber auch niemals schadet ...). Und der eigentliche Kundenkontakt, Vertragsvorbereitung, Versendung der Rechnung, aber auch evtl. der Versand der Zugangsdaten für das o.g. System kann weiterhin über E-Mail erfolgen. Kann natürlich auch dort implementiert werden.


    Auf jeden Fall empfehle ich dir mal, in diese Richtung zu denken. (Und dann mit einem Fachmann oder einer Fachfirma zu reden.)


    Diese Frage habe ich doch fast übersehen ...

    Zitat

    Also wie läuft das bei Euch privat und/oder in den Firmen?


    In der "Firma" würde ich nie freiwillig auf mein geliebtes "Notes" verzichten! So sehr wie ich privat den Thunderbird mag. Und aus guten und nachvollziehbaren Gründen ist es bei uns technisch ausgeschlossen, Riesendateien per Mail zu übertragen. WOWEREIT! Dafür haben wir ein riesiges Intranet ... .


    Und privat?
    Ja, da nutze ich auf meinen Rechnern selbstverständlich jetzt den Thunderbird. Ganz am Anfang haben wir Mails auf der Konsole gesendet und empfangen, dann kam ein Fenster-Betriebssystem mit einem hauseigenen Mailclient, dann The!Bat, und viele andere mehr. (Und auf dem Smartphone mit K9-Mail den IMHO besten Mailclient, den es zur Zeit gibt.) Und selbstverständlich werden heute meine vielen Mailkonten als IMAP-Konten betrieben.
    Auf den Servern meiner Provider speichere ich die E-Mails, welche ich in den letzten 30 Jahren empfangen und gesendet habe. Oder zumindest alle die, welche ich als aufhebenswert betrachte (Ich akzeptiere, wenn mich jemand als "Datenmessie" bezeichnet ;-)). Und obwohl es viele Tausend sind, ist es vom Platzbedarf extrem wenig: ich nutze nur Reintext und habe meine Mailpartner auch dazu erzogen. Und ich dulde auch nur kleine Anhänge. Für Monsteranhänge habe ich meinen ftp-Server ... .



    MfG Peter

    Thunderbird 45.8.x, Lightning 4.7.x, openSUSE Tumbleweed, 64bit
    S/MIME, denn ich will bestimmen, wer meine Mails lesen kann.
    Nebenbei: die Benutzung der (erweiterten) Suche, und von Hilfe & Lexikon ist völlig kostenlos - und keinesfalls umsonst!
    Und: Ich mag kein ToFu und kein HTML in E-Mails!

  • Hallo Peter,


    ich glaube Du hast Recht. Wir haben sicherlich den Punkt verpaßt uns im Vorfeld GRÜNDLICH auf die kommenden Datenmengen vorzubereiten.
    Ich habe hier zwar problemlos einen Timemachine-, afp-, cifs, ftp- und sonstwas-Server mit reichlich Terrabyte einrichten und administrieren können, aber bei der ganzen Mailgeschichte scheitere ich eben auch an den Leuten selbst. Wie Du schon schreibst müßten aktuell manche Aufgaben regelmäßig händisch erledigt werden, aber da rede ich oft gegen eine Wand. Die Mitarbeiter schreien eben erst wenn mal wieder Irgendwas nicht funktioniert.


    Mein Problem liegt aber zum großen Teil auch bei unseren Auftraggebern. Teilweise darf außer Mail kein anderer Service verwendet werden. Zugriffe auf unseren, natürlich vorhandenen ftp-Server (aktuell gut 12 TB - kaum zu glauben aber wahr ), sind nicht immer möglich - da bleibt dann nur der Mailversand oder aber ein Kurierdienst. Manche unserer psd-Dateien können gut und gern an die 1GByte groß werden.


    Ich bin aktuell schon dabei die Mailkonten auf IMAP umzustellen - mit POP3 hattest Du also auch Recht ;)


    Mir ist persönlich wohl bewußt das Mailprogramme nicht zur Langzeitarchivierung gedacht sind.....aber unsere Mitarbeiter denken da anders. Aber es ist ja meine Aufgabe die nötige Arbeitsumgebung zu schaffen.


    Gibt es denn wirklich keine Möglichkeit, außer IMAP beim Provider, Anhänge verlinkt mit der Mail an einem anderen Ort (sprich Dateiserver) zu speichern?


    Warum hat TB überhaupt scheinbar ein Problem mit der 4GB-Dateigröße? Das ntfs- oder auch das ext4-Dateisystem sollte damit ja umgehen können.


    Diskutiere gern weiter ;)


    Gruß!

  • Jaja, ich kann dich gut verstehen ... .
    Als jemand, der seine Brötchen mit "der Produktion" von IT-Sicherheit verdient, kenne ich diese Probleme sehr genau. Der ewige Kampf zwischen Wissensträgern und Entscheidern. Wir sind nur die Verhinderer, die auch noch viel Geld verschlingen. Leider siegen meistens die Entscheider ... . Zumeistens, bis dann wieder mal was passiert. Dann wird gefragt, warum wir uns nicht durchgesetzt haben.


    Sicher gibt es Lösungen, bestimmte Sachen zu automatisieren. Zumindest teilweise. So kannst du mit dem Add-on "ImportExportTools" den Inhalt ganzer "Mailordner" (z. Bsp. das Archiv eines Vorjahres oder alten Vorganges usw.) in einem Rutsch als einzelne .eml-Dateien direkt auf einen Fileserver exportieren. Danach händisch die Quelle löschen und (wichtig!) komprimieren. Natürlich ist die .eml-Datei wieder durch die Umcodierung genau so aufgebläht wie der ursprüngliche Quelltext. Aber du hast Mail + Anhang im Zusammenhang außerhalb des Mailsystems gespeichert - und dort wieder Platz geschaffen.
    Dann gab es auch mal ein Add-on, mit welchem du Anhänge aus der Mail heraus wieder in ihrem binären Zustand herauskopieren und als Ursprungsdatei abspeichern kannst. Die Datei liegt dann auf dem Fileserver und in der Mail bleibt ein Hinweis mit dem neuen Speicherort zurück. Und ich will auch keinesfalls abstreiten, dass ein findiger Programmieren das ganze garantiert auch vollständig automatisieren kann.
    Trotzdem: das alles sind und bleiben Krückenlösungen!


    Zitat

    Mein Problem liegt aber zum großen Teil auch bei unseren Auftraggebern. Teilweise darf außer Mail kein anderer Service verwendet werden.


    Es lebe die Dummheit. Mehr Kommentar gibt es nicht dazu.
    Vielleicht kann man mal gaaaaaaaaaaaaaanz vorsichtig (es sind ja leider die Leute, die dich bezahlen ...) nach den Gründen fragen.
    Ein paar Argumente:
    - binäre Anhänge werden wegen der erforderlichen Umcodierung um 1/3 aufgebläht => langsamer
    - viele Provider verbieten (zum Glück!) Monsteranhänge
    - E-Mails sind (wenn nicht gerade verschlüsselt) "öffentlich" => will der Auftraggeber, dass Dritte mitlesen?
    - euer ftp-Server kann wunderschön in eine Webseite eingebunden werden
    - eine ordentliche Authentisierung mit Benutzerdaten (je Kunde ein eigenes Konto auf dem Server!) und SSL/TLS sind bei einem vsftp-Server Stand der Technik



    Zitat

    Warum hat TB überhaupt scheinbar ein Problem mit der 4GB-Dateigröße? Das ntfs- oder auch das ext4-Dateisystem sollte damit ja umgehen können.


    Es handelt sich bei diesen mbox-Dateien um reine Textdateien in welche alle Mails hintereinander geschrieben werden. Alle binären Anhänge werden bei jedem Lesen und Schreiben umcodiert. Dann stelle dir vor, dass in einer mehrere GB großen Datei ständige Lese- und Schreibvorgänge stattfinden. Dabei noch die Umcodierungen. Und wenn dann durch das Komprimieren die vorher als gelöscht markierten Mails endgültig aus dieser Datei gelöscht werden, dann wird diese Datei ohne die markierten Stellen "auf sich selber kopiert". Und das ganze eben mit derartigen Monsterdateien. Das kann nicht gut gehen.
    In der englischen Originaldokumentation findest du noch die offizielle Begründung.



    MfG Peter

    Thunderbird 45.8.x, Lightning 4.7.x, openSUSE Tumbleweed, 64bit
    S/MIME, denn ich will bestimmen, wer meine Mails lesen kann.
    Nebenbei: die Benutzung der (erweiterten) Suche, und von Hilfe & Lexikon ist völlig kostenlos - und keinesfalls umsonst!
    Und: Ich mag kein ToFu und kein HTML in E-Mails!

  • Hallo,


    Zitat von "oro5"

    Warum hat TB überhaupt scheinbar ein Problem mit der 4GB-Dateigröße? Das ntfs- oder auch das ext4-Dateisystem sollte damit ja umgehen können.


    Ich stimme Dir zu. Die 4-GB-Grenze sollte heutzutage längst kein Problem mehr sein. Das ist IT-Steinzeit. Du findest das von Peter genannte Dokument von Mozilla hier.
    Soweit ich es verstehe, liegt das Problem weniger im Mbox-Format an sich sondern eher in der Art und Weise, wie es in TB implementiert wurde. Das zu ändern, scheint nicht ganz so einfach zu sein.


    Außerdem gibt es Pläne, das Mbox-Format durch MailDir abzulösen bzw. andere Formate über eine Schnittstelle (pluggable mail stores) nutzbar zu machen.


    Somit, so scheint es mir, hat man sich seitens Mozilla entschieden, das Thema Mbox nicht mehr wirklich anzugehen sondern stattdessen (in einer Art Vogel-Strauß-Weise) schlicht zu akzeptieren, dass bei 4GB Schluss ist:


    Zitat


    ...
    There is a proposal on the tb-planning mailing list to "just admit that local mbox folders are limited in size to 4GB, make sure that any usage of mbox folders does not allow >4GB operations, and put our efforts instead to finishing the remaining issues in maildir support."
    ...


    Dazu mag jeder denken, was er will.


    Gruß


    Susanne

  • Guten Morgen Susanne!


    Auch Dir besten Dank für diese Informationen!


    Da brauch ich mir wenigstens keinen Kopf mehr um die 4GB-Beschränkung zu machen. Dacht schon ich mache irgendwas falsch.


    Gruß!

  • Hallo oro5,


    vielleicht noch ein Hinweis. Laut dem Mozilla-Dokument können den Indexdateien (*.msf) seit der Verson 3.1. mit 64-bit-Offesetwerten umgehen. Somit gilt die 4-GB-Grenze nicht mehr für IMAP-Ordner, also jene, die auf dem Mailserver liegen. Diese liegen ja nicht im Mbox-Format vor.
    Für die lokalen Order gilt die Beschränkung aber nach wie vor, d.h. Du könntest zwar auf dem Server größere Ordner anlegen, hättest dann aber keine Möglichkeit mehr, diese lokal zu speichern. Bzgl. der Datensicherheit wäre also auf die Vertragsdetails mit dem Provider zu achten.


    Zitat


    ...
    Thunderbird 3.1 added a a 64-bit offset to the .msf file allowing folders larger than 4GB, if the file system permited that large a file [3] [4] . That removed the 4GB limit for remote folders in IMAP accounts but had no effect on local folders, including any offline storage (Tools -> Account Settings -> Synchronization & Storage ->Message Synchronizing) for remote folders. Offline storage uses mbox files, just like POP accounts and the Local Folders pseudo account.
    ...


    Ich weiß nicht, ob das tatsächlich funktioniert. Mein privater Mailbestand erreicht über alle Ordner insgesamt keine 4 GB :-).


    Gruß


    Susanne