allg. Fragen zu Eurem Umgang mit großen Datenmengen und TB..

Hallo oro5!

Keine Sorge, der Sachverhalt wurde von dir gut und nachvollziehbar formuliert. Ich kann mitfühlen ... .

Zitat

Ich bin mir letztlich auch nicht ganz sicher wo eigentlich unser Problem liegt ...

Ich sehe da ganz klar zwei Ursachen für euer Problem:

• Ihr habt wie viele andere KMU ganz klein und bescheiden angefangen, habt auch (aus vernünftigen und verständlichen Kostengründen) eure IT "selfmade" errichtet, habt erfolgreich expandiert - und den Moment verpasst, an welchem auch die IT einen entsprechenden Qualitätssprung hätte machen müssen.
• Ihr habt wie leider sehr viele E-Mail-Anwender den Fehler gemacht, dass ihr bis heute nicht wahrhaben wollt, dass E-Mail nie als ein Mittel für den Transport von Massendaten entwickelt wurde bzw. dafür gut geeignet ist.

Ja, und das alles "zahlt sich nun aus". Leider aber unweigerlich. Firmen wie eure sind dafür bekannt, dass sie nun mal mit riesigen Dateien umgehen müssen.

Selbstverständlich könnt ihr euch einen E-Mailprovider für kommerzielle Kunden suchen, der euch Dutzende von GB in seinen (selbstverständlich!) IMAP-Konten anbietet. Ihr könnt diesen Provider vertraglich beauftragen, dass er euch eine extrem hohe Verfügbarkeit eurer empfangenen und gesendeten Mails garantiert. Auch eine entsprechende Redundanz (Speicherung in mehreren räumlich getrennten Rechenzentren) kann gegen Geld vereinbart werden. <= alles das könnt ihr auch als KMU in "selfmade" nicht packen!
Der (wie ich aus deinem Beitrag herauslese) unter POP3 betriebene Thunderbird ist auf jeden Fall mit dieser Aufgabe rettungslos überfordert. Irgendwann wachsen euch die vielen Ordner über den Kopf.
Selbstverständlich gibt es Add-ons, mit denen du händisch (!) die Anhänge aus den E-Mails ablösen und (so wie es sich gehört) als ganz normale Datei auf einem Fileserver speichern kannst. Aber auch letzterer benötigt wieder eine Sicherung ... .

Ich denke da eher an eine Lösung, welche was die Massendaten betrifft, völlig weg geht von E-Mail!
Ich kann mir da eine Lösung vorstellen, wo die Kunden sich an einer Webseite anmelden und dann wie heutzutage üblich ihre Grafikdateien mit dem Broswer hochladen und vielleicht auch bearbeitete Dateien wieder herunterladen. Im Hintergrund werden diese Dateien in professionellen Storagesystemen beim Provider (mit entsprechenden Schnittstellen zu euch) gespeichert. Für die Sicherheit (Verfügbarkeit) der Dateien ist der Provider zuständig. Der wird dafür bezahlt. Bei euch müssten die Daten noch nicht einmal zwingend gespeichert werden (was aber auch niemals schadet ...). Und der eigentliche Kundenkontakt, Vertragsvorbereitung, Versendung der Rechnung, aber auch evtl. der Versand der Zugangsdaten für das o.g. System kann weiterhin über E-Mail erfolgen. Kann natürlich auch dort implementiert werden.

Auf jeden Fall empfehle ich dir mal, in diese Richtung zu denken. (Und dann mit einem Fachmann oder einer Fachfirma zu reden.)

Diese Frage habe ich doch fast übersehen ...

Zitat

Also wie läuft das bei Euch privat und/oder in den Firmen?

In der "Firma" würde ich nie freiwillig auf mein geliebtes "Notes" verzichten! So sehr wie ich privat den Thunderbird mag. Und aus guten und nachvollziehbaren Gründen ist es bei uns technisch ausgeschlossen, Riesendateien per Mail zu übertragen. WOWEREIT! Dafür haben wir ein riesiges Intranet ... .

Und privat?
Ja, da nutze ich auf meinen Rechnern selbstverständlich jetzt den Thunderbird. Ganz am Anfang haben wir Mails auf der Konsole gesendet und empfangen, dann kam ein Fenster-Betriebssystem mit einem hauseigenen Mailclient, dann The!Bat, und viele andere mehr. (Und auf dem Smartphone mit K9-Mail den IMHO besten Mailclient, den es zur Zeit gibt.) Und selbstverständlich werden heute meine vielen Mailkonten als IMAP-Konten betrieben.
Auf den Servern meiner Provider speichere ich die E-Mails, welche ich in den letzten 30 Jahren empfangen und gesendet habe. Oder zumindest alle die, welche ich als aufhebenswert betrachte (Ich akzeptiere, wenn mich jemand als "Datenmessie" bezeichnet ;-)). Und obwohl es viele Tausend sind, ist es vom Platzbedarf extrem wenig: ich nutze nur Reintext und habe meine Mailpartner auch dazu erzogen. Und ich dulde auch nur kleine Anhänge. Für Monsteranhänge habe ich meinen ftp-Server ... .

MfG Peter

Jaja, ich kann dich gut verstehen ... .
Als jemand, der seine Brötchen mit "der Produktion" von IT-Sicherheit verdient, kenne ich diese Probleme sehr genau. Der ewige Kampf zwischen Wissensträgern und Entscheidern. Wir sind nur die Verhinderer, die auch noch viel Geld verschlingen. Leider siegen meistens die Entscheider ... . Zumeistens, bis dann wieder mal was passiert. Dann wird gefragt, warum wir uns nicht durchgesetzt haben.

Sicher gibt es Lösungen, bestimmte Sachen zu automatisieren. Zumindest teilweise. So kannst du mit dem Add-on "ImportExportTools" den Inhalt ganzer "Mailordner" (z. Bsp. das Archiv eines Vorjahres oder alten Vorganges usw.) in einem Rutsch als einzelne .eml-Dateien direkt auf einen Fileserver exportieren. Danach händisch die Quelle löschen und (wichtig!) komprimieren. Natürlich ist die .eml-Datei wieder durch die Umcodierung genau so aufgebläht wie der ursprüngliche Quelltext. Aber du hast Mail + Anhang im Zusammenhang außerhalb des Mailsystems gespeichert - und dort wieder Platz geschaffen.
Dann gab es auch mal ein Add-on, mit welchem du Anhänge aus der Mail heraus wieder in ihrem binären Zustand herauskopieren und als Ursprungsdatei abspeichern kannst. Die Datei liegt dann auf dem Fileserver und in der Mail bleibt ein Hinweis mit dem neuen Speicherort zurück. Und ich will auch keinesfalls abstreiten, dass ein findiger Programmieren das ganze garantiert auch vollständig automatisieren kann.
Trotzdem: das alles sind und bleiben Krückenlösungen!

Zitat

Mein Problem liegt aber zum großen Teil auch bei unseren Auftraggebern. Teilweise darf außer Mail kein anderer Service verwendet werden.

Es lebe die Dummheit. Mehr Kommentar gibt es nicht dazu.
Vielleicht kann man mal gaaaaaaaaaaaaaanz vorsichtig (es sind ja leider die Leute, die dich bezahlen ...) nach den Gründen fragen.
Ein paar Argumente:
- binäre Anhänge werden wegen der erforderlichen Umcodierung um 1/3 aufgebläht => langsamer
- viele Provider verbieten (zum Glück!) Monsteranhänge
- E-Mails sind (wenn nicht gerade verschlüsselt) "öffentlich" => will der Auftraggeber, dass Dritte mitlesen?
- euer ftp-Server kann wunderschön in eine Webseite eingebunden werden
- eine ordentliche Authentisierung mit Benutzerdaten (je Kunde ein eigenes Konto auf dem Server!) und SSL/TLS sind bei einem vsftp-Server Stand der Technik

Zitat

Warum hat TB überhaupt scheinbar ein Problem mit der 4GB-Dateigröße? Das ntfs- oder auch das ext4-Dateisystem sollte damit ja umgehen können.

Es handelt sich bei diesen mbox-Dateien um reine Textdateien in welche alle Mails hintereinander geschrieben werden. Alle binären Anhänge werden bei jedem Lesen und Schreiben umcodiert. Dann stelle dir vor, dass in einer mehrere GB großen Datei ständige Lese- und Schreibvorgänge stattfinden. Dabei noch die Umcodierungen. Und wenn dann durch das Komprimieren die vorher als gelöscht markierten Mails endgültig aus dieser Datei gelöscht werden, dann wird diese Datei ohne die markierten Stellen "auf sich selber kopiert". Und das ganze eben mit derartigen Monsterdateien. Das kann nicht gut gehen.
In der englischen Originaldokumentation findest du noch die offizielle Begründung.

MfG Peter