Nacharbeiten nach Umstellung auf Maildir

    Um Rückfragen vorzubeugen, bitten wir um folgende Angaben:

    • Thunderbird-Version (konkrete Versionsnummer):78.8.1 (64-Bit)
    • Wurde gerade auf eine neue Versionsreihe aktualisiert (alte und neue Version angeben):
    • Betriebssystem + Version: Linux Mint 20
    • Kontenart (POP / IMAP): POP
    • Postfach-Anbieter (z.B. GMX): 1&1
    • Eingesetzte Antiviren-Software: -
    • Firewall (Betriebssystem-intern/Externe Software): -
    • Router-Modellbezeichnung (bei Sende-Problemen): irrelevant

    Hallo zusammen,

    ich wollte "mal eben" ein (gut bestücktes und mit vielen Ordnern versehenes, 4GB großes) POP-Konto auf Maildir umstellen und habe folgendes erlebt:

    Beim 1. Versuch war sehr schnell das /tmp-Verzeichnis voll, Abbruch. Also mal eben 5GB dazugepackt.

    Beim 2. Versuch brach die Konvertierung bei 70% (oder so) ab, ohne erkennbare Fehlermeldung.

    Beim 3. Versuch (da habe ich es auf einem etwas schnelleren und besser bestückten Rechner versucht, Abbbruch gleich bei 0%.

    Beim 4. Versuch (safe-Mode) lief es durch, im Großen und Ganzen scheint alles da zu sein, nur einige ältere Mails sind defekt. Betreffzeilen fehlen, Datum ist 1.1.1970 oder das aktuelle Datum.

    Fazit: immer noch experimentell  X( , jedenfalls die Umstellung - aber vielleicht ist ja der Betrieb dafür stabiler, wenn das Komprimieren wegfällt bzw. stark reduziert ist.

    Hat jemand eine Idee, wie man schnell die Mails auf der Platte identifiziert, die fehlerhaft angezeigt werden, um z.B. das Datum zu korrigieren, vielleicht sogar per Script, oder Ex/Import aus dem "alten" Konto? Die Dateien haben nun natürlich alle Namen wie 12345678.eml und die gleiche Erstelliungszeit. Welches Datum wird eigentlich angezeigt:

    Code
    "Date: Thu, 1 Apr 2021 16:40:20 +0200"

    oder

    Code
    "Received: from (...)  for <muzel(...)>; Thu, 01 Apr 2021 16:40:21 +0200"

    ?

    Wenn nix drinsteht, offenbar aktuelles Datum?

    Ach ja, ganz großes Kino: es funktioniert kein Filter mehr, weil jetzt die Mailbox anders heißt... :wall:

    Ich hoffe, per SuchenundErsetzen zu beheben...

    Noch ein P.S.: Ich vermute mal, so oft, wie der Mailboxname, der ja jetzt nicht mehr "*.pop.1und1.com" sondern "*pop.1und1.com-maildir" ist, in der prefs.js vorkommt, ist das Vorhaben aussichtslos. Die Filter bekommt man nicht zum Laufen, Addons laufen ins leere.

    War wohl ein Schnellschuß, die Migration, und es hilft nur ein neues Profil.

    Grüße,

    muzel

    Edited 2 times, last by muzel (May 17, 2021 at 6:15 PM).

  • muzel May 17, 2021 at 5:21 PM

    Changed the title of the thread from “Nacharbeiten nach Umstellung auf Maild” to “Nacharbeiten nach Umstellung auf Maildir”.

    Ich kann dir leider nicht sagen, woher die Probleme bei dir kommen. Bei mir ist die Migration auch schon so lange her, dass ich nicht mehr mit Gewissheit sagen kann, ob ich zuvor ein neues Profil angelegt hatte.

    Inzwischen haben wir aber selbst unsere externen Archive längst auf maildir migriert. Es gab keine der von dir geschilderten Probleme. Auch die Filter funktionieren. Wobei ich nicht weiß, ob ich die neu angelegte habe. Allerdings zeigt ein Bick in die msgFilterRules, dass dort kein Unterschied zu sehen ist:

    Code
    action="Move to folder"
actionValue="mailbox://nobody@Local%20Folders/Ordnername

    Dass die Local Folders nun -maildir heißen, taucht darin gar nicht auf.

    Ansonsten:

    • lag das tmp bei mir auf der Platte und war nicht in der Größe begrenzt, notfalls hätte geswapped werden können
    • habe ich zu dem Zeitpunkt keine Erweiterungen außer Enigmail, AHT und Cardbook benutzt
    • Gab es keine Leichen. Alle Ordner wurden zuvor komprimiert.
    • Waren allen GPG-verschlüsselten Mails entschlüsselt

    Das hat alles anstandslos geklappt, auch bei den größeren Archiven.

    Wer wenig oder gar nichts kann, schiebt's auf den Antiviruskram.

    (Compuzius, Buch 5)

    Quote from muzel

    Beim 4. Versuch (safe-Mode) lief es durch

    Nochmal zu diesem Punkt.

    Das Konvertieren zu maildir ist letztendlich ja lediglich ein Exportieren als eml. Das ist eine uralte Funktion im Thunderbird. Eine Erweiterung, die mir in diesem Zusammenhang einfällt, wären die ImportExportTools. Falls du die benutzt und Muße hast, wäre es einen Versuch wert.

    Wer wenig oder gar nichts kann, schiebt's auf den Antiviruskram.

    (Compuzius, Buch 5)

    Nun ja, das Konvertieren funktioniert zu vielleicht 98%. Trotzdem ist es ärgerlich, wenn ein paar Mail plötzlich ein falsches Datum oder keinen Betreff mehr haben.

    Und ich entdecke mehr Probleme.

    Filter funktionieren grundsätzlich nicht. Ich habe mal die msgfilterrules.dat gelöscht und genau einen Filter angelegt. Der tut nix. Schreibt auch kein Protokoll (obwohl aktiviert).

    Ankommende Mails werden auch richtig einsortiert, aber manuell geht nichts.

    Manuelles Ausführen von Mails ist ja sicher nicht einfacher geworden, statt in einer großen Textdatei muß jetzt in hunderten kleinen gesucht werden...

    Wenn ich mir den Quelltext einer Mail anzeigen lassen will, wird der einer anderen Mail aus einem anderen Account angezeigt.

    Ja, natürlich ist das ein altes Profil, und das (Pop-)Konto hat ...zig Ordner mit Unterordnern, die mittels Filtern (zweistellige Anzahl...) bestückt werden. Das hat vorher tadellos funktioniert.

    Rückstande von Addons, die nicht mehr funktionieren, sind sicher reichlich vorhanden, und viel anderer Müll.

    Ich habe nur den Verdacht, wenn ich ein neues Profil anlege und die Mails da reinkopiere, wird es auch nicht besser, abgesehen von dem Aufwand.

    P.S. Noch ein lustiges Detail: Es wird kein Filterlog geschrieben, weil filterlog.html ein Ordner ist - gnadenlos mit konvertiert (ebenso gibt es auch einen Ordner msgfilterrules.dat).

    Also ein dringender Rat an alle "Konvertierer": einen kritischen Blick ins *.maildir-Verzeichnsi werfen und nach verdächtigen Ordnern Ausschau halten. Ordner msgfilterrules.dat, filterlog.html löschen - und schon gehen die Filter wieder.


    Grüße,

    muzel

    Edited 3 times, last by muzel (May 19, 2021 at 8:51 PM).

    Meiner Meinung nach deutet das alles darauf hin, dass das Profil und die Daten darin schon zuvor nicht mehr in Ordnung waren.

    Wir haben bei uns in der Familie längst alle Konten (IMAP), die lokalen Ordner und die bestehenden externen Archive migriert. Da kamen schon ein paar zusammen. Bei keinem gab es Problemen. Nicht unter Windows, nicht unter Linux, auch nicht bei unseren i-Nachbarn. Im Gegenteil, es läuft besser als zuvor, weil all die typischen Themen der mboxen entfallen. Einzig die Backups brauchen jetzt naturgemäß länger als zuvor.

    Eine gewissen Vorsicht scheint geboten. Ich würde deinen Rat an die "Konvertierer" daher um den Punkt ergänzen, peinlich genau darauf zu achten, dass das alte Profil intakt ist oder besser gleich mit einem neuen zu beginnen. Hier weiß ich leider nicht mehr, ob wir damals neue Profile angelegt haben. Das ist zu lange her. Es ist gut möglich, weil wir das alle paar Jahre bzw. nach größeren Änderungen machen.

    Wer wenig oder gar nichts kann, schiebt's auf den Antiviruskram.

    (Compuzius, Buch 5)

    Hallo, weiß jemand, was genau gemeint war mit "Backups dauern länger"? Ist damit gemeint, dass Komplettbackups länger dauern, weil viele Einzeldateien kopiert werden müssen? Weil bei einem DIFF/INC-Backup müsste es ja umgekehrt sein, dass ein Backup viel schneller geht weil nur neu hinzugekommene oder veränderte Einzeldateien (klein) kopiert werden müssen.

    Quote from donnereule

    Hallo, weiß jemand, was genau gemeint war mit "Backups dauern länger"? Ist damit gemeint, dass Komplettbackups länger dauern, weil viele Einzeldateien kopiert werden müssen? Weil bei einem DIFF/INC-Backup müsste es ja umgekehrt sein, dass ein Backup viel schneller geht weil nur neu hinzugekommene oder veränderte Einzeldateien (klein) kopiert werden müssen.

    Genau dies (sowohl längere Dauer für Vollbackup, als auch kürzere Dauer für inkrementelles Backup) wäre auch meine Erwartungshaltung.

    Quote from donnereule

    Hallo, weiß jemand, was genau gemeint war mit "Backups dauern länger"?

    Quote from Thunder

    Genau dies (sowohl längere Dauer für Vollbackup, als auch kürzere Dauer für inkrementelles Backup) wäre auch meine Erwartungshaltung.

    Da ich den Punkt aufgeworfen habe, will ich es sauber zu Ende bringen. Das Lesen und Schreiben einer großen Datei dauert länger als das einer kleiner. Das ist bei wenigen Dateien zunächst ein Vorteil bei der Verwendung von maildir.

    Mit steigender Anzahl an Dateien macht sich der Effekt bemerkbar, dass für jede Datei zunächst geschaut werden muss, wo sie sich physisch auf dem Speicher befindet. Beim inkrementellen Backup müssen diese vielen Dateien zusätzlich anhand des Timestamps auf Änderungen überprüft werden. Das benötigt mehr Zeit als das Überprüfen nur einer Datei.

    Es gibt daher jeweils einen Punkt, an dem es kippt. Ab einer bestimmten Anzahl an einzelnen Dateien wird insbesondere das inkrementelle Backup vieler einzelner Dateien langsamer als das weniger großer. Wann es spürbar kippt, hängt also von der Anzahl der E-Mails und auch von der Leistungsfähigkeit des Systems ab.

    Hinzu kommt, dass viele einzelne Dateien mehr Speicherplatz benötigen als eine einzige, insgesamt gleich große Datei.

    Wer wenig oder gar nichts kann, schiebt's auf den Antiviruskram.

    (Compuzius, Buch 5)

    Quote from Susi to visit

    Hinzu kommt, dass viele einzelne Dateien mehr Speicherplatz benötigen als eine einzige, insgesamt gleich große Datei.

    Wo dann aber wieder zusätzlich das Problem mit dem "Komprimieren" seitens Thunderbird ins Spiel kommt.

    Quote from muzel

    Welches Datum wird eigentlich angezeigt:

    Code
    "Date: Thu, 1 Apr 2021 16:40:20 +0200"

    oder

    Code
    "Received: from (...)  for <muzel(...)>; Thu, 01 Apr 2021 16:40:21 +0200"

    ?

    Wenn nix drinsteht, offenbar aktuelles Datum?

    Es wird das Datum der Date-Kopfzeile angezeigt. Wenn diese nicht vorhanden ist, wird das Datum angezeigt, zu dem die eMail heruntergeladen worden ist. Bei einem IMAP-Konto und wenn die eMail neu heruntergeladen wird - wird wieder das aktuelle Datum angezeigt.