Reparatur Index-Dateien - inkonsistentes TB-Verhalten

roenni

Liebes Forum,

habe ein sehr merkwürdiges Verhalten meiner lokalen Ordner beobachtet und das Gefühl, da könnte etwas defekt sein:

Habe vor einiger Zeit eine Vielzahl von Ordnern/Mails in TB importiert (s.u.). Nutze Schlagworte und die Gelesen/Ungelesen-Funktion sehr intensiv.
Habe aber irgendwie das Gefühl, daß an meinen Ordnern etwas noch nicht richtig "registriert" ist o.ä. . Bspw. werden beim Verschieben von Ordnern oft (nicht immer !) alle enthaltenen Mails als ungelesen markiert. Auch verschwindet bei einigen (nicht allen !) der enthaltenen Mails das Schlagwort.

Habe vermutet, daß ggf. die Indexdateien der Ordner defekt sein könnten und zum Test (alles gesichert) einmal alle .msf-Dateien der entsprechenden Ordner gelöscht um sie neu aufbauen zu lassen. -> Index-Datei reparieren

Nach dem Neustart von TB sind nun bei der überwiegenden Mehrheit der Ordner ALLE Mails als Ungelesen und ohne Schlagworte markiert. So weit so gut, das habe ich nach dem Artikel von Thunder erwartet.

ABER: bei einigen Ordnern werden trotz gelöschter .msf-Datei weiterhin die enthaltenen Mails als Gelesen und inkl. der zuvor angehängten Schlagwörter dargestellt! ???

Um das Standardverhalten herauszufinden, habe ich 2 gänzlich neue Ordner erstellt, und in einen Mails aus einem "bereinigten" Ordner OHNE Schlagwörter und in den anderen Mails MIT den beibehaltenen Schlagwörtern verschoben.
Habe in beiden Ordnern je alle Mails als Gelesen markiert und mit neuem Schlagwort versehen.
Dann TB geschlossen und bei beiden neuen Ordnern die .msf-Dateien gelöscht.
Dann wieder TB geöffnet und es ist wieder so:

in einem Ordner sind ALLE Schlagworte gelöscht und die Mails "Ungelesen"
im anderen Ordner sind ALLE Schlagworte enthalten und die Mails weiterhin als "Gelesen" markiert.

1. Welche der Varianten ist denn die, wie es eigentlich funktionieren soll?

2. Woran könnte dieses merkwürdige/inkonsistente Verhalten liegen? Irgendwie habe ich das Gefühl, daß da was faul ist.

Vorgeschichte:

Habe eine große Anzahl von Mails (insgesamt ca. 8000 Mails in ca. 400 Ordnern) von Apple Mail via den Postbox-Import (Import-Export-Tool von TB funzt nicht mehr) und dann über ein einfaches Kopieren der Ordner aus dem Postbox-Profil in das TB-Profil übernommen.

Infos:

Thunderbird 102.15.1
MacOS Monterey 12.7.1
POP Konto
Firewall vom Betriebssystem

Sehvornix

Hallo roenni,

handelt es sich bei allen besagten Ordner um solche, die in einem POP-Konto liegen oder ist da auch ein Übergang zu 'Lokale Ordner' oder gar doch ein IMAP-Konto dabei?

Gruß
Sehvornix

roenni

Hallo Sehvornix,

alle diese Ordner befinden sich unter "Lokale Ordner".
Für meine Mail-Konten ist ausschließlich POP3 eingerichtet, kein IMAP.
Die Ordner & Mails wurden wie geschrieben alle aus lokalen Ordnern von Apple Mail via Postbox importiert.

Hilft das zur Erklärung?

Sehvornix

Jein. Ich hatte gehofft, dass doch irgendwie IMAP da reinspielt.

Wie sieht es mit Add-ons aus?

Der Klassiker wäre jetzt in Ermangelung eines Ansatzes: besteht das Problem auch im Fehlerbehebungsmodus?

Gruß
Sehvornix

roenni

Nee, keine Add-ons installiert.

Das Programm ist relativ "jungfräulich".

Was ich allerdings gemacht habe, ist eine userchrome-Datei mit Darstellungen der Schlagwörter erstellt.

Das sieht darin etwa so aus:

CSS

treechildren::-moz-tree-row {
  Outline: 1px solid #FFFFFF   !important;
}

        /* Tag 01 */ 
treechildren::-moz-tree-row(T01) {
  Outline: 1px solid #FFFFFF   !important;
  background-color:  #FF0000   !important;
}
treechildren::-moz-tree-cell-text(T01) {
  color: #000000   !important;
}
treechildren::-moz-tree-row(T01, selected) {
  background-color: #2366D9   !important;
}
treechildren::-moz-tree-cell-text(T01, selected) {
  color: #FFFFFF   !important;
}

Alles anzeigen

roenni

Vielleicht kann ja erstmal jemand sagen, wie der Effekt nach dem Löschen der msf-Datei eigentlich sein sollte?

ggbsde

Gelesen/Ungelesen Status und Schlagworte werden in den mbox Dateien (den Dateien ohne Endung) gespeichert und sollten alle Operationen überleben, inklusive Löschen der .msf Dateien.

Ich vermute, das deine Importfunktion Mails direkt in die mbox Dateien geschrieben hat, aber ohne die Thunderbird spezifischen Kopfzeilen. Ohne diese kann TB den Status nur in den .msf Dateien speichert.

Schau doch mal in eine mbox Datei rein. Jede Mail fängt mit 'From - datum' an, danach kommen (oder eben auch nicht) drei Zeilen 'X-Mozilla-...'

roenni

Oha, wenn es tatsächlich korrekterweise so sein soll, daß TB den "Gelesen/Ungelesen"-Status UND die Schlagworte in den MBOX-Dateien jeweils nach dem "From" zu jeder einzelnen Mail sauber abspeichert, dann scheint bei mir irgendetwas nicht richtig zu sein.
(Hinweis: Im hiesigen Lexikon schreibt "Thunder" etwas anderes zu *.msf-Dateien -> Index-Datei reparieren !)

Wie gesagt, ich nehme mal 2 Beispielordner.
Beide wurden auf die gleiche Weise zusammen mit vielen weiteren Ordnern als Unterordner aus Apple Mail über die Export-Funktion als Mbox exportiert, dann über die Import-Funktion von Postbox importiert (TB-Importfunktion funktioniert aktuell nicht ! ) und dann aus dem User-Verzeichnis von Postbox (mbox-, *.msf- & ggf. *.sbd-Datei) herauskopiert und in den Ordner "local-folder" im User-Verzeichnis von TB kopiert.

Nach dem Öffnen waren sämtliche Inhalte wie beschrieben vorhanden, sauber einsortiert und bearbeitbar.

ABER:

bei einem der beiden Ordner sind in der mbox-Datei tatsächlich die X-Mozilla-Zeilen enthalten - hier bleiben dann auch nach Löschen der msf-Datei alle "Gelesen"-Status & Schlagworte erhalten
bei dem zweiten Ordner fehlen in der mbox-Datei sämtliche X-Mozilla-Zeilen. Offenbar werden bei diesem Ordner auch bei Bearbeitung in TB keine Zeilen hinzugefügt und der "Gelesen"-Status & die Schlagworte irgendwo anders gespeichert. Das passiert in diesem Fall mutmaßlich in der msf-Datei, weil nach Löschen dieser Datei für diesen Ordner alle Status und Schlagworte verloren sind.
Gleiche Ergebnisse entstehen auch, wenn ich beide Ordner in einen anderen lokalen Ordner im geöffneten TB VERSCHIEBE - der eine Ordner enthält weiterhin alle Status/Schlagworte, der andere nicht.

1. Frage ist natürlich: Warum werden die Ordner von TB unterschiedlich behandelt?
Von insgesamt 400 importierten Ordnern zeigen ca. 5% das erste Verhalten (alles bleibt erhalten) und ca. 95% das zweite (alles wird gelöscht).

2. Frage: Wie kann ich TB dazu bringen, alle Ordner gleich korrekt zu behandeln und ggf. die offenbar fehlenden Header in den mbox-Dateien korrekt zu ergänzen?

3. Frage: Kann man eigentlich für die Zukunft wieder mit einer funktionierenden Importfunktion für Thunderbird aus Apple-Mail rechnen?
Die Konstellation ist ja nicht abwegig, daß Benutzer von Apple-Mail auf TB umsteigen wollen.

Bastler

Zitat von roenni

Kann man eigentlich für die Zukunft wieder mit einer funktionierenden Importfunktion für Thunderbird aus Apple-Mail rechnen?

Hallo,
da stellt sich umgekehrt die Frage, wie sieht der Export von Apple-Mail inhaltlich aus. Fehlen da schon einige Einträge?

roenni

Ähm, wonach könnte ich denn suchen?

Die X-Mozilla-Zeilen werden m.W. durch Apple-Mail in keinem der Ordner angelegt. Mail weiß ja nicht, daß ich die MBOX-Dateien nun speziell für TB haben möchte. Der exportiert "einfach" mbox, herstellerneutral.

[1. Nachtrag:
Hab jetzt mal in die Mail-Export-MBOX-Dateien beider Beispielordner geschaut - die sehen Headertechnisch beide ziemlich identisch aus. Schön aufgeräumt ohne "X-Mozilla"-Zeilen.

2. Nachtrag:
Habe nun auch die MBOX-Dateien wie sie aus Postbox dann in TB eingefügt wurden von beiden Beipielordnern angeschaut - auch hier schön aufgeräumt, identische Optik ohne "X-Mozilla"-Zeilen.]

Die X-Mozilla-Zeilen werden vermutlich im Nachgang in den Ordner geschrieben. Das kommt vermutlich direkt von TB. Bei welcher Aktion er das aber warum mal so und mal so handhabt, ist völlig unklar.

roenni

Ich glaube ich habe einen Weg gefunden, wie ich die x-mozilla-Zeilen in die Ordner (mbox-Dateien) bekomme:

eine beliebige Mail in den betreffenden Ordner verschieben -> Ordner komprimieren
diese Mail wieder aus dem Ordner herausschieben -> Ordner wieder komprimieren

-> Voilá, in die MBOX-Datei wurden nun offenbar alle x-mozilla-Zeilen geschrieben und TB hat sich die Mails "zu eigen gemacht".
Wenn ich dann die msf-Datei lösche und TB neu starte, bleiben der "Gelesen"-Status UND auch die Schlagwörter tatsächlich erhalten!

Das heißt aber, daß Thunder mal die Beschreibung hier im Lexikon korrigieren müßte:
Der "Gelesen"-Status und die Schlagworte wären demnach tatsächlich bei jeder Mail im Header in den X-Mozilla-Zeilen enthalten und nicht, wie er schreibt, in den *.msf-Dateien.

Kann das bitte nochmal jemand prüfen, ob Status und Schlagworte auch bei ihm in den MBOX-Dateien direkt zur Mail gespeichert werden und die Funktion dann so korrekt ist?
Bitte kurzes Feedback, eh ich jetzt alle 400 Ordner händisch nochmal durchgehe.

Mapenzi

Zitat von roenni

Ähm, wonach könnte ich denn suchen?

Hallo roenni,

Nach unserer Videokonferenz und meinen Tests gestern Abend habe ich mich erneut mit deinem Problem beschäftigt. Zunächst in Apple "Mail" ein POP-Konto eingerichtet. Nebenbei gesagt: Mail.app scheint kein POP zu kennen, beim Einrichten eines neuen Kontos wird automatisch ein IMAP-Konto erstellt.
Das gut gehütete Geheimnis: in der ersten Einrichtungsmaske muss man entweder eine fehlerhafte E-Mailadresse oder ein fehlerhaftes Passwort eingeben. Danach öffnet Mail.app eine zweite Maske mit der Wahl POP oder IMAP!! Der Rest klappt automatisch wie am Schnürchen!

Nachdem das POP-Konto fertig eingerichtet und aktiv war, hat Mail.app um die 20 Nachrichten im Posteingang geladen. Diesen Posteingang-Ordner habe ich dann, wie gestern Abend, mit der Exportfunktion von Mail.app exportiert, wobei ein Ordner INBOX.mbox erstellt wurde. In diesem Ordner befindet sich dann jeweils eine Datei namens mbox, bei der es sich um eine Mailbox handelt. [Das Nachrichtenformat von Mail.app ist *.emlx, also Mozilla-kompatibel]

Diese Datei habe ich in "Test" umbenannt, in den Ordner Local Folders eines meiner Profile verschoben und TB gestartet. Im Ordner Test in den Lokalen Ordnern wurden sämtliche Nachrichten des aus Mail.app exportierten Posteingangs als ungelesen angezeigt.

Ich habe nun sechs dieser Nachrichten mit verschiedenen der fünf Standard-Schlagwörter belegt, dann wieder die Mbox-Datei "Test" mit TextEdit.app geöffnet und darin erfolglos nach X-Mozilla-Keys bzw $label1, $label2, ... ges-ucht. Daraus habe ich gefolgert, dass die Kennzeichnung mit Schlagwörtern in der Datei Test.msf gespeichert sein mussten. In letzterer fand ich dann auch fünf mal die Kennzeichnung $labelx, es fehlte die Important Schlagwortkennzeichnung bei einer Nachricht. Warum, das konnte ich noch nicht herausfinden.

Um dein Problem des Verschwindens der von dir vorgenommenen Schlagwort-Kennzeichnungen beim Verschieben eines solchen Ordners zu testen, habe ich in den Lokalen Ordnern einen neuen Ordner erstellt und den Ordner Test hinein verschoben. Keine der Schlagwörter ging dabei verloren. Auch nicht als ich den selben Ordner Test erneut verschoben habe, diesmal in mein POP-Konto in TB.

Soweit vorläufig, ich muss jetzt wieder bis fünf in meine Reha....

ggbsde

Zitat von roenni

eine beliebige Mail in den betreffenden Ordner verschieben -> Ordner komprimieren
diese Mail wieder aus dem Ordner herausschieben -> Ordner wieder komprimieren

Der entscheidende Punkt dabei ist, das TB auch die mbox Datei neu schreibt. Dabei kann es die fehlenden Header Zeilen einfügen.

Zitat von roenni

Der "Gelesen"-Status und die Schlagworte wären demnach tatsächlich bei jeder Mail im Header in den X-Mozilla-Zeilen enthalten und nicht, wie er schreibt, in den *.msf-Dateien.

Doch, in der .msf Datei sind die Informationen auch vorhanden - zwecks schnellerem Zugriff.

Mapenzi

Zitat von ggbsde

Der entscheidende Punkt dabei ist, das TB auch die mbox Datei neu schreibt. Dabei kann es die fehlenden Header Zeilen einfügen.

Das habe ich gerade mit einer neuen, aus Mail.app exportierten Datei "mbox" getestet. Umbenannt in "Export" und in Local Folders eingefügt, wie üblich sind allen Nachrichten als ungelesen markiert. Ich habe einige Schlagwörter gesetzt, die in der Datei Export.msf gespeichert wurden ($label...).
Danach habe ich aus dem Ordner Export einige Nachrichten gelöscht und den Ordner komprimiert. TB beendet und die Mbox-Datei Export geöffnet:
tatsächlich hatten nun alle Nachrichten die drei Kopfzeilen X-Mozilla-Status, X-Mozilla-Status2 und X-Mozilla-Keys:

Das Komprimieren hat die Zwitter-Mailbox-Datei sozusagen auf Thunderbird Mailbox-Normen getrimmt!

Außerdem konnte ich diesen Export Ordner mehrfach verschieben oder kopieren ohne dass er dabei seine Schlagwörter oder den Gelesen/Ungelesen Status verlor.

Zitat von ggbsde

Doch, in der .msf Datei sind die Informationen auch vorhanden - zwecks schnellerem Zugriff.

Ich habe deshalb die Inbox.msf Datei meines Posteingangs im Arbeitsprofil untersucht nach $label-Einträgen gesucht und keine gefunden. Du musst mir jetzt nur noch erklären, WO in einer originalen Index-Datei ich diese Information finden kann, dann will ich gerne noch mal in meiner Inbox.msf Datei danach suchen.

ggbsde

Zitat von Mapenzi

Du musst mir jetzt nur noch erklären, WO in einer originalen Index-Datei ich diese Information finden kann, dann will ich gerne noch mal in meiner Inbox.msf Datei danach suchen.

Die Indexdateien sind in einem äußerst obskuren Format namens MORK gespeichert. Das verstehen wahrscheinlich nicht mal mehr die aktuellen TB Entwickler. Nicht umsonst sind die Adressbücher, die früher auch so gespeichert wurden, auf sqlite umgestellt worden.

Mapenzi

Zitat von ggbsde

Die Indexdateien sind in einem äußerst obskuren Format namens MORK gespeichert.

Trotz dieser merkwürdigen Zeichenfolgen in der Index-Datei kann man Teile des Textes lesen, z. B. Absender und Betreff.
Jetzt musst du mir noch folgendes erklären: bei meinem Export aus Apple Mail und dem Einfügen der umbenannten mbox Datei in Local Folders habe ich verschiedene Schlagwörter gesetzt, die danach in der.msf Datei deutlich als $label1, $label2, ...etc erkennbar sind :

Warum sind in dieser .msf Datei die Schlagwörter für jedermann lesbar und nicht in meiner Inbox.msf Datei im Arbeitsprofil?
Und wenn ich meinen Posteingang repariere bzw. die Inbox.msf Datei lösche, gehen doch auch keine Schlagwörter verloren. Demnach müssten sich die entsprechenden Informationen in beiden Dateien befinden, offen lesbar in der Mailbox und kryptisch im Index? Das wäre für mich völlig neu

ggbsde

Zitat von Mapenzi

Warum sind in dieser .msf Datei die Schlagwörter für jedermann lesbar und nicht in meiner Inbox.msf Datei im Arbeitsprofil?

Bei mir sind die Schlagwörter auch in den Inbox msf vom IMAP Konten zu finden. Genauer gesagt: füge ich einer Mail ein Schlagwort hinzu, erscheint es sofort in der .msf. Aber wenn ich das Schlagwort wieder entfernen, ist es trotzdem noch in der .msf vorhanden. Das ist schön merkwürdig, zeigt aber, das wir nicht verstanden haben, wie die .msf Datei funktioniert.

Zitat von Mapenzi

Demnach müssten sich die entsprechenden Informationen in beiden Dateien befinden, offen lesbar in der Mailbox und kryptisch im Index?

Genau das hab ich doch in #7 geschrieben. Diese Informationen stehen in den X-Mozilla-... Headerzeilen. Wie sollte TB sonst diese Informationen bei POP und den lokalen Ordnern restaurieren können, wenn die .msf Datei gelöscht wird. (Bei IMAP kann er sich das vom Server holen)

Mapenzi

Zitat von ggbsde

Genau das hab ich doch in #7 geschrieben.

Das habe ich überhaupt nicht bestritten, im Gegenteil. Da hast du mich da falsch verstanden! Auf roennis Bitte habe ich mich seit gestern mit diesen Export-Tests aus Apple Mail beschäftigt, da sein Problem mit der Migration von Mail.app nach TB begann. Vorhin habe ich über die letzten Tests berichtet mit einer aus Apple Mail importierten Mailbox-Datei, bei dem zu meiner Verwunderung die von mir in TB gesetzten Schlagwörter nicht in der Mailbox Datei gespeichert wurden, sondern in der .msf Datei

Für mich ist schon lange klar, dass Thunderbird diese Schlagwörter-Informationen in der X-Mozilla-Keys Zeile der entsprechenden Mailbox-Datei als $labelx speichert. Dass hier im speziellen Fall bei aus Mail.app importierten Mailbox-Dateien die Informationen in der Index-Dateien gespeichert wurden, und zwar in Klartext, war für mich in der Tat neu. Trotzdem würde ich vorerst daraus nicht den Schluss ziehen, dass es bei "originalen" TB-Ordnern eine doppelte Speicherung der Informationen gibt.

Zitat von ggbsde

Bei mir sind die Schlagwörter auch in den Inbox msf vom IMAP Konten zu finden.

Vielleicht liegt das daran, dass es bei IMAP-Konten, warum auch immer, fast keine X-Mozilla Zeilen gib. Also auch keine $labelx Einträge

Zitat von ggbsde

Genauer gesagt: füge ich einer Mail ein Schlagwort hinzu, erscheint es sofort in der .msf.

Woran kannst du das festmachen? Zeigst du die geöffnete INBOX.msf Datei am Bildschirm an neben dem geöffneten Thunderbird Fenster?
Beschreibe uns doch mal, wie oder wo diese Schlagwort-Information in der Index-Datei identifizierst.

ggbsde

Zitat von Mapenzi

Vielleicht liegt das daran, dass es bei IMAP-Konten, warum auch immer, fast keine X-Mozilla Zeilen gib. Also auch keine $labelx Einträge

Das ist korrekt. Bei IMAP sind nur die beiden X-Mozilla-Status Header vorhanden, X-Mozilla-Keys fehlt.

Zitat von Mapenzi

Woran kannst du das festmachen? Zeigst du die geöffnete INBOX.msf Datei am Bildschirm an neben dem geöffneten Thunderbird Fenster?

So ist es. Und der Editor erkennt sofort, das sich die Datei geändert hat.

Zitat von Mapenzi

Beschreibe uns doch mal, wie oder wo diese Schlagwort-Information in der Index-Datei identifizierst.

Das geht eigentlich nur durch einen Vorher/Nachher Vergleich, da die Stichworte nicht unbedingt in physischer Nähe zum Rest der Mail gespeichert werden. Am Besten zu sehen, wenn du ein neues Stichwort mit eindeutigen Namen anlegst.

Mapenzi

Ich komme erst heute dazu zu antworten, da ich einige Tage keine Benachrichtigungen erhalten habe.

Zitat von ggbsde

Das ist korrekt. Bei IMAP sind nur die beiden X-Mozilla-Status Header vorhanden, X-Mozilla-Keys fehlt.

Sehr merkwürdig! In meinen IMAP .msf Dateien fehlen zusätzlich zu X-Mozilla-Key sowohl die " X-Mozilla-Status Header" als auch die "From" Header Zeile am Beginn jeder Nachricht:

Zitat von ggbsde

Und der Editor erkennt sofort, das sich die Datei geändert hat.

Dass die von mir geöffnet angezeigte .msf Datei im Augenblixk des neu gesetzten Schlagworts einen neuen, aktuellen Zeitstempel bekommt , hatte ich selber schon getestet. Ich dachte du könntest tatsächlich die Stelle eines zugefügten Standardschlagworts identifizieren. Diese befindet sich also irgendwo in den kryptischen Zeichen.

Reparatur Index-Dateien - inkonsistentes TB-Verhalten

Thunderbird 138.0.2 veröffentlicht

Thunderbird 128.10.2 ESR veröffentlicht