Hinweis: Möglicher Datenverlust in CardDav bei Update auf Version 68.x

Um Rückfragen vorzubeugen, bitten wir um folgende Angaben:

• Thunderbird-Version: 68.x
• Betriebssystem + Version: Windows 10 (1903)
• Kontenart (POP / IMAP): n/a
• Postfach-Anbieter (z.B. GMX): n/a
• Eingesetzte Antiviren-Software: Windows Defender
• Firewall (Betriebssystem-intern/Externe Software): Windows Defender
• Router-Modellbezeichnung (bei Sende-Problemen): n/a

Ein Hinweis auf ein reproduzierbares Problem beim Update auf die Version 68.x in Kombination mit CardDav/Cardbook.

Kurzform:

Beim Update auf die Version 68.x kann es zu Datenverlust in CardDav-Adressbüchern kommen! Das Problem tritt unmittelbar nach dem Update auf. Nach anschließender Wiederherstellung treten keine weiteren Probleme auf.

Details:

Ich habe (inzwischen mehrfach, auf verschiedenen Clients) folgendes Phänomen beobachtet: Nach (Live-) Update auf die angebotene Version 68 wurden die nicht kompatiblen Erweiterungen erwartungsgemäß deaktiviert und sogleich upgedatet. Im Fall von Cardbook auf die Version 42.3/42.4, die mit Thunderbird 68.x kompatibel ist. Der Kalender Lightning wurde auf zugehörige Version 68.x gehoben.

Unmittelbar danach meldeten Cardbook und Lightning Synchronisationsfehler. Eines meiner Adressbücher war nun leer. Das Log von Cardbook enthielt zahlreiche Einträge, die besagten, dass die Kontakte eines Adressbuchs vom Server gelöscht wurden. Zum Glück traf das nicht zu. Ein Blick auf den Server zeigte, dass das Adressbuch unversehrt vorhanden war. Der Server (Radicale) hatte aber massive Störungen. Adressbücher und Kalender waren nicht mehr verfügbar bzw. konnten nicht synchronisiert werden.

Nach Neustart des Servers konnte ich das betroffene Adressbuch in Cardbook neu anlegen. Sämtliche Kontakte waren wieder da. Auch die Kalender waren alle wieder in sync.

Einen Tag später meldete das Backup vom Server Fehler. Ein genauer Blick zeigte, dass eine Adressbuchdatei korrupt war. Sie ließ sich nicht mehr lesen und somit auch nicht kopieren. Das ist vermutlich auf den hängenden Server zurückzuführen. Ich habe die Datei aus dem Backup des Vortages wieder hergestellt.

Zwei Tage später: Der Thunderbird wurde auf zwei weiteren Rechnern upgedatet. Das Resultat war ähnlich. Es waren anderen Adressbücher betroffen. Der Server hatte sich erneut aufgehängt.

Rund eine Woche später, gestern Abend, das Update auf Thunderbird 68.1.1 sowie Cardbook 42.4. Wieder bringt das Update den Server zum hängen.

Dieses Mal ist auch ein Adressbuch beim Provider betroffen. Das ist ein Indiz dafür, dass das Problem grundsätzlich nicht auf unsere eigene Infrastruktur zurückzuführen ist. Auch andere Server können betroffen sein.

Das Problem trat bisher auf jedem Client auf, der diese Updates bekommen hat und trat unmittelbar mit dem Neustart auf. Beschädigt wurden jeweils nur Adressbücher. Die Kalender gingen wegen des Serverausfalls offline, blieben aber intakt.

Neben den upgedateten Windowsrechnern gibt es in unserem Netzwerk noch weitere Windowsrechner und Linux Clients mit Stand Thunderbird 60.x sowie diverse Smartphones mit unterschiedlichen Betriebssystemen, auch Exoten, insgesamt rund 30 Clients. Die Umgebung ist seit Jahren stabil. Ein Problem dieser Art war bisher nicht auftreten.

Neben Adressbüchern auf der eigenen Infrastruktur war auch ein Adressbuch bei einem Provider betroffen. Die Konfiguration der Thunderbird Clients ist weitgehend gleich. Neben CardBook und Lightning werden lediglich 2 Erweiterungen benutzt, Enigmail und AllowHTMLTemp. Beide sind zur 68 kompatibel. Die Clients sind selbstverständlich nicht gepimpt, zusätzlichen Scripte werden schon gar nicht benutzt.

Mein Fazit:

Das Problem steht im direktem Zusammenhang mit dem Update. Ob durch Thunderbird oder an Cardbook verursacht, vermag ich nicht zu sagen. Deshalb rate ich zur Vorsicht beim Update auf die 68.x. Insbesondere, wenn über Cardbook eingebundene CardDAV-Adressbücher existieren. Vor dem Update sollte unbedingt ein Backup erstellt werden. Möglicherweise hilft es, die Verbindung zum CardDAV-Server vor dem Update zu trennen und erst nach dem Neustart wieder zu etablieren.

Ich habe mich vorerst zu einem kompletten Rollback entschieden, wobei CVE-2019-11755 noch einige Fragen aufwirft.

Ich könnte versuchen, das Problem anhand von Logs und eines Netzwerk-Traces genauer zu untersuchen. Jedoch hat mich dieses Update inzwischen einige Stunden meiner Freizeit gekostet. Weitere Zeit und Energie werde ich nicht investieren.

Dieser Beitrag ist daher lediglich als Hinweis für andere gedacht.

Nein, habe ich nicht. Was ich bisher zu dem Problem weiß, genügt nicht, um sagen zu können, ob es an Cardbook hängt. Ebenso könnte es direkt am Thunderbird liegen oder, wenn auch nicht sehr wahrscheinlich, am Radicale Server oder einer Kombination aus allen dreien. Um das besser vorzuqualifizieren müsste ich deutlich mehr Aufwand in die Analyse stecken. Dazu fehlen mir Zeit und Wille.

Meine Intention war nur, andere auf das für mich reproduzierbare Problem aufmerksam machen und dazu zu animieren, Vorsichtsmaßnahmen zu treffen.

Das scheint mir auch deshalb angeraten, weil ich gelesen habe, dass auch andere nach dem Update Probleme mit WebDAV haben, wenn auch ganz unterschiedlich gelagert und vermutlich aus anderer Ursache.

Einen Rechner hatte ich noch auf der 68.1.1 gelassen. Soeben kam das Update auf die 68.1.2. Der Fehler trat erneut auf. Diesmal waren eine Kalenderdatei auf meinem Server und ein Adressbuch beim Provider betroffen. Da ich vorbereitet war, war das kein schwerwiegendes Problem.

Das Problem trat unmittelbar bei jedem Update auf die 68.1, die 68.1.1 und die 68.1.2 auf. In den Zeiten dazwischen gab es keinerlei Fehler.

Was immer die Ursache ist, sie ist nicht auf Cardbook und Radicale beschränkt.

Gerade rasch getestet, bringt keine Besserung. Diesmal war zwar nur ein Adressbuch betroffen, aber das Fehlerbild war da. Cardbook war etwas gesprächiger (path too long). Anhand der Logs ist mir dann aufgefallen, dass die jeweils betroffenen Adressbücher Kontakte mit sehr langen UIDs enthalten. Die stammen einem Windows Phone. Jedoch sind sind diese langen UIDs und damit der Pfad schon Jahre lang vorhanden und auch natürlich jetzt nach dem Restore noch.

Darf ich fragen, welche Radicale Version du im Einsatz hast? Hast du eine (wenn ja welche) eine Benutzerverwaltung für den Radicale aktiv? Benutzt du eine gesicherte Verbindung oder nur http?

So, es gibt Neuigkeiten. Mein Provider hat am späten Nachmittag geantwortet. Der sagt, file corruption aufgrund eines abgebrochenen Schreibvorgangs.

Das deckt sich mit meiner Beobachtung. Ich hatte auf meinem Server auch defekte Dateien, die sich nicht einmal mehr kopieren ließen.

Komisch daran ist, dass in dieser Situation überhaupt kein Schreibzugriff nötig wäre. Es muss beim Neustart ja nur lesend

synchronisiert werden.

Da sowohl Kalendern als auch Adressbüchern betroffen waren, sind Cardbook und Lightning als Verursacher eher auszuschließen. Beim meinem Provider läuft auch kein Radicale sondern ein vollwertiger, professionell betreuter Server. Damit ist Radicale auch raus.

Wenn es mal repariert ist, dann läuft es stabil. Genau bis zum nächsten Update. Damit ist der Thunderbird im laufenden Betrieb auch raus.

Bleibt das Update selbst. Was immer dabei und beim anschließenden Neustart abläuft, hier ist wohl die Ursache zu suchen. Es passiert nur bei (und bisher bei jedem) 68er Updates. In den Jahren zuvor mit doch einer Reihe an Updates ist so etwas nie vorgekommen.

Damit is jetzt mal gut. Hier endet mein Trouble Shooting. Um einen Bug zu eröffnen, ist das noch zu wenig. Ich war kurz versucht, den Hai auszupacken und den Traffic zu tracen. Das werde ich nicht machen. Den harten Fans mag es unverständlich sein.

Ich warte jetzt auf die 68.2 und deren Nachfolger. Sollten dann immer noch Problem auftreten, dann macht mein Thunderbird das, was Vögeln so tun - er fliegt.

EVD-Oldi, danke dass du hier Zeit investiert hast. Much appreciated ...

Wenn du mir eine leise Kritik erlaubst, dann bitte diese:

Quote from edvoldi

das ist noch die alte 0.9.

Ich habe gelesen, dass du beim Thunderbird nicht zögerst und Betaversionen testest. Das kostet gewiss viel Zeit.

Warum dann so eine alte Version und ohne Benutzerverwaltung? Zugegeben, der Schritt auf die Version 2.x ist nicht ganz unkompliziert, weil man die Daten migrieren muss. Das ist schon eine Hemmschwelle. Trotzdem, du bist geschätzt 3 Jahre und wahrscheinlich rund 10 Updates in Verzug.

Ich glaube, wenn hier jemand mit einer so alten Thunderbird Version und einem Windows-Nutzer mit vollen Admin-Rechten aufschlagen würde, dem würdet ihr nachdrücklich die Leviten lesen. Ein paar der anderen Foristen hier würden sich wahrscheinlich sogar mordsmäßig entrüsten. OK, dir gegenüber vielleicht nicht, aber bei einem einfachen Fragestellenden bestimmt.

Heute habe ich eine weitere Nachricht von meinem Provider erhalten. Er informiert darüber, dass dort inzwischen mehrere ähnliche Fälle bekannt sind. Eine Gemeinsamkeit bei allen ist Thunderbird 68.x.

Der Provider empfiehlt, den Fehler zu melden und vorerst auf die 60.x zu gehen oder auf Outlook zu wechseln. Für mich damit abgehakt.

Zu lokalen Adressbüchern kann ich nichts sagen. Ich habe nur CardDav-Adressbücher und CalDav-Kalender. Mit denen trat es auf, reproduzierbar, aber nur unmittelbar nach einem Update. Davor und danach ist alles gut.