Synchronisierung von Kalendern via CalDAV mit ownCloud

    Um Rückfragen vorzubeugen, bitten wir um folgende Angaben:
    * Thunderbird-Version: 38.3
    * Lightning-Version: 4.
    * Betriebssystem + Version: Windows 7/64
    * Eingesetzte Antivirensoftware: Eset NOD32
    * Firewall (Betriebssystem-intern/Externe Software):

    Hallo,

    Thunderbird 38.3 mit Lightning 4.0.3 scheitert daran, Kalender und Termine zu synchronisieren. Das ändert sich auch nicht, wenn ich auf Version 38.1/4.0.2.1 zurück gehe.
    Ich möchte mit Hilfe von SOGo Connector (v31.0.1) Kalender synchronisieren, die auf ownCloud 8.2 unter Debian 8 laufen. Das klappte über viele Monate problemlos, nun gibt es kuriose Fehler, so dass Lightning nicht mehr sinnvoll und produktiv genutzt werden kann: Kalender erscheinen in Lightning gar nicht, bei anderen nur einige Termine. Neue Termine, über Lightning eingetragen, scheinen dagegen sauber verarbeitet zu werden.

    In ownCloud wurden mehrere Kalender über ics-Dateien importiert. In der Webansicht von ownCloud sind alle Termine vorhanden. Das Synchronisieren mit einem Android-Smartphone und Evolution unter Linux Mint klappt so, wie es soll - reibungslos. Doch meine Hauptnutzung unter Windows 7 scheitert. Dieses Problem von Thunderbird/Lightning via CalDAV lässt sich übrigens auch unter Linux reproduzieren. Es ist auch nicht möglich, unter ownCloud einen neuen Kalender zu erstellen und Termine in Thunderbird zu importieren - es passiert: nichts.

    Was läuft dort falsch? Oder besser: wie kann ich Lightning wieder nutzen, das so dringend benötigt wird?

    Danke im Voraus

    Heiner

    Hallo Heiner und willkommen im Forum.
    Da Firefox und Thunderbird in den letzten Versionen nicht mehr alle Zertifikaten annehmen und wir hier schon einmal ein Problem mit einem alten Zertifikat hatten.
    CalDav-Kalender lässt sich nicht aktivieren
    Würde ich diese Zertifikate über prüfen.

    Gruß
    EDV-Oldi

    Quote from edvoldi

    ...
    Da Firefox und Thunderbird in den letzten Versionen nicht mehr alle Zertifikaten annehmen und wir hier schon einmal ein Problem mit einem alten Zertifikat hatten.
    CalDav-Kalender lässt sich nicht aktivieren
    Würde ich diese Zertifikate über prüfen.


    Hallo edvoldi,

    Firefox öffnet meinen ownCloud-Account mit dem genutzten Zertifikat anscheinend problemlos, ich kann darin arbeiten und meine Kalender werden korrekt angezeigt.
    In Thunderbird habe ich das entsprechende Zertifikat mal gelöscht und neu akzeptiert. Es bleibt bei den bekannten Problemen.

    Das Dilemma ist umso größer, als Thunderbird/Lightning die einzige Alternative zum MS Outlook-Kalender zu sein scheint, den es unter Windows gibt, um Kalender im Netzwerk zu nutzen.

    Grüße

    Heiner

    P.S.:
    Ich bin ja auf die Thunderbird-Version 38.1 zurück gegangen - sollte dort nicht das Autoupdate abgestellt sein, weil es bekannte Probleme von Thunderbird/Lightning gibt? Nun habe ich, ohne meine Zutun, wieder die neuesten Versionen 38.3 und 4.0.3

    Quote from hellweg116

    weil es bekannte Probleme von Thunderbird/Lightning gibt?

    Dieses Problem ist mit der Version 38.3 und 4.0.3.1 behoben worden.
    Und in kürze erscheint die Version 38.4.

    Gruß
    EDV-Oldi

    Quote from edvoldi

    Dieses Problem ist mit der Version 38.3 und 4.0.3.1 behoben worden.Und in kürze erscheint die Version 38.4.

    Ich bezweifle das die Probleme zwischen Thunderbird/Lightning und CalDAV-Kalendern z.B. auf ownCloud behoben wurden. Trotz Neuinstallation eines Debian-Servers mit own-Cloud werden Kalender nicht oder falsch synchronisiert, während Android und Evolution tun, was sie sollen - dort läuft's. Irre ich mich, oder ist das verzögerte Erscheinen von 38.4 ein Hinweis auf diese Probleme.

    Gruß

    Quote from hellweg116

    Ich bezweifle das die Probleme zwischen Thunderbird/Lightning und CalDAV-Kalendern z.B. auf ownCloud behoben wurden

    Davon war auch nie die Rede.,
    Du hattest erwähnt das es Probleme mit den Versionen Thunderbird 38.3 mit Lightning 4.0.3 gibt, das war kein Problem was Dich betrifft. Die Probleme dieser Version wurden mit 38.3 und 4.0.3.1 behoben und nicht anderes habe ich geschrieben.
    Warum es im Moment keine neue Thunderbird Versionen gibt, kann ich leider auch nicht sagen. Zur Zeit gibt es nur neue Versionen in englisch. Hast Du schon einmal auf Bugzilla, ob es dort Fehlermeldungen gibt, die zu Deinem Problem passen könnte?

    Gruß
    EDV-Oldi

    Hallo Heiner,

    mangels Owncloud habe ich leider keine Lösung für Dein Problem, aber vielleicht einige Hinweise zur Fehlersuche.

    Wie einige andere Teilnehmer in diesem Forum auch hoste ich meine Kalender und Adressbücher über einen kleinen Radicale Server auf einem RasPi. Das Zertifikat auf dem Raspberry ist ein selbst erstelltes. Vor einigen Tage habe ich, um hier jemanden zu helfen, zu Testzwecken einen Kalender bei gmx über CalDAV eingebunden. Beides funktioniert einwandfrei. Das spricht dafür, dass CalDAV in Lightning korrekt unterstützt wird, ist aber natürlich kein Beweis.
    Das lässt mich vermuten, dass entweder doch ein Fehler in Deiner Konfiguration vorliegt oder dass das Zusammenspiel Lightning/Owncloud nicht einwandfrei funktioniert. Dafür spricht auch, dass es mit Evolution funktioniert, während der Fehler (vom selben Rechner aus?) mit Lightning auch unter Linux auftritt.

    Sofern Owncloud ein Fehlerlog zur Verfügung stellt, wäre das die erste Stelle, an der ich nach weiteren Hinweisen schauen würde. Ebenso in der Fehlerkonsole des Thunderbird, obwohl diese oftmals nicht gerade vielsagend ist. Sollte es ein Problem mit dem Zertifikat sein, erkennt man es dort vielleicht.
    Thunderbird bietet ein erweitertes Logging, siehe https://wiki.mozilla.org/MailNews:Logging#smtp . Ob dabei auch Lightning mitprotolliert wird, weiß ich allerdings nicht.
    Solltest Du auf diese Art keinen Fehler finden können, würde ich zum Test versuchen, auf die letzte erwiesenermaßen funktionierende Konfiguration zurückzugehen, d.h. Ownlcoud, den TB und Lightning in älteren Versionen frisch aufsetzen, sodass sichergestellt ist, dass keine Konfigurationsreste aus den aktuellen Versionen zurückbleiben.
    Sollte der Fehler in einer der drei Softwarekomponenten liegen, dann müsste jetzt alles wieder funktionieren. Dann kannst Du TB/Lightning und Owncloud nacheinander auf den neuesten Stand bringen und dazwischen jeweils testen. So sich die "schuldige" Komponente zeigen.

    Um ein Problem mit den Zertifikaten auszuschließen, würde ich die Tests zunächst nur über http ausführen und unter Windows sicherstellen, dass die AV-Software sich nicht in die Verbindung drängt.

    Gruß

    Susanne

    Hallo Susanne,

    Danke für den Hinweis auf die Fehlerkonsole in Thunderbird (unter "Extras"). Meldungen dort passen zu dieser Seite https://0xstubs.org/broken-calenda…le-to-owncloud/. Dort wurde ein Google-Kalender als isc-Datei exportiert, in ownCloud importiert und führte dann zu den Fehlern in Lightning, die ich (wahrscheinlich) auch sehe. Allerdings ist es bei mir sowohl ein Export aus Lightning heraus wie auch aus dem aktuellen ownCloud-Kalender, der zu Fehlern führt. Mit einem Eingriff in die ownCloud-Datenbank soll sich das Problem lösen lassen, und es scheint unklar zu sein, woher der Fehler kommt :( .

    Gruß

    Heiner

    Quote from edvoldi

    Davon war auch nie die Rede.,Du hattest erwähnt das es Probleme mit den Versionen Thunderbird 38.3 mit Lightning 4.0.3 gibt, das war kein Problem was Dich betrifft. Die Probleme dieser Version wurden mit 38.3 und 4.0.3.1 behoben und nicht anderes habe ich geschrieben.


    Hallo edvoldi,

    ich habe vergessen zu schreiben, dass dieser Fehler eben immer noch mit Thunderbird 38.3 und Lightning 4.0.3.1 auftritt, sorry. Mir ist unklar, auf welcher Seite das Problem liegt, ob bei Thunderbird oder bei ownCloud. Möglicherweise auch im Zusammenspiel der beiden, egal ob unter Linux oder Windows. Nach wie vor zeigen Evolution unter Mint und mein Android-Smartphone die Kalender fehlerlos an.

    Gruß

    Heiner

    Hallo Heiner,

    in dem von Dir verlinkten Beitrag ist die Ursache die, dass die importierten Kalender nicht RFC-konform waren. Diesen Fehler hat der Autor per SQL-Befehl, also durch Suchen und Ersetzen, korrigiert.
    Du kannst Dir die Einträge in Deinen importierten Kalendern ja einmal anschauen und auf Konformität prüfen. Edvoldi hat dazu gerade gestern einen interessanten Link gepostet: http://severinghaus.org/projects/icv/

    Weitere Ideen zur Fehlersuchen, siehe oben.

    Gruß

    Susanne

    Quote from SusiTux

    in dem von Dir verlinkten Beitrag ist die Ursache die, dass die importierten Kalender nicht RFC-konform waren. Diesen Fehler hat der Autor per SQL-Befehl, also durch Suchen und Ersetzen, korrigiert.
    Du kannst Dir die Einträge in Deinen importierten Kalendern ja einmal anschauen und auf Konformität prüfen.

    Hallo Susanne,

    vielen Dank für den Hinweis - in kleinen Schritten geht es voran. Meine ics-Dateien, die ich mal abwechselnd in Thunderbird oder in ownCloud importiert habe, enthielten solche Zeilen, die anscheinend nicht RFC-konform sind, etwa

    DTSTART;TZID=Europe/Berlin:20150820T105000
    DTEND;TZID=Europe/Berlin;VALUE=:20150820T115000

    Durch "Suchen & Ersetzen" in einem Editor habe ich eine ICS-Datei so geändert, so dass dort nun etwas steht wie

    DTSTART;VALUE=DATE:20150820T105000
    DTEND;VALUE=DATE-TIME:20150820T115000

    Wenn ich diese ics-Datei in ownCloud importiere, wird sie von Lightning sauber gelesen. Halt, nicht ganz: Lightning scheint Probleme mit ganztägigen Terminen zu haben, diese musste ich einzeln neu eintragen, sie wurden gar nicht importiert oder angezeigt.

    Ein echtes Lightning-Problem sind bei mir jährliche Wiederholungen, etwa Geburtstage - ich kann sie in Lightning nicht neu einrichten. Und in ownCloud eingerichtet, werden sie in Lightning nicht übernommen.

    In diesen anscheinend einigermaßen sauberen Kalender trage ich nun neue Termine ein. Und egal, ob ich in Lightning oder in ownCloud eintrage, wird beim Export nach ics daraus nun

    DTSTART;TZID=Europe/Berlin:20151209T060000
    DTEND;TZID=Europe/Berlin:20151209T100000

    Ist das nicht jene Zeichenfolge, die weiter oben für das Nicht-Funktionieren im Zusammenspiel zwischen ownCloud und Thunderbird sorgt? Das Posting, wenn es denn richtig ist, lautete ja:

    Looking at the RFC in question it becomes clear that this line is invalid and should rather look like one of the following:
    DTEND;VALUE=DATE-TIME:20140417T150000Z
    [/quote]DTEND:20140417T150000ZSo ganz verstehe ich das alles noch nicht.GrußHeiner
    [/quote]

    Hallo Heiner,

    Quote from hellweg116

    Ist das nicht jene Zeichenfolge, die weiter oben für das Nicht-Funktionieren im Zusammenspiel zwischen ownCloud und Thunderbird sorgt?

    Nein, die fehlerhafte Zeile enthält "=:"

    Quote from hellweg116

    DTEND;TZID=Europe/Berlin;VALUE=:20150820T115000

    Was die ganztägigen Termine betrifft, schau mal diesen Faden: Import ICS ganztägiger Termin - endet am Vortag! . Vielleicht liegt bei Dir ein ähnlicher Grund vor.

    Gruß

    Susanne

    Quote from SusiTux

    Nein, die fehlerhafte Zeile enthält "=:

    Hallo Susanne,

    soweit ist das schon klar. Und eigentlich wollte ich mich gar nicht mit einer RFC beschäftigen, sondern klären, wie meine Termine wieder synchronisiert werden - was über viele Monate sehr zuverlässig klappte, bis ... Diese Grundfrage ist nach wie vor offen und es mir noch weniger klar, ob ich eher unter Thunderbird/Lightning oder unter ownCloud nach einer Lösung suchen muss: Die Integration von Lightning in Thunderbird legt nahe, dass es hierzu Problemen kommt. Aber auch ownCloud veröffentlichte in der Zwischenzeit Updates - ich wiederhole mich.

    Gruß

    Heiner

    Hallo Heiner,

    sofern ich Deine Beschreibungen richtig verstanden habe, scheint mir die Lösung klar:

    Quote from hellweg116

    Und eigentlich wollte ich mich gar nicht mit einer RFC beschäftigen, sondern klären, wie meine Termine wieder synchronisiert werden - was über viele Monate sehr zuverlässig klappte, bis ...

    Ich habe Dein Eröffnungsposting so verstanden, dass hinter dem nicht näher erklärten "bis ..." der Import der Kalender steckt. Nun hast Du selbst bestätigt, dass diese Termine nicht konform zur RFC waren/sind. Lightning verhält sich offenbar weniger tolerant gegenüber solchen Fehlern als andere Clients.
    Mir sind zwei solche Fälle bekannt. In beiden Fällen lag die Ursache extern. In dem einen (siehe Link oben) war das Enddatum für ganztägige Termine nicht korrekt gesetzt, in Deinem Fall ist es das "=:", das nicht der RFC 5545 entspricht.

    Es gibt in Deinem Umfeld also offenbar eine Quelle, die sich nicht an die RFC hält. Solange diese Quelle in den Kalender schreibt, sei es nun durch Import oder direkt, wird Lightning vermutlich nicht richtig funktionieren. Diese Quelle musst Du zunächst ausfindig machen und stilllegen.

    Dann heißt es, bestehende, defekte Kalendereinträge zu finden und zu korrigieren. Dabei kann das o.g. Tool helfen. Es findet syntaktische und semantische Fehler. Inhaltlichen Fehler, wie den erwähnten ganztägigen Termin, kann es nicht finden.
    Bei der Korrektur würde ich zunächst nur die Fehler angehen. In Deinem Beispiel bist Du m.E. über das Ziel hinausgeschossen. Du hast zwar das fehlerhafte "=:" durch ein "=" ersetzt, gleichzeitig hast Du aber weitere Änderungen vorgenommen, indem Du z.B. die Zeitzone entfernt hast. Das halte ich nicht für sinnvoll.

    Beachte auch, dass es ja eine Reihe weiterer Werte in einem Kalender gibt, die nicht für jeden Termin relevant sind und daher vielleicht nur selten auftauchen, wie z.B. der Organisator, ob ein Teilnehmer eine Einladung bestätigt hat oder nicht, ... . Ich will damit sagen, dass auch an anderen Stellen noch Fehler stecken können, die manche Clients akzeptieren, Lightning aber vielleicht nicht.

    Mein Fazit, immer unter der Prämisse, dass ich Deine Beschreibung richtig verstanden habe: Du hast Kalender importiert oder Einträge angelegt, die nicht der RFC entsprechen. Diese Kalender muss Du korrigieren oder neu anlegen.

    Gruß

    Susanne

    Quote from SusiTux

    Mein Fazit, immer unter der Prämisse, dass ich Deine Beschreibung richtig verstanden habe: Du hast Kalender importiert oder Einträge angelegt, die nicht der RFC entsprechen. Diese Kalender muss Du korrigieren oder neu anlegen.

    Hallo Susanne,

    vielen Dank fürs Mitdenken und bitte um Nachsicht für meine (nächtliche) Klage: da habe ich ein-, zweimal ein ;) weggelassen. Der Stand der Dinge sieht bei mir nun so aus:

    3 betroffene Kalender habe ich manuell mit einem Editor in den ics-Dateien korrigiert, so wie oben beschrieben. Diese Kalender wurden in den ownCloud-Kalender (v0.8.1) importiert und von dort nach Thunderbird/Lightning (v38.3./4.0.3.1) übernommen. Alles sah so aus, wie es sollte.

    Nun habe ich diese 3 Kalender sowohl aus Lightning wie aus ownCloud exportiert. In Lightning und ownCloud wurden die Kalender gelöscht, unter Windows die Dateien im Ordner "C:\Users\Nutzname\AppData\Roaming\Thunderbird\Profiles\1a2b3c4d.default\calendar-data" gelöscht.

    Im Anschluss habe ich zuerst die Termine aus ics-Dateien in den ownCloud-Kalender importiert, die von Lightning stammen, ;( : einige wenige Termine von über 1000 wurden übernommen!? Alles gelöscht und Import der ownCloud-Export-ics-Dateien. Hier stimmen die meisten Termine, aber einige der zuletzt eingetragenen Termine (weniger als 5) wurden nicht übernommen.

    Fazit Ende November 2015: die Zusammenarbeit zwischen Lightning, das in Thunderbird implementiert wurde, und ownCloud ist verbesserungsfähig. Die Kombination ist momentan keine zuverlässige Kalenderanwendung, wenn es um CalDAV geht. Es kann sein, dass die beiden Kalender-Anwendungen normal zusammenarbeiten, wenn die Kalender seit längerem stimmen.

    Doch Export/Import bei Neu-Installationen sorgen evtl. für Probleme. Es könnte sein, dass Lightning nicht sauber exportiert. Selbst wenn man bedenkt, dass ich ics-Dateien manuell verändert habe, stammen meine ursprünglichen Kalenderdateien als Export aus Lightning.

    Gruß

    Heiner

    Hallo hellweg116,
    Du kannst das Problem dem Entwickler von Lightning mitteilen.
    Vielleicht hat er oder jemand anderes eine Idee.
    Versuche es einmal hier: https://groups.google.com/forum/#!forum/…v.apps.calendar

    Gruß
    EDV-Oldi

    Quote from edvoldi

    Du kannst das Problem dem Entwickler von Lightning mitteilen.

    Gute Idee.

    Heiner: Für eine systematische Untersuchung der Ursache betrachtest Du das Problem meiner Ansicht nach immer noch von der falschen Seite her. Ich halte die Tests mit den Datex- und Datenimports für müßig, solange nicht geklärt ist, woher die nichtkonformen Einträge stammen.
    Selbst wenn Lightning oder Owncloud einen Bug haben sollten, der dazu führt, dass sie sich aufgrund solcher Einträge verschlucken, so stellt sich doch gegenwärtig dieser fehlerhafte Eintrag als Auslöser dar.

    Ich habe gerade sämtliche Kalender unserer Familie von Lightning aus exportiert und per grep nach "=:" gesucht. Ergebnis: Keiner der Kalender enthält diese Zuweisung.
    Wir benutzen zum Erstellen von Terminen neben Lightning unter Windows und Linux (6*) die Kalender-App von Windows Phone 8.1 (2*), für die Androiden CalenderSync (2*) und den Kalenderclient von SailfishOS (1*). Keiner dieser Clients hat einen solchen falschen Eintrag verursacht. Die Vermutung liegt also nahe, dass sie nicht aus Lightning stammen, auch nicht aus einem fehlerhaften Export.

    Die Frage lautet: Woher stammen diese Einträge bei Dir? Dort würde ich mit der Fehlersuche ansetzen.
    In dem von Dir genannten Beitrag https://0xstubs.org/broken-calenda…le-to-owncloud/ stammten sie aus einem Google-Kalender. Benutzt Du einen Google-Kalender oder hast aus einem Einladungen bekommen?

    Gruß

    Susanne

    Quote from SusiTux

    Die Frage lautet: Woher stammen diese Einträge bei Dir? Dort würde ich mit der Fehlersuche ansetzen.

    Hallo Susanne,

    die Kombination Thunderbird/Lightning mit ownCloud auf Debian (und CalDAV-Sync unter Android) - damit arbeite ich. Ich kann mir nicht vorstellen, an welcher Stelle durch ein anderes Programm die fehlerhaften 2 Zeilen je Termin herkommen sollten.

    Und nochmal: in 3 ics-Dateien habe ich diese vielen Doppel-Zeilen jeweils korrigiert, nach Import/Export/Import waren wieder Fehler drin - ob die gleichen oder andere vermag ich ich nicht zu sagen. Was liegt da näher als zu sagen: Lightning und ownCloud haben ein Problem, jedes für sich oder miteinander?

    Gruß

    Heiner

    Von Im- Export Problemen hört man hier sehr selten etwas.
    Die meisten Probleme entstehen durch falsche/unterschiedliche Zeitzonen, gelegentlich gibt es auch Probleme mit Umlauten.
    Einige Probleme beim importieren kommen von Unis, die die Kalender für Outlook abstimmen und Microsoft hat so seine eigenen RFC Regeln.
    Ich kenne ownCloud nicht, meine Kalender liege auf dem PI verwaltet werden sie mit Radicale.
    Hier werden die Kalender in Lightning angelegt und auch in Lightning importiert.
    Wenn die Kalender aus Lightning in eine ics Datei exportiert werden, lässt sich diese Datei doch überprüfen ob sich darin etwas verändert hat.
    Wenn das so ist würde ich das ganze einmal mit einem neuen Profil testen.

    Gruß
    EDV-Oldi

    Hallo Heiner,

    Quote from hellweg116

    Ich kann mir nicht vorstellen, an welcher Stelle durch ein anderes Programm die fehlerhaften 2 Zeilen je Termin herkommen sollten.

    In dem von Dir geposteten Beispiel ist nur eine Zeile falsch und zwar die zweite, wegen des "=:". Dort sollte nur ein ":" (*) sein. Ob der Kalender noch weitere Fehler enthält, kannst nur Du herausfinden.
    Zwei Möglichkeiten, wie dieser Fehler in den Kalender gekommen sein kann, hatte ich oben genannt. Es gibt sicher noch weitere Möglichkeiten.
    Dass es am Export aus Lightning liegt, ist natürlich nicht ausgeschlossen. Ich halte das aber für nicht sehr wahrscheinlich. Es sei denn, dieser Fehler war bereits drin, z.B. durch einen Import eines Termins.

    Quote from hellweg116

    Und nochmal: in 3 ics-Dateien habe ich diese vielen Doppel-Zeilen jeweils korrigiert, nach Import/Export/Import waren wieder Fehler drin - ob die gleichen oder andere vermag ich ich nicht zu sagen.

    Dann auch gern ein "nochmal" von mir: Du hast nicht nur den Fehler mit dem "=:" korrigiert. Du hast auch die Angabe der Zeitzone (TZID) entfernt.
    Deshalb wäre dies:

    Quote from edvoldi

    Wenn die Kalender aus Lightning in eine ics Datei exportiert werden, lässt sich diese Datei doch überprüfen ob sich darin etwas verändert hat.

    vernünftig. Den Link auf die vom oldi genannte Testseite hatte ich ja extra gepostet.

    Gruß

    Susanne

    (*): Mit VALUE=: wird ein leeres Value übergeben. VALUE sollte aber vom Type DATE oder DATE-TIME (default) sein. Wie in Deinem Beispiel in Beitrag 11.

    Edited once, last by SusiTux: Habe noch etwas zur besseren Erklärung ergänzt. (November 23, 2015 at 9:55 AM).