WebsiteBaker und Chinesisch

[ruebenwurzel]

Hallo,

Um eine bestehende Datenbank, die mit ISO-8859-1 (in WB) erstellt wurde, nach UTF-8 (Einstellung in WB wohlgemerkt) umzuwandeln

Heisst das es gibt Probleme mit ISO-8859-1?

Matthias

[thorn]

Um eine bestehende Datenbank, die mit ISO-8859-1 (in WB) erstellt wurde, nach UTF-8 (Einstellung in WB wohlgemerkt) umzuwandeln

Heisst das es gibt Probleme mit ISO-8859-1?

Nein. Ich habe das nur mal selbst gemacht, weil ich für eine Seite (die bisher mit ISO-8859-1 lief) sowohl deutsche als auch tschechische Zeichen im Menu/Titel brauche. Und ein paar Zeichen (z.B. čůž) unter ISO-8859-1 für page_title/menu_title nicht zur Verfügung stehen.
Es sollte nur zeigen, daß man auch bei bestehenden Seiten von ISO-8859-1 zu UTF-8 wechseln kann...

Auch meine Empfehlung bei Neuinstallationen die Grundeinstellung UTF-8 zu benutzen, beruht nicht auf einem Problem mit ISO-8859-1, als vielmehr darauf, daß dann die User mit jeder beliebigen Sprache sofort loslegen können, ohne sich um Charsets und enthaltene Zeichen Gedanken machen zu müssen.

MfG, thorn

[ruebenwurzel]

Hallo,

letzte Frage, in deinem pt3 paket hast du auch noch modules/wysiwyg/save.php angepasst. Ist das in pt4 nicht mehr nötig?

allerletzte Frage, in der convert.php sind die Umlaute wie sie tatsächlich geschrieben sind nicht mehr enthalten. (hab kein ä, ö oder ü .... gefunden) Ist das Absicht?

Hab das ganze mal durchgetested und es sieht soweit alles gut aus. Kann ich die letzten Files so veröffentlichen oder bedarf es noch mehr tests?

Matthias

[thorn]

letzte Frage, in deinem pt3 paket hast du auch noch modules/wysiwyg/save.php angepasst. Ist das in pt4 nicht mehr nötig?

allerletzte Frage, in der convert.php sind die Umlaute wie sie tatsächlich geschrieben sind nicht mehr enthalten. (hab kein ä, ö oder ü .... gefunden) Ist das Absicht?

Hab das ganze mal durchgetested und es sieht soweit alles gut aus. Kann ich die letzten Files so veröffentlichen oder bedarf es noch mehr tests?

Hallo,

die Änderung an modules/wysiwyg/save.php habe ich wieder herausgenommen. Die Grundidee dabei war, bei UTF-8 alle Entities im Text die der Editor da möglicherweise reinbringt in Sonderzeichen zu wandeln. Das hatte aber unerwünschte Nebeneffekte, so daß ich das wieder entfernt habe. -- Man kann ja auch besser den Editor entsprechend konfigurieren, wenn man das haben will.

convert.php: Das ist ja gerade der Trick bei der Sache... Sonst müßte man ja um alle möglichen Umlaute und Sonderzeichen (sprich den Unicode-Bereich) abzudecken gut 60.000 Zeichen in die convert.php aufnehmen.

Ich habe das schon im 'Produktiv-Einsatz' und da sind mir keine Probleme mehr untergekommen.
Meiner Meinung nach ist das jetzt fertig.

MfG, thorn.

[ruebenwurzel]

Hallo,

schau hier:
http://projects.websitebaker.org/websitebaker2/changeset/442
http://projects.websitebaker.org/websitebaker2/changeset/443

Matthias

[thorn]

schau hier:
http://projects.websitebaker.org/websitebaker2/changeset/442
http://projects.websitebaker.org/websitebaker2/changeset/443

Es war mir eine freude...

MfG, thorn.

[thorn]

Hallo,

nachdem ich die obigen Änderungen nun schon eine Weile im Produktiv-System einsetzte, sind mir beim Highlighting doch noch ein paar Dinge aufgefallen die geändert werden müssen.
Das Highlighting geschieht ja über einen RegEx - leider ist es mir nicht gelungen dort einen Ausdruck zu finden der alle möglichen charsets und alle möglichen Editoren (die ja unterschiedlich Umlaute oder Entities erzeugen) abdeckt.
Ich konnte das aber inzwischen lösen, indem ich für das highlighting den Suchstring und den anzuzeigenden Content in ein einheitliches Format konvertiere. Diese Konvertierung geschieht nur im Augenblick des Anzeigens, führt also keine Änderungen am Datenbestand aus.

Weiterhin gibt es das Problem, daß die Suche in der Datenbank ('... LIKE ...' auf SQL-Ebene) bei Umlauten je nach Charset nicht automatisch Groß/Klein-Schreibung ignoriert (sprich: Suche nach "änder" findet zwar 'ändern' aber nicht 'Änderung').
Auch das habe ich nun gelöst, indem wiederum Suchstring und $text in der Datenbank in ein einheitliches Format gebracht werden.  [Zur Erinnerung: die Tabelle 'mod_wysiwyg' enthält u.a. die Felder 'content' und 'text'. 'content' ist das, was der User eingibt, also der Inhalt der Seite, 'text' ist eine Kopie von 'content' ohne HTML-Tags, also reiner Text. Wobei das Feld 'text' ausschließlich für die Suche benutzt wird.] Und eben dieses Feld 'text' bringe ich nun in ein einheitliches Format.
Das hat keinen negativen Einfluß auf bestehende Seiten, aber in neuen Seiten wird die Suche unabhängig vom Charset und benutzten Editor einfach zuverlässiger funktionieren.

Damit funktioniert Suche und Highlighting nun endlich so, wie es von Anfang an hätte sein sollen 


Bei der Gelegenheit habe ich auch noch für die Dateinamen-Generierung in der convert.php in der kyrillischen Transliterations-Tabelle fehlende Zeichen ergänzt.

MfG, thorn

Edit: Endgültige Fassung siehe Reply #34.

[ruebenwurzel]

Hallo,

hab mir das gestern mal kurz angeschaut und da sind dann doch wieder einige größere Änderungen gemacht worden. Insbesondere hast du wieder die modules/wysiwyg/save.php mit aufgenommen. Gibt es einen Grund dafür?
Kann ich jetzt davon ausgehen, dass dies die endgültig Lösung ist, oder sollte ich noch ein paar posts warten, bis ich die Änderungen auf SVN veröffentliche? 

Matthias

[thorn]

Insbesondere hast du wieder die modules/wysiwyg/save.php mit aufgenommen. Gibt es einen Grund dafür?

Ja, ich bringe darin das Feld 'text' - das nur zum suchen benutzt wird - in eine einheitliche Form. Nur so arbeitet die Suche zuverlässig, unabhängig von Umlauten/Entities oder Groß-/Klein-Schreibung.

Kann ich jetzt davon ausgehen, dass dies die endgültig Lösung ist, oder sollte ich noch ein paar posts warten, bis ich die Änderungen auf SVN veröffentliche? 

Das ist jetzt so endgültig fertig. In den letzten Tagen ausgiebig getestet, mit den unterschiedlichsten Charsets, und Suche und Highlighting funktionieren damit nun tadellos.

MfG, thorn.

[ruebenwurzel]

Hallo,

Das ist jetzt so endgültig fertig

Na denn 

Hier die Änderungen im SVN:
http://projects.websitebaker.org/websitebaker2/changeset/445

Im Anhang eine gezipte Datei mit allen benötigten Dateien aus dem SVN. Einfach entpacken und über die bestehenden WB 2.6.5 Dateien drüberkopieren.

Viel Spaß

Matthias

@thorn
kannst du all deine verschiedenen angehängten Dateien bitte mit dem Hinweis löschen, dass es die aktuellsten Files hier gibt. Danke

Edit:
Removed the attachement cause it includes outdated files. The newest files you got on the projects page (SVN) or wait till 2.6.6 is released.

[Nobody]

Kurze Frage: Muss ich auch hier eine Klasse in der .css festlegen oder reicht es, wenn ich die Dateien auf dem Server ersetze? Falls ich eine Klasse eintragen muss, gibt es da einen bestimmten Namen, den ich verwenden muss oder irgendwelche Werte?

[ruebenwurzel]

@nobody

Kurze Frage: Muss ich auch hier eine Klasse in der .css festlegen oder reicht es, wenn ich die Dateien auf dem Server ersetze? Falls ich eine Klasse eintragen muss, gibt es da einen bestimmten Namen, den ich verwenden muss oder irgendwelche Werte?

Irgendwie hab ich vermuted, dass du sowas fragen würdest  .Füge dem css file deines templates folgendes hinzu:

Code:

.highlight {
background-color: #0000FF;
}

Als Farbe kannst du wählen was du willst.

Matthias

[Nobody]

Und irgendwie habe ich vermutet, dass du mit wieder helfen wirst