Skip to: categories | main content

Sep 8: Converting a Symfony project from ISO-8859-1 to UTF-8


There are many projects with ISO-8859-1 character encoding - problems arise, when you try to integrate external software/libraries into them. By default, every web project should use UTF-8 to encode its files. Prototype's Ajax.Request() for example can't handle anything different to UTF-8 and gets you into big trouble, when you try to send german umlauts with it.

But how to convert a complete ISO (Symfony) project to UTF-8?

It's pretty simple: First, we need to determine which files need to be converted and write them into a text file. In a symfony project, this should be all templates, all javascripts and all configuration stuff. It can simply be done by entering the following commands in a shell (located in the symfony projects' root directory):

  1. find -iname '*.php' > convert
  2. find -iname '*.yml' >> convert
  3. find -iname '*.js' >> convert

You can filter the result by editing the newly created "convert" file.


Then, you are able to convert all files to utf8, this is done by:

  1. for i in `cat convert`; do echo iconv --from-code=ISO-8859-1 --to-code=UTF-8 $i > $i.utf8 ; done

The command creates for each file found in "convert" a new file with the same name of the old one, except with an additional .utf8 extension.

In a last step, the .utf8 will be removed to overwrite the existing ISO files:

  1. for i in `find -iname '*.utf8'`; do mv $i ${i%.*}; done

Don't forget to change the (sf_)charset configuration option in all settings.yml's to utf-8.

Before you submit the changes to the repository, you should also run your testsuite and look over the project manually.

That's it!

Geschrieben von Christoph Hautzinger in PHP, Symfony Kommentare: (0) Trackback: (1)

Dez 13: entwickler.press Adventskalender


Ich hab derzeit leider viel um die Ohren, sodass ich nur sehr wenig Zeit zum Bloggen habe...

Dennoch will Euch dieses Schmankerl nicht vorenthalten:
Der Entwickler Press Verlag bietet einen Online-Adventskalender, indem sich hinter jedem Türchen ein cooles IT-eBook befindet.

Hier gehts direkt zum Adventskalender


Nachtrag:

Da ich nicht weiß, wie die rechtliche Lage aussieht, will ich keine Links posten, aber dennoch die Bücher bereitstellen, die Ihr vielleicht verpasst habt :-)

http://80.237.217.198/ep/xmas/ebooks/01_Managed%20DirectX_6dgh65.pdf
http://80.237.217.198/ep/xmas/ebooks/02_Java%206%20Einstieg_7ghdhkh.pdf
http://80.237.217.198/ep/xmas/ebooks/03_Visual%20Csharp_7sdgkh.pdf
http://80.237.217.198/ep/xmas/ebooks/04_Google%20Web%20Toolkit_254aklkle7.pdf
http://80.237.217.198/ep/xmas/ebooks/05_Java%206%20PHB_6gdskc.pdf
http://80.237.217.198/ep/xmas/ebooks/06_Dojo%20Toolkit_9fdhsa.pdf
http://80.237.217.198/ep/xmas/ebooks/07_XNA%20Framework_6gdgs3a.pdf
http://80.237.217.198/ep/xmas/ebooks/08_Visual%20Csharp%20PHB_98snbber.pdf
http://80.237.217.198/ep/xmas/ebooks/09_eBay%20API_2bd86d2.pdf
http://80.237.217.198/ep/xmas/ebooks/10_Salesforce_9dhbe3x.pdf
http://80.237.217.198/ep/xmas/ebooks/11_Software%20Life%20Cycle_63gsbd2.pdf
http://80.237.217.198/ep/xmas/ebooks/12_Dateiformate_092ncd0.pdf
http://80.237.217.198/ep/xmas/ebooks/13_Exploring%20JavaScript_63kasd3u.pdf
http://80.237.217.198/ep/xmas/ebooks/14_Axis2_358dfg1.pdf
http://80.237.217.198/ep/xmas/ebooks/15_XSL-FO_8326bdh46s.pdf
http://80.237.217.198/ep/xmas/ebooks/16_C++%20PHB_92dfa.pdf
http://80.237.217.198/ep/xmas/ebooks/17_MS%20Ajax_9264d31.pdf
http://80.237.217.198/ep/xmas/ebooks/18_Sichere%20Webanwendungen_9287hd42.pdf
http://80.237.217.198/ep/xmas/ebooks/19_social_software_365dgh.pdf
http://80.237.217.198/ep/xmas/ebooks/20_XSLT_2df3rfy.pdf
http://80.237.217.198/ep/xmas/ebooks/21_MDSD_9827ddf23l.pdf
http://80.237.217.198/ep/xmas/ebooks/22_Google%20Web%20API_982hd5.pdf
http://80.237.217.198/ep/xmas/ebooks/23_XAML_07scwjeh.pdf


Ich wünsche Euch allen ein frohes und besinnliches Weihnachtsfest :-)

Geschrieben von Christoph Hautzinger Kommentare: (4) Trackback: (1)

Okt 14: Gartenlaube Homepage online

Seit dieser Woche ist die neue Homepage der Heilbronner Gartenlaube online - bei genauerer Betrachtung fällt auf, dass es sich bei den eingebunden Partypics um Bilder von diginights handelt - sogar zu meiner Shooterzeit von 2004 sind noch einige Galerien mit dabei.





Um die Integration einfach zu gestalten, bieten wir seit geraumer Zeit einen speziellen Service an, der es externen Webseitenbetreibern ermöglicht, anhand eines speziell definierten Filters eine Teilmenge unseres Bilderrepositories (also beispielsweise sämtliche Bilder zu einer Location) auf ihrer Webseite in einem iFrame einzubinden, um so immer über aktuelle Bilder zu verfügen. Dieser Service wird auch von anderen Heilbronnern Clubs wie dem Creme 21 oder dem Barococo eingesetzt. Ein Webservice stand zur Designzeit damals garnicht zur Debatte, da die meisten Agenturen, die diese Clubwebseiten erstellen garnicht wissen, was das ist, geischweige denn, wie man gegen ihn programmiert ;-) .

Bei noch genauerer Betrachtung der Galerien fällt auf, dass es sich hierbei um eine unbeabsichtigte optische Täuschung handelt - unser Gehirn denkt sich zwischen die einzelnen Bildquadrate dunkle Kreise, wie man im folgenden Bild noch besser erkennen kann:



Geschrieben von Christoph Hautzinger in diginights.com, Fun Kommentare: (0) Trackbacks: (0)

Okt 11: Symfony Benchmarks: LigHTTPd vs. Apache

Andy hat mir gerade einen interessanten Blogeintrag geschickt, in dem mittels "ab" eine Symfony Anwendung für Apache und LigHTTPd gebenchmarkt wird. Das Resultat ist echt fastzinierend, ich hätte niemals gedacht, dass der LigHTTPd hierbei so gut abschneidet.

Seht aber selbst: LigHTTPd and Apache - Symfony benchmarks
Geschrieben von Christoph Hautzinger in Symfony Kommentare: (0) Trackbacks: (0)

Okt 6: 30

Heute will ich etwas über Symfony Filter zum Besten geben. Vorab eine kleine Einführung zum sfTextReplacementPlugin, welches es ermöglicht Text auf einer Website in einer beliebigen TTF-Schriftart als (cachbare) Grafik auszugeben um so beispielsweise h1/h2-Überschriften zu ersetzen. Die Einbindung erfolgt über einen simplen Funktionsaufruf, der an jeder gewünschten Stelle gemacht werden muss, hier ein Beispiel:

  1. <?php use_helper('TextReplacement') ?>
  2. <?php echo graphical_text('Dies ist meine Überschrift') ?>
  3. <p>hier fängt dann der Content der Seite an...</p>

Das Plugin bietet von Haus aus die Möglichkeit, die Seite nach dem Laden mit Hilfe des der js_replace_text()Helper-Methode per Javascript zu durchsuchen um gewisse Tags durch die entsprechenden Bilder ersetzen zu lassen - doch was, wenn der Browser Javascript deaktiviert hat? Zudem wird hierbei ein zusätzliches Javascript File includiert was auch nicht unbedingt sein muss.
Für einen naiven Programmierer ist es natürlich ärgerlich, diese Replacements in ein großes Projekt zu integrieren weil er jede einzelne Überschrift durch den entsprechenden Funktionsaufruf ersetzt - viel eleganter geschieht dies mittels Filter. Da ich die Ersetzungen nur im Content Bereich der Webseite (also in dem Bereich, der auf jeder Seite anders ist) vorgenommen werden sollen, liegt es auf der Hand, eine abstrakte Klasse zu definieren, die eben diesen Bereich isoliert um ihn dann von einer Subklasse ersetzen zu lassen (eine zusätzliche Anforderung in diesem Projekt war nämlich das Ersetzen einzelner Wörter duch Wikipedia Links). Die (Super-)Klasse sieht in meinem Fall so aus:

  1. <?php
  2. /**
  3. * abstract class to extract contents of template
  4. *
  5. * @author Christoph Hautzinger <mail at hautzinger.info>
  6. */
  7. abstract class ContentFilter extends sfFilter
  8. {
  9.   protected $content;
  10.  
  11.   /**
  12.    * extracts pages main content and passes it to self::replace()
  13.    *
  14.    * @param sfFilter $filterChain
  15.    */
  16.   public function execute($filterChain)
  17.   {
  18.     // Execute next filter
  19.     $filterChain->execute();
  20.    
  21.     $timer = sfTimerManager::getTimer(get_class($this).' Filter');
  22.    
  23.     $response = $this->getContext()->getResponse();
  24.     $content = $response->getContent();
  25.    
  26.     $startMark = '<!-- ContentFilter:START -->';
  27.     $stopMark  = '<!-- ContentFilter:STOP -->';
  28.    
  29.     // determine section where replacementes are done
  30.     $startPos = strpos($content, $startMark);
  31.     $stopPos  = strpos($content, $stopMark, $startPos) + strlen($stopMark);
  32.  
  33.     $this->content = substr($content, $startPos, $stopPos - $startPos);
  34.    
  35.     // do replacements
  36.     $this->replace();
  37.    
  38.     $response->setContent(
  39.       substr($content, 0, $startPos) . $this->content . substr($content, $stopPos)
  40.     );
  41.    
  42.     $timer->addTime();
  43.   }
  44.  
  45.   /**
  46.    * should be overwritten in subclass
  47.    */
  48.   abstract protected function replace();
  49. }
Zu beachten ist hierbei, dass der Content im dem die Ersetzungen vorgenommen werden sollen im Template durch die beiden Kommentare <!-- ContentFilter:START --> und <!-- ContentFilter:STOP --> eingeschlossen werden muss. Der Code enthält keinerlei Magic und sollte auch ohne PHP-Kenntnisse leicht verständlich sein.

Nun aber wieder zurück zum eigentlichen Problem: Wir haben nach einer Lösung gesucht, diese Ersetzungen global vorzunehmen und die sieht wie folgt aus:

  1. <?php
  2. /**
  3. * replaces all h1, h2 tags with its adequate graphical_text()-call replacements
  4. *
  5. * @author Christoph Hautzinger <mail at hautzinger.info>
  6. */
  7. class TextReplacementFilter extends ContentFilter
  8. {
  9.   /**
  10.    * searches for all h1 and h2 tags and passes result to self::callbackHeadline()
  11.    */
  12.   protected function replace()
  13.   {
  14.     sfLoader::loadHelpers(array('TextReplacement'));
  15.     $this->content = preg_replace_callback('@<(h[12])>([^<]+)</\\1>@i', array($this, 'callbackHeadline'), $this->content);
  16.   }
  17.  
  18.   /**
  19.    * replace all matches with a specific h1 tag and our textreplacement-call
  20.    * @return string
  21.    */
  22.   protected function callbackHeadline($matches)
  23.   {
  24.     return '<h1>Google Searchword1, Google Searchword2: '.$matches[2].'</h1>' . PHP_EOL .
  25.            graphical_text($matches[2], 'headline') .'<br/>';
  26.   }
  27. }

Zusätzlich wird noch eine h1-Überschrift in das Dokument eingefügt, um eine bessere Indizierung durch Suchmaschinen zu gewährleisten - man darf natürlich nicht vergessen, sämtliche dieser "speziellen" h1 Tags per CSS auf display: none zu setzen und den Filter in der filters.yml zu aktivieren.


Und wir sehen: Mit relativ wenig Code haben wir wieder sehr viel erreicht, wenn man die Vorzüge eines hervorragenden Frameworks nutzt. Sicherlich sind reguläre Ausdrücke langsam und preg_replace_callback noch langsamer - dennoch finde ich den Einsatz hier angebracht, zumal die Ausführung des Filters auf eine mittelgroße Seite angewandt nur ca. 6ms in Anspruch nimmt - und sollte sich später die gesamte Anwendung einmal wegen diesen 6ms aufhängen, so kann man immer noch ein Refactoring in Betracht ziehen und auf triviale Stringmanipulation umsteigen ;-).
Geschrieben von Christoph Hautzinger in Javascript, PHP, Symfony Kommentare: (6) Trackbacks: (0)

Sep 22: "Thirteen Simple Rules for Speeding Up Your Web Site"

Ich bin gerade auf eine Developer Webseite von Yahoo! gestossen, auf der 13 Regeln genannt werden, wie man seine Webanwendungen ohne Codeoptimierung beschleunigen kann.

Diese 13 Regeln lauten:
1: Minimize HTTP Requests
2: Use a Content Delivery Network
3: Add an Expires Header
4: Gzip Components
5: Put Stylesheets at the Top
6: Put Scripts at the Bottom
7: Avoid CSS Expressions
8: Make JavaScript and CSS External
9: Reduce DNS Lookups
10: Minify JavaScript
11: Avoid Redirects
12: Remove Duplicate Scripts
13: Configure ETags

Wer sich unter einzelnen Punkten nichts vorstellen können sollte, darf gerne auf Yahoo! alles detailliert nachlesen.

Um diese 13 Punkte elegant aus dem Browser zu verifizieren hat Yahoo! ein eigenes Firebug Plugin entwickelt - YSlow. Den Screencast davon habe ich auch hier mal reingebaut ;-).



Neben dem Firebug sicherlich ein sehr wichtiges Tool zum Web Development.
Geschrieben von Christoph Hautzinger Kommentare: (0) Trackbacks: (0)

Sep 21: Javascript? Das ist doch Kindergeburtstag! Oder doch nicht!?

Mir fällt immer wieder auf, dass es viele Web Developer gibt, die den Funktionsumfang von Javascript nicht kennen/nutzen, bzw. diese Sprache komplett unterschätzen - "Ist ja nur eine kleine eingebettete Skriptsprache". Soeben bin ich auf den Blog von Ola Bini gestossen, in dem er sich wundert, dass man in Javascript beispielsweise über den Array-Operator auf die Methoden eines Objektes zugreifen kann.

Bei Javascript handelt es sich (wie auch beispielsweise bei Lisp) um eine Funktionale Sprache, was u.a. impliziert, dass Funktionsreferenzen als Parameter übergeben werden können, oder eine Funktion eine andere Funktion als Rückgabewert haben kann, wozu ich ein cooles Codebeispiel habe:

  1. var Configuration = Class.create();
  2. Configuration.prototype = {
  3.   _config : null,
  4.  
  5.   initialize: function(config) {
  6.     this._config = config;
  7.   },
  8.  
  9.   get: function(key) {
  10.     return function(vars) {
  11.       return (new Template(this._config[key])).evaluate(vars);
  12.     }.bind(this);
  13.   }
  14. };

Hierbei handelt es sich um ein der Anschaulichkeit vereinfaches Beispiel einer kleinen Template Engine in Javascript, da ich nach einer Möglichkeit gesucht habe, serverseitige Daten initial elegant an ein includiertes Javascriptfile zu übergeben. Aber ich will nicht vom Thema abschweifen... ;-)

Schauen wir uns die Configuration::get() Methode an - sie nimmt einen Parameter, der das Template mit einem sog. Hash (oder einem Schlüssel) identifiziert und sofort eine anonyme Funktion zurückgibt, die als Parameter ein JSON Objekt nimmt, welches der evaluate() Methode aus Prototypes Template-Klasse übergeben wird.

Die anonyme Funktion tritt also erst in Aktion, nachdem sie explizit ausgeführt wird, wozu sie sich den Wert von key in einem internen Funktionsenvironment speichern muss.

Angenommen, wir hätten die Configuration bereits mit einem trivialen Template initialisiert, so können wir die anonyme Funktion über den entsprechenden Key abrufen und diese dann mit den Ersetzungswerten aufrufen:

  1. var cfg = new Configuration({say_hallo: 'Hallo #{firstname} #{lastname}, wie gehts?'});
  2. // fetch anonymous function
  3. var fn = cfg.get('say_hallo');
  4. // call anonymous function
  5. var text = fn({firstname: 'Marc', lastname: 'Kreibich'});

Tja... und da Javascript wirklich so eine schöne Sprache ist, geht das natürlich auch noch einfacher, indem wir die anonyme Funktion direkt aufrufen, ohne sie in einer temporären Variablen zwischenzuspeichern:

  1. var text = cfg.get('say_hallo')({firstname: 'Marc', lastname: 'Kreibich'});

Einer der vielen Gründe, wieso es sich lohnt sich mit Javascript einmal richtig auseinanderzusetzen!
Geschrieben von Christoph Hautzinger in Javascript Kommentare: (0) Trackbacks: (0)

Sep 11: "The IT Crowd"

Vorhin wurde ich auf die Britische Serie The IT Crowd aufmerksam gemacht und hab mir gleich mal eine Folge davon angeschaut. Wie der Name bereits vermuten lässt, spielt die Handlung in der IT Abteilung einer fiktiven Firma. Der Humor ist schön schwarz, wie man es bereits aus anderen Britischen Serien wie z.b. Coupling kennt. Nehmt Euch die 22 Minuten und seht am besten selbst:



Weitere Episoden finden sich auf Youtube oder zum direkten Downloaden hier (legal).
Geschrieben von Christoph Hautzinger in Fun Kommentare: (0) Trackbacks: (0)

Sep 2: sfPropelZSLSearchPlugin: Die Integration von Lucene in Symfony

Letzte Woche fand sich im Symfony Blog (A week of symfony #34 (20->26 August 2007)) die Ankündigung eines meiner Meinung nach sehr coolen Plugins - dem sfPropelZSLSearchPlugin: Es integriert die PHP Portierung von Apaches Lucene aus dem Zend Framework in Symfony. Ich habe früher schon mit dem Gedanken gespielt, Zends Lucene Implementierung für diginights einzusetzen, was allerdings aus mangelnder Zeit und der höhreren Priorisierung anderer Tasks niemals passiert ist.

Für alle, die es nicht wissen: Lucene ist ein index-basiertes Suchsystem welches das schnelle Durchsuchen von Dokumenten/Webseiten ermöglicht. Eine Suchanfrage durchsucht also nicht in Echtzeit jede einzelne Webseite, sondern nur den bereits erwähnten Index, der in einem anderen Schritt (automatisiert) erstellt wird.

Das geniale an dem Plugin ist, dass die Integration (fast) komplett über Konfigurationsdateien erfolgt, zudem wird das Symfony CLI um einige Tasks erweitert, die beispielsweise den Index optimieren oder komplett neu erzeugen. Die Optimierung sollte wohl hin und wieder mal ausgeführt werden, da Lucene intern mit mehreren Indices arbeitet die dadurch verschmolzen werden. Zudem ist das Handling von i18n-Tabellen bereits komplett abgebildet.

Bei dynamischem Content (welcher i.d.R. durch Propel Objekte abgebildet wird) wird dem entsprechenden Propel Objekt ein spezielles Verhalten hinzugefügt, welches nach Aufruf von save() automatisch den Index aktualisiert.

  1. class ForumPost extends BaseForumPost {}
  2.  
  3. sfPZSLBehavior::getInitializer()->setupModel('ForumPost');


Aus welchen Daten der Index aufbereitet werden soll, wird in der project/config/search.yml definiert - zu beachten gilt es, dass zu den Feldnamen die entsprechenden Getter definiert sind (hier ForumPost::getTitle(), ForumPost::getContent(), ForumPost::getStrippedTitle()):

    models:
      ForumPost:
        fields:
          title:
            boost: 1.5
            type: text
          content:        unstored
          strippedtitle:  unindexed

    index:
      name: MyIndex
      encoding: UTF-8
      cultures: [de_DE]


Die korrekte Verlinkung der entsprechenden Trefferseiten einer Suchanfrage geschieht durch festlegen der einzelnen Routen sämtlicher beteiligter Propel Klassen in der application/config/search.yml:

    models:
      ForumPost:
        route: "@forum_thread?stripped_title={$strippedtitle}"


In diesem Beispiel wird {$strippedtitle} durch den Wert, der im Index gespeichert wird ersetzt.

Dafür, dass es sich noch um eine Alpha Version handelt, die erst zwei Releases hatte muss ich sagen, dass ich von der Codequalität und der Umsetzung total überzeugt bin - ganz im Gegensatz zu anderen Plugins wie beispielsweise dem sfSimpleForumPlugin.

Für mehr Informationen und Screenshots lohnt ein Vorbeisurfen auf der Wiki Seite des Plugins.
Geschrieben von Christoph Hautzinger in PHP, Symfony Kommentare: (3) Trackbacks: (0)

Jul 24: Microsoft Student Program an der Hochschule Heilbronn

Nachdem ich jetzt über 2 Monate nichts mehr geschrieben habe, weil ich mein Blog-Passwort vergessen habe *Ausrede* ;-) , will ich heute einmal wieder paar Zeilen schreiben:

Jetzt am Mittwoch findet - trotz Semesterferien - bei uns an der Hochschule wieder ein Workshop des Microsoft Student Programs statt - diesmal zu der Thematik ASP.NET, was sicherlich wieder sehr interessant werden wird. Gehalten wird das Ganze von Andreas Maier, einem Studenten im mittlerweile dritten Semester mit einem sehr ausgeprägten .NET Kenntnisstand und einer sehr angenehmen Vortragsart - ganz im Gegensatz zum Dozenten der Vorlesung SEU (Herrn Haid) - hier herrscht das Chaos ;-).

Ich finde es echt schön wie sich Microsoft mit dem Student Program an die Studenten wendet - natürlich ist es letztendlich nur Werbung für ihre Produkte, aber dennoch auf eine sehr informative Weise.

Andreas schreibt auch über .NET spezifische Themen in seinem Blog: technetbloggers.
Geschrieben von Christoph Hautzinger Kommentar: (1) Trackbacks: (0)
« vorherige Seite   (Seite 1 von 3, insgesamt 28 Einträge)   nächste Seite »