Christoph Hautzinger's Blog - Symfony

Symfony Benchmarks: LigHTTPd vs. Apache

nospam@example.com (Christoph Hautzinger) — Thu, 11 Oct 2007 12:24:37 +0200

Andy hat mir gerade einen interessanten Blogeintrag geschickt, in dem mittels "ab" eine Symfony Anwendung für Apache und LigHTTPd gebenchmarkt wird. Das Resultat ist echt fastzinierend, ich hätte niemals gedacht, dass der LigHTTPd hierbei so gut abschneidet.

Seht aber selbst: LigHTTPd and Apache - Symfony benchmarks

Webseitenüberschriften mittels Filter "verschönern"

nospam@example.com (Christoph Hautzinger) — Sat, 06 Oct 2007 17:25:00 +0200

Heute will ich etwas über Symfony Filter zum Besten geben. Vorab eine kleine Einführung zum sfTextReplacementPlugin, welches es ermöglicht Text auf einer Website in einer beliebigen TTF-Schriftart als (cachbare) Grafik auszugeben um so beispielsweise h1/h2-Überschriften zu ersetzen. Die Einbindung erfolgt über einen simplen Funktionsaufruf, der an jeder gewünschten Stelle gemacht werden muss, hier ein Beispiel:

<?php use_helper('TextReplacement') ?>
<?php echo graphical_text('Dies ist meine Überschrift') ?>
<p>hier fängt dann der Content der Seite an...</p>

Das Plugin bietet von Haus aus die Möglichkeit, die Seite nach dem Laden mit Hilfe des der js_replace_text()Helper-Methode per Javascript zu durchsuchen um gewisse Tags durch die entsprechenden Bilder ersetzen zu lassen - doch was, wenn der Browser Javascript deaktiviert hat? Zudem wird hierbei ein zusätzliches Javascript File includiert was auch nicht unbedingt sein muss.
Für einen naiven Programmierer ist es natürlich ärgerlich, diese Replacements in ein großes Projekt zu integrieren weil er jede einzelne Überschrift durch den entsprechenden Funktionsaufruf ersetzt - viel eleganter geschieht dies mittels Filter. Da ich die Ersetzungen nur im Content Bereich der Webseite (also in dem Bereich, der auf jeder Seite anders ist) vorgenommen werden sollen, liegt es auf der Hand, eine abstrakte Klasse zu definieren, die eben diesen Bereich isoliert um ihn dann von einer Subklasse ersetzen zu lassen (eine zusätzliche Anforderung in diesem Projekt war nämlich das Ersetzen einzelner Wörter duch Wikipedia Links). Die (Super-)Klasse sieht in meinem Fall so aus:

<?php
/**
* abstract class to extract contents of template
*
* @author Christoph Hautzinger <mail at hautzinger.info>
*/
abstract class ContentFilter extends sfFilter
{
protected $content;
/**
* extracts pages main content and passes it to self::replace()
*
* @param sfFilter $filterChain
*/
public function execute($filterChain)
{
// Execute next filter
$filterChain->execute();
$timer = sfTimerManager::getTimer(get_class($this).' Filter');
$response = $this->getContext()->getResponse();
$content = $response->getContent();
$startMark = '';
$stopMark = '';
// determine section where replacementes are done
$startPos = strpos($content, $startMark);
$stopPos = strpos($content, $stopMark, $startPos) + strlen($stopMark);
$this->content = substr($content, $startPos, $stopPos - $startPos);
// do replacements
$this->replace();
$response->setContent(
substr($content, 0, $startPos) . $this->content . substr($content, $stopPos)
);
$timer->addTime();
}
/**
* should be overwritten in subclass
*/
abstract protected function replace();
}

Zu beachten ist hierbei, dass der Content im dem die Ersetzungen vorgenommen werden sollen im Template durch die beiden Kommentare  und  eingeschlossen werden muss. Der Code enthält keinerlei Magic und sollte auch ohne PHP-Kenntnisse leicht verständlich sein.

Nun aber wieder zurück zum eigentlichen Problem: Wir haben nach einer Lösung gesucht, diese Ersetzungen global vorzunehmen und die sieht wie folgt aus:

<?php
/**
* replaces all h1, h2 tags with its adequate graphical_text()-call replacements
*
* @author Christoph Hautzinger <mail at hautzinger.info>
*/
class TextReplacementFilter extends ContentFilter
{
/**
* searches for all h1 and h2 tags and passes result to self::callbackHeadline()
*/
protected function replace()
{
sfLoader::loadHelpers(array('TextReplacement'));
$this->content = preg_replace_callback('@<(h[12])>([^<]+)</\\1>@i', array($this, 'callbackHeadline'), $this->content);
}
/**
* replace all matches with a specific h1 tag and our textreplacement-call
* @return string
*/
protected function callbackHeadline($matches)
{
return '<h1>Google Searchword1, Google Searchword2: '.$matches[2].'</h1>' . PHP_EOL .
graphical_text($matches[2], 'headline') .'<br/>';
}
}

Zusätzlich wird noch eine h1-Überschrift in das Dokument eingefügt, um eine bessere Indizierung durch Suchmaschinen zu gewährleisten - man darf natürlich nicht vergessen, sämtliche dieser "speziellen" h1 Tags per CSS auf display: none zu setzen und den Filter in der filters.yml zu aktivieren.

Und wir sehen: Mit relativ wenig Code haben wir wieder sehr viel erreicht, wenn man die Vorzüge eines hervorragenden Frameworks nutzt. Sicherlich sind reguläre Ausdrücke langsam und preg_replace_callback noch langsamer - dennoch finde ich den Einsatz hier angebracht, zumal die Ausführung des Filters auf eine mittelgroße Seite angewandt nur ca. 6ms in Anspruch nimmt - und sollte sich später die gesamte Anwendung einmal wegen diesen 6ms aufhängen, so kann man immer noch ein Refactoring in Betracht ziehen und auf triviale Stringmanipulation umsteigen .

sfPropelZSLSearchPlugin: Die Integration von Lucene in Symfony

nospam@example.com (Christoph Hautzinger) — Sun, 02 Sep 2007 21:21:00 +0200

Letzte Woche fand sich im Symfony Blog (A week of symfony #34 (20->26 August 2007)) die Ankündigung eines meiner Meinung nach sehr coolen Plugins - dem sfPropelZSLSearchPlugin: Es integriert die PHP Portierung von Apaches Lucene aus dem Zend Framework in Symfony. Ich habe früher schon mit dem Gedanken gespielt, Zends Lucene Implementierung für diginights einzusetzen, was allerdings aus mangelnder Zeit und der höhreren Priorisierung anderer Tasks niemals passiert ist.

Für alle, die es nicht wissen: Lucene ist ein index-basiertes Suchsystem welches das schnelle Durchsuchen von Dokumenten/Webseiten ermöglicht. Eine Suchanfrage durchsucht also nicht in Echtzeit jede einzelne Webseite, sondern nur den bereits erwähnten Index, der in einem anderen Schritt (automatisiert) erstellt wird.

Das geniale an dem Plugin ist, dass die Integration (fast) komplett über Konfigurationsdateien erfolgt, zudem wird das Symfony CLI um einige Tasks erweitert, die beispielsweise den Index optimieren oder komplett neu erzeugen. Die Optimierung sollte wohl hin und wieder mal ausgeführt werden, da Lucene intern mit mehreren Indices arbeitet die dadurch verschmolzen werden. Zudem ist das Handling von i18n-Tabellen bereits komplett abgebildet.

Bei dynamischem Content (welcher i.d.R. durch Propel Objekte abgebildet wird) wird dem entsprechenden Propel Objekt ein spezielles Verhalten hinzugefügt, welches nach Aufruf von save() automatisch den Index aktualisiert.

class ForumPost extends BaseForumPost {}
sfPZSLBehavior::getInitializer()->setupModel('ForumPost');

Aus welchen Daten der Index aufbereitet werden soll, wird in der project/config/search.yml definiert - zu beachten gilt es, dass zu den Feldnamen die entsprechenden Getter definiert sind (hier ForumPost::getTitle(), ForumPost::getContent(), ForumPost::getStrippedTitle()):

Die korrekte Verlinkung der entsprechenden Trefferseiten einer Suchanfrage geschieht durch festlegen der einzelnen Routen sämtlicher beteiligter Propel Klassen in der application/config/search.yml:

In diesem Beispiel wird {$strippedtitle} durch den Wert, der im Index gespeichert wird ersetzt.

Dafür, dass es sich noch um eine Alpha Version handelt, die erst zwei Releases hatte muss ich sagen, dass ich von der Codequalität und der Umsetzung total überzeugt bin - ganz im Gegensatz zu anderen Plugins wie beispielsweise dem sfSimpleForumPlugin.

Für mehr Informationen und Screenshots lohnt ein Vorbeisurfen auf der Wiki Seite des Plugins.

Google Maps Coordinate Picker

nospam@example.com (Christoph Hautzinger) — Sun, 13 May 2007 17:38:16 +0200

Lets have a look at one diginights location-detail page: There is a Google Map on the bottom of the page which displays the locations' accurate position. The database-table therfore holds three columns: The two coordinate values for lattitude an longitude and the zoom factor.

Our problem was the missing userfriendly admin interface, so i wrote a little class for this purpose which uses the Google Maps API to select a coordinate by double clicking the map. Additionaly an adress can be looked up which uses Google's Geocoder class internally.

See the code in actionlattitude:
longitude:
zoom:

Zoom in first and then double click map to set coordinate!

Feel free to download all necessary files here: GMapsCoordPicker.zip. The zip-archive contains 4 files:

GMapsCoordPicker.class.js
Put this file in your project's javascript directory (/web/js), it handls client side logic.

GoogleMapsHelper.php
Put this file in your project's helper dir (/lib/helper). It supplies a helper function google_maps_coord_picker(). The following example shows the usage in a symfony template:

<?php use_helper('GoogleMaps') ?>
longitunde: <?php echo input_tag('lon') ?><br />
lattitude: <?php echo input_tag('lat') ?><br />
zoom: <?php echo input_tag('zoom') ?><br />
<?php echo google_maps_coord_picker('lon', 'lat', 'zoom'); ?>

This helper includes the Google Maps API, thus an API key has to be generated and set up in the application configuration (/apps/[appname]/config/app.yml):

_google_maps_coordinate_picker.php
To simply integrate in the admin generator, we need a tremplate that includes the helper showed above and displays the map. You have to replace the parameters passed to google_maps_coord_picker() with the input field ids of your form. Note that symfony uses object_input_tag() for its form elements which builds unconvenional form-field-ids.

generator.yml
This file displays the integration of _google_maps_coordinate_picker.php in the admin generator.

Gewinnspiele auf diginights.com

nospam@example.com (Christoph Hautzinger) — Sat, 17 Feb 2007 19:51:39 +0100

Wie dem ein oder anderen Leser hier sicherlich schon aufgefallen ist, gibt es auf diginights.com seit geraumer Zeit nun eine Gewinnspiel-Section. Die grundlegende Idee dahinter war, dem User mehr Funktionalität auf der Seite zu bieten, was uns mit dieser Idee (denke ich zumindest) auch ziemlich gut gelungen ist. Um automatische Eintragungen zu verhindern wurde ein Captcha-Schutz eingebaut, der nun auf allen anderen Formularseiten Verwendung findet, da es in der Vergangenheit öfters vorkam, dass Spamer die Location-eintragen Seite für ihre Zwecke missbrauchten.

In diesem Beitrag will ich aber ein wenig über die Verlosung schreiben, bzw. die der zu Grunde liegenden Logik.

Es existieren drei von Propel generierte Klassen: LotteryItem enthält die allgemeinen Infos zu einem Gewinnspiel, wie Name und Beschreibung oder das Auslosedatum, in LotteryPrize finden sich die einzelnen Preise, die zu einem Gewinnspiel gewonnen werden können und LotteryParticipant hält die Teilnehmer der jeweiligen Gewinnspiele. Um die Komplexität zu verringern sind die folgenden Codebeispiele auf das Nötigste gekürzt, zudem sind die PHPDoc Kommentare leider auch nicht dabei, da sie von meiner Blogsoftware in strong-Tags umgebaut werden (das muss ich mir nochmal anschauen):

1. Die naive Implementierung:

private function drawSingleLottery(LotteryItem $l) {
$prizes = $l->getLotteryPrizes();
// TODO: this is pretty slow and should be replaced with a piece of faster code in future
$participants = $l->getLotteryParticipants();
// determine winner array keys - exactly the amount of available prizes
$winnersKeys = array_rand($participants, $this->countTotalWinnersForPrizes($prizes));
if (!is_array($winnersKeys)) {
$winnersKeys = array($winnersKeys);
}
$winners = array();
$j = 0;
foreach ($prizes as $prize) { // loop all prizes
for ($i = 0; $i < $prize->getPrizeAmount(); $i++, $j++) {
$winner = $participants[$winnersKeys[$j]];
$winner->setLotteryPrize($prize);
}
}
$l->setIsDrawn(true);
$l->save();
}

Der Code läuft zwar, ist aber nicht schön: Die Methode LotteryItem::getLotteryParticipants() liefert in einem Array sämtliche Objekte der Personen, die am Gewinnspiel teilgenommen haben. Desto mehr Teilnehmer es werden, desto langsamer wird es, da für jede Zeile des Datenbankresultats ein Objekt gebaut wird und die Instanziierung dessen eine teuere Operation ist.

Über array_rand() werden genausoviele Schlüssel dieses Arrays zurückgegeben wie die in der selben Klasse definierte Methode countTotalWinnersForPrizes() zurückgibt - sie zählt die gesamte Anzahl aller zu vergebenden Preise.
mixed array_rand ( array input [, int num_req] ) gibt ein Array mit den Schlüsseln zurück, wenn der 2. Parameter größer als 1 ist, ansonsten einen Schlüssel, also kein Array (als integer in unserem Falle), was ich an der Methodendefinition nicht besonders schön finde, da dieser Fall hier extra abgefragt werden muss.

Zum Schluss wird über die eigentlichen Preise iteriert, jedem Gewinner einen Preis zugeordnet und das Gewinnspiel gespeichert. Konstrukte wie $participants[$winnersKeys[$j]]; sind unschön weil sie schwer zu lesen sind bzw. es schwer fällt, diese später wieder zu verstehen.

Ein Refactoring muss also her ...

2. Die wesentlich eleganter-/performantere Implementierung:

private function drawSingleLottery(LotteryItem $l) {
$prizes = $l->getLotteryPrizes();
$winners = $l->determineWinners();
// set for every winner a prize
$winner_i = 0;
foreach ($prizes as $prize) { // loop all prizes
for ($i = 0; $i < $prize->getPrizeAmount(); $i++) {
$winner = $winners[$winner_i++];
$winner->setLotteryPrize($prize);
}
}
$l->setIsDrawn(true);
$l->save();
}

Alles, was im ersten Codefetzen hässlich war ist verschwunden und die neue Methode LotteryItem::determineWinners() erblickt das Licht der Welt - diese scheint wohl direkt die Gewinner anstatt nur deren Keys zurückzuliefern, was nach einem Blick in den Code klar wird:

public function determineWinners() {
$amount = $this->countTotalWinnersForPrizes($this->getLotteryPrizes());
return LotteryParticipantPeer::retrieveRandomAmount($this, $amount);
}

Durch das Refactoring hat die countTotalWinnersForPrizes() Methode die Klasse gewechselt, ihr Innenleben bleibt jedoch unverändert.

Abschließend interessiert nur noch die performantere Implementierung von LotteryParticipantPeer::retrieveRandomAmount():

public static function retrieveRandomAmount(LotteryItem $l, $amount) {
if (!is_numeric($amount) || $amount < 1) throw new Exception('amount should be a positive integer');
$con = sfContext::getInstance()->getDatabaseConnection('propel');
$sql = 'SELECT '.self::ID.' FROM '.self::TABLE_NAME.' '.
'WHERE '.self::LOTTERY_ITEM_ID.' = '.$l->getId().' '.
'ORDER BY RAND() '.
'LIMIT '.$amount;
$q = new Query($con, $sql);
return self::retrieveByPKs($q->getCol(), $con);
}

...Diese baut lediglich eine Query von Hand mit dem in der aktuellen Propel-Version noch nicht abbildbaren MySQL-spezifischen ORDER BY RAND(), das zufällig so viele Gewinner-IDs liefert, wie die Funktion als zweiten Parameter übergeben bekommt (MySQL LIMIT). Das Resultat liefert über LotteryParticipantPeer::retrieveByPKs() die gewünschten Objekte als Array zurück.

...So weit also mal ein kleiner Einblick in die Technik, die dahintersteckt - Ich habe euch hoffentlich nicht zu sehr gelangweilt

symfony-news

nospam@example.com (Christoph Hautzinger) — Tue, 30 Jan 2007 23:56:34 +0100

Heute gab es gleich zwei tolle Meldungen von den symfony-Machern:

Der erste Release Candidate (RC1) zur finalen stabilen Version 1.0 wurde veröffentlich - leider lässt sich die Version als Update von der 1.0.0 Beta 4 nicht mittels einem einfachen

pear upgrade channel://pear.symfony-project.com/symfony-1.0.0rc1

installieren da der PEAR Installer meckert, dass 1.0.0rc1 nicht neuer als 1.0.0beta4 sei... Als kleiner Workaround bietet es sich an die alte Version zu deinstallieren bevor die neue aufgespielt wird:

pear uninstall symfony/symfony; pear install channel://pear.symfony-project.com/symfony-1.0.0rc1

Das offizielle Symfony Buch, das ich mir schon im November bestellt habe (aber leider immer noch nicht da ist) gibt es nun auch als Online-Version auf der symfony Homepage. Ich hab ein wenig drin rumgestöbert und bin sofort auf viele interessante Sachen gestossen - so z.B. auf das sfOptimizer Plugin im Performance Kapitel, welches durch einen Aufruf auf der Kommandozeile den Cache parst und z.B. Config-Variablen-Funktionsaufrufe durch ihre Werte ersetzt oder unnötigen Whitespace entfernt.

Schnelle Webanwendungen mit Prototype und JSON

nospam@example.com (Christoph Hautzinger) — Mon, 08 Jan 2007 01:38:33 +0100

Da es ja heutzutage keine Webanwendung mehr ohne AJAX auskommt, will ich auch hierzu einen kleinen Blog-Eintrag verfassen. Das Prinzip, das hinter AJAX steht sollte ja allgemein geläufig sein: Man kann mittels Javascript eine Anfrage an den Server stellen ohne die komplette Seite neu laden zu müssen. Diese Art des Requests macht eine Webseite viel dynamischer - die Antwortzeiten werden kürzer da auch die übertragene Datenmenge abnimmt. Das "A" im Namen steht hierbei für "asynchron", was soviel heißt, dass die JS-Anwendung nach Absetzen eines AJAX-Requests normal weiterarbeit und nicht direkt auf die Antwort des Servers wartet.

Als fertiges Javascript Framework bietet sich Prototype an, welches auch Ajax Funktionalität kapselt - hierzu seien die Klassen Ajax.Request und Ajax.Updater erwähnt - genauere Infos hierzu und zum gesamten Framework findet sich in der inoffiziellen Dokumentation.

Hm... im Titel stand doch was von JSON?

Angenommen wir haben eine komplexe Datenstruktur auf der Serverseite, die wir clientseitig verfügbar machen wollen, so kann dies sehr einfach mit Hilfe von JSON geschehen. Doch was ist JSON eigentlich? In der Wikipedia findet sich dieser Artikel darüber. Es ist also eine Art Objektbeschreibung, mit der in Javascript (und auch in jeder anderen Sprache, die JSON unterstützen) direkt gearbeitet werden kann - viel einfacher und kleiner als ein XML-File mit selbem Inhalt.

Am besten verständlich wird das an einem kleinen Beispiel:

var lottery = {
selectEvent: function(eventid) {
new Ajax.Request('/lottery/selectEvent.html', {
method: 'post',
parameters: 'eventid='+eventid,
onSuccess: function(res, json) {
$('title').value = json.title;
$('description').value = json.description;
}
});
}
}

Wir sehen einen Ajax-Request an /lottery/selectEvent.html, der nach Aufruf von lottery.selectEvent() ausgeführt wird.
Der Server antwortet nun mit einer Response, die von der Funktion, die unter "onSuccess" definiert ist asynchron verarbeitet wird. Als zweiten Parameter nimmt diese Funktion das Json Objekt, das vom Server gesendet wird.

Um die Einfachheit des Ganzen begreifen zu können fehlt allerdings noch der Codeschnipsel, auf den der Frontcontroller den Request delegiert...

public function executeSelectEvent() {
$event = EventPeer::retrieveByPk($this->getRequestParameter('eventid'));
$forJSON = array(
'title' => $event->getEventname(),
'description' => $event->getInformation()
);
return $this->parseJson($forJSON);
}

Hier wird ein assoziatives Array zusammengekleistert, das die Daten enthält mit denen clientseitig gearbeitet werden soll und dieses der Funktion parseJson() übergeben, die in der Superklasse unsrer Action definiert ist:

class myAction extends sfActions
{
protected function parseJson($forJson) {
$json = json_encode($forJson);
$this->getResponse()->setHttpHeader('X-JSON', '('.$json.')');
return sfView::HEADER_ONLY;
}
}

Unfairerweise kommt mein Blog mit PHP-Doc Kommentaren in php-bb-Tags nicht klar, weshalb ich die In-Line Dokumentation zu beiden PHP Codestücken entfernt habe.

Deutlich erkennbar allerdings, dass die parseJSON() Funktion intern json_encode() aufruft, welche man sich für sein PHP selber compilieren kann. Wie das genau geht und weitere Infos finden sich auf der Homepage von Omar Kilani.
Gibts da nicht auch was von PEAR? Sicher gibt es das - allerdings kommt diese Version leider nicht mit ISO-8859-1 (besser gesagt mit "nicht-UTF-8") klar, sodass man dazu noch über utf8_decode() einen Wrapper schreiben müsste.

Unser Encodetes JSON-Objekt wird im Header der Response geliefert, vom Prototype korrekt ausgelesen und weiterverarbeitet wie man im ersten Codefetzen sieht.

Schön nicht?

diginights goes symfony

nospam@example.com (Christoph Hautzinger) — Mon, 20 Nov 2006 00:01:23 +0100

Endlich ist es so weit... diginights.com ist nun auf mein heißgeliebtes symfony Framework umgestellt. Die endgültige Umstellung hat leider länger als erwartet gedauert, sodass wir Freitag bis 6 Uhr und Samstag bis 4 Uhr morgens gearbeitet haben

Symfony skaliert deutlich besser als unsere alte Seite, außerdem erleichtert es mir mein Leben in Zukunft enorm, weil sehr viele coole Sachen wie z.B.

- Session/User Management
- sehr cleveres Caching
- ORM (Object Relational Mapper via Propel - komplette Spezifikation über XML, generierung der Klassen über Kommandozeile)
- Ajax Support
- Formularvalidierung
- Routing
- Admin Generator, der die Adminstrationsoberflächen einer Tabelle an Hand eines Config-Files erzeugt

von Haus aus dabei sind (um nur ein paar Dinge zu nennen).

Der Name Symfony steht übrigens für die Zusammenschnürung mehrerer Open Source Technologien wie z.B. dem bereits erwähnten Propel, Creole zur Datenbankabstraktion, Prototype einer sehr umfangreichen Javascript Library, PEAR, etc.

Diese Woche über werde ich die kleineren Bugs fixen, die uns noch aufgefallen sind, sodass wir danach die schon länger geplanten Gewinnspiele in Angriff nehmen können. Intern wollen wir die Struktur der Party-Bilder im Dateisystem ändern und diese auf den 2. Server legen wovon wir uns nochmals einen Performanceschub erhoffen.

Zudem ist noch viel mehr geplant für die Zukunft, davon will ich aber noch nichts verraten