Sommer 2012 - diese Seite bitte ignorieren, das machen wir inzwischen geschickter.
Wir sichern ganz gezielt nur noch das, das wir unbedingt brauchen, es wird also nichts mehr vorab gelöscht.
Dazu haben wir einen neuen "clear-temp"- shell-Script geschrieben, der die typo3-temp Dateien löscht, die typo3-Temptabellen löscht und die mnogosearch Engine anwirft und nachts zwischen 4.00 und 6.oo automatisch läuft.
.
Juli 2009 - Die händische Bereinigung der temporären Daten
die 1. Korrektur: (aber die Zweite Korrektur ist schon unterwegs - siehe weiter unten)
Die Typo3 Cache- und Temp Bereiche werden bei uns nur noch einmal monatlich pro root-Server (oder bei Bedarf) händisch geleert. Die tägliche Leerung vor der Sicherung hat sich nicht bewährt. Denn das verlangsamt das tägliche Surfen zu sehr.
Wichtig: die beiden nachfolgenden Vorgänge 1 und 2 müssen beide zeitnah hintereinander erfolgen, weil es zwischen den Datenbankeinträgen und den Dateinamen in den Verzeichnissen eine "referentielle Integrität" gibt.
Vorgang 1: Insgesamt sind 4 Verzeichnisse zu "leeren"!!, also NICHT löschen !!! Diese Unterverzeichnisse in /typo3temp/ sollen (oder können) gefahrlos geleert werden.
- /typo3temp/GB
- /typo3temp/llxml
- /typo3temp/pics
- /typo3temp/temp
Die (bei uns jedenfalls) in jedem Verzeichnis/Unterverzeichnis vorhandene "index.html" Datei muss !! jedoch erhalten bleiben oder wieder regeneriert werden.
Vorgang 2: Die Bereinigung der mysql cache_xxxxx Datenbanken
Da sich die Typo3 cache Tabellen extrem schnell füllen und um ein Mehrfaches anwachsen im Vergleich zu den wichtigen Tabellen "pages" und "ttcontent", sollten alle 7 cache-Tabellen von Zeit zu Zeit geleert werden - ACHTUNG : nicht löschen, leeren !!
Also folgende Typo3 cache Dateien leeren:
- cache_extensions
- cache_hash
- cache_imagesizes
- cache_md5params
- cache_pages
- cache_pagesection
- cache_typo3temp_log
-
Nach dieser "Reinigung" geht der Web-Zugriff anfänglich sehr schleppend, vor allem, wenn auf einer Seite viele Bilder als Vorschaubilder (Thumbnails) vorhanden sind. Ist die Seite wieder "gecashed", geht es um Dimensionen schneller. Das haben wir mit sowohl mit einem Proliant mit 2x1,4 GigaHz und mit eiem 2x2,8 GigaHz Server ausprobiert. Der Unterschied ist (erstaunlicher weise) wirklich marginal.
2. Korrektur der Logistik in Verbindung mit der Mnogosearch Engine
Manchmal kommt einem der Gedanke wie ein Blitz, wenn man endlich durchblickt.
Also:
Die Typo3- System-Extension "indexed Search" (besser der Crawler) geht innerhalb von Typo3 die content Tabellen sequentiell durch und baut den oder die Indizes auf. Dabei wurde nach unseren Tests der Cache (also die Cachetabellen) nicht aktualisiert. Leerte ich im Backend also den gesamten Typo3-Cache, hatte der (indexed-search-) Crawler dort nichts neu rein geschrieben.
Die Mnogosearch Engine dagegen ist eine externe Linux-Suchmaschine (auf diesem Server) ähnlich der von Google und geht über die http Domain-Abfragen und damit über den Seitenbaum oder die Seiten-Bäume alle aktiven Seiten von außen durch, muß die natürlich alle laden und analysieren und damit sind die auch alle im Cache (wieder drinnen). Das dauert vielelicht länger und der Server rödelt mit einer von 4 CPUs mit 100%, aber des Nachts ist das sowieso völlig wurscht, und bei 4 oder 8 Kernen langweilt sich der Server immer noch.
Facit:
Wenn ich die mysql temp Tabellen alle per cronjob gezielt "leere", das Verzeichnis typ3temp auch "leere", entspricht das mehr als dem Klick im Backend auf den gelben Blitz. Alle temporären (Hilfs-) Bilder sind erstmal wieder gelöscht. Wenn danach mein Mnogosearch Indexer (-Script) läuft, habe ich (jedenfalls bisher) alle Fliegen "mit einer Klappe" erschlagen.
-
Das geht sogar tagsüber - die Typo3 Standard-Suche geht immer.
Die geht zwar deutlich langsamer (bis zu 18 Sekunden) aber sie geht.