Anzahl der Zookeeper-Logfiles bschränken

  • Hallo zusammen,
    Wir haben Installationen, bei denen eine große Anzahl ".log"-Dateien im zookeeper zu finden sind. Zum Beispiel auch in Musterfirma-VMs :)

    Das sind leider Transaktionslogs, die nicht einfach gelöscht werden können.

    Wie kann die Agorum-Zookeper-Installation so angepasst werden, dass diese Dateien automatisch weggeräumt werden?

    Ich habe auch schon selbst in den Konfigurationsdateien herumgespielt. Leider hat mich der Zookeeper ignoriert.

    Letztendlich habe ich SOLR und den Zookeeper neu installiert.

    Das ist besonders bei Docker-Containern unangenehm.
    Wie viel Platz dabei verloren gehen kann, sieht man daran, das die Logs im Tar-GZ auf bis zu 5% eingedampft werden.


    Grüße

    Norbert

  • Guten Morgen!

    Ich möchte dieses Thema mal aufgreifen, denn dieses Zookeeper-Verhalten ist wirklich ziemlich doof für die Datensicherung. Unsere Produktivumgebung ist ebenfalls gedockert, das Docker-Volume welches die Zookeeper-Daten enthält ist ein Bind Mount, sodass die Zookeeper Dateien im Endeffekt im Dateisystem des Docker-Host liegen. Hierbei handelt es sich eine ext4-Partition.


    Bei ext4 nutzt Zookeeper offenbar irgendwelche Techniken des Dateisystems, damit die Dateien im Dateisystem deutlich weniger phyischen Speicherplatz belegen, als sie vorgeben.


    Außerhalb des data-Ordner ist mit du ist zu sehen, dass nur 92MB phyischer Speicherplatz benötigt wird:

    Code
    [root@1a0a7df858a3 zookeeper]# cd /opt/agorum/agorumcore/zookeeper/data/
    [root@1a0a7df858a3 data]# du -sh *
    92M     version-2
    4.0K    zookeeper_server.pid



    Schauen wir uns die Dateien mit ls im version-2-Ordner an, sehen wir jedoch, dass jede Datei so aussieht, als sei sie 64MB groß.



    Welche ext4-Magie Zookeeper da für dieses Phänomen verwendet macht weiß ich genauso wenig wie unsere Backup-Software ^^. Die sichert nämlich stets die 64MB pro Datei. Und von denen haben wir im Produktivsystem mittlerweile 1092 Stück. Das macht aktuell: 1092 * 64MB / 1024 = 68GB Overhead im Backup, Tendenz steigend. Und dieser würde im Restore-Fall auch wieder zurückgespielt werden.


    Uns ist dieses Problem bereits seit 1,5 Jahren bekannt und wir standen bereits mit dem Agorum-Support in Kontakt. Wir hatten zuletzt die Empfehlung erhalten folgende (die letzten 4 Zeilen) Einstellungen in der zoo.cfg zu tätigen, die wohl von Agorum mittlerweile getestet und freigegeben wurden:

    Code
    tickTime=2000
    dataDir=/opt/agorum/agorumcore/jboss/server/default/../../../zookeeper/data
    clientPort=9981
    minSessionTimeout=60000
    maxSessionTimeout=120000
    snapCount=100
    preAllocSize=1M
    autopurge.snapRetainCount=3
    autopurge.purgeInterval=12


    Das ist nun ziemlich genau 7 Tage her, bisher haben sich die Log-Dateien noch nicht reduziert. Müssen wir einfach noch länger warten oder hätte sich in der Zeit schon etwas tun müssen?

    • Offizieller Beitrag

    Guten Morgen Herr Katzenmaier,


    ich kann mich an den Vorgang erinnern, nach unserer Freigabe habe ich jedoch keine Rückmeldung Ihrerseits erhalten, dass die Änderung sich bis heute nicht bemerkbar gemacht hat. Bitte teilen Sie uns die Ergebnisse Ihrer Beobachtung im ursprünglichen Ticket mit. Hierzu müssen Sie lediglich auf eine vorhandene Ticket-Mail antworten. Der Vorgang wird dann erneut eröffnet.


    Vielen Dank!

  • Hinweis: die großen "log.abc" - Files (siehe Abbildung in #3) sind laut "roi" keine Logdateien, sondern enthalten die Index-Daten für solr! Diese sollte man auf keinen Fall löschen. Eventuell gibt es ja noch irgendeine andere Möglichkeit, um den Speicherplatz zu reduzieren.

    Das dürfte die transaction logs für zookeper sein:


    The Log Directory

    The Log Directory contains the ZooKeeper transaction logs. Before any update takes place, ZooKeeper ensures that the transaction that represents the update is written to non-volatile storage. A new log file is started each time a snapshot is begun. The log file's suffix is the first zxid written to that log.

    https://zookeeper.apache.org/d…than%20the%20data%20files.

Jetzt Teil von agorum Community werden!

Noch kein Benutzerkonto? Registriere dich kostenlos und werde Teil von agorum Community!