"Waiting until the server becomes available ..." wird sporadisch angezeigt

JanR · 16. Mai 2023

Hallo zusammen.

Wir haben agorumcore open auf einem QNAP in einer VM laufen.

Am Abend wird die VM im Zuge des QNAP-Herunterfahrens zuerst heruntergefahren.

Am Morgen das ganze dann vice versa.

Jetzt kommt es sporadisch vor, dass morgens nach dem Start agorumcore mit der Meldung aus dem Betreff (und Screenshot) steht.

Ich muss mich dann per ssh oder über Debian anmelden und einen Reboot initiieren. Dann läuft wieder alles.

Erste Frage: Wir kann ich per ssh als root ermitteln (z.B. ein bestimmter Wert) dass der Server einsatzfähig hochgefahren ist?

Hintergrund: Ich möchte das gern morgens automatisiert (RMM mit ssh-Skript) prüfen und wenn der/die Wert(e) auf den Status aus dem Betreff schließen lassen, einen Neustart initiieren. Das würde dann über unser RMM erfolgen.

Zweite Frage: Kennt jemand das Symptom und weiß u. U., wie man diesem begegnen kann?

VG und danke,

Jan

Oliver Kaufmann · 16. Mai 2023

Guten Morgen JanR ,

Du kannst mit

Code

systemctl status agorumcore.service

prüfen, wie der Status des agorum-Dienstes gerade ist (active, inactive, activating). Mit folgendem Skript

Bash

#!/bin/bash

if systemctl status agorumcore.service | grep -q "inactive (dead)"; then    
    echo "agorumcore is not running. Restarting..."
    systemctl restart agorumcore.service
else
    echo "agorumcore is running."
fi

prüfst Du den Status und führst einen Restart für den Fall aus, dass der Dienst nicht gestartet ist. Schau doch mal, ob das für Deine Anforderung das Richtige ist 😉 Ich freue mich auf Deine Rückmeldung!

JanR · 22. Mai 2023

Oliver Kaufmann
OK, heute trat es mal wieder auf.
Hier die Ausgabe der Statusabfrage. Das System steht nicht auf "inactive", Symptom aber wie beschrieben:

Code

root@agorumcore:~# systemctl status agorumcore.service
● agorumcore.service - agorum core
     Loaded: loaded (/lib/systemd/system/agorumcore.service; enabled; vendor preset: enabled)
     Active: activating (start) since Mon 2023-05-22 09:23:35 CEST; 1h 9min left
   Main PID: 647 (agorumcore)
      Tasks: 292 (limit: 14310)
     Memory: 2.9G
        CPU: 1min 35.947s
     CGroup: /system.slice/agorumcore.service
             ├─ 647 /bin/bash /opt/agorum/agorumcore/scripts/agorumcore start
             ├─ 773 /bin/bash /opt/agorum/agorumcore/scripts/agorumcore.org start
             ├─ 774 /bin/bash /opt/agorum/agorumcore/scripts/agorumcoredirect start
             ├─ 775 /bin/bash /opt/agorum/agorumcore/scripts/roi start
             ├─ 788 /bin/sh /opt/agorum/agorumcore/mysql/bin/mysqld_safe --defaults-file=/opt/agorum/agorumcore/mysql/data/my.cnf --datadir=/opt/agorum/agorumcore/mysql/data --pid-file=/opt/agorum/agorumcor>
             ├─1224 /opt/agorum/agorumcore/mysql/bin/mysqld --defaults-file=/opt/agorum/agorumcore/mysql/data/my.cnf --basedir=/opt/agorum/agorumcore/mysql --datadir=/opt/agorum/agorumcore/mysql/data --plug>
             ├─1292 /bin/bash ./roi_jboss start
             ├─1319 /bin/sh /opt/agorum/agorumcore/jboss/bin/run.sh
             ├─1320 /bin/sh /opt/agorum/agorumcore/scripts/tools/poststart.sh
             ├─1330 /opt/agorum/agorumcore/java/bin/java -Xrs -Xms2048m -Xmx2048m -Djava.awt.headless=true -Dsun.net.client.defaultConnectTimeout=60000 -Dsun.net.client.defaultReadTimeout=60000 -XX:+UseG1GC>
             ├─1398 /opt/agorum/agorumcore/java/bin/java -cp /opt/agorum/agorumcore/scripts/tools/agorum-commons.jar agorum.commons.logging.AgorumCoreStartDescReader /opt/agorum/agorumcore/scripts/tools/../>
             ├─1430 /opt/agorum/agorumcore/java/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,ROLLINGFILE -cp /opt/agorum/agorumcore/zookeeper/bin/../build/classes:/opt/agorum/agorumcore/zooke>
             └─1542 /opt/agorum/agorumcore/java/bin/java -server -Xms1g -Xmx1g -XX:+UseG1GC -XX:+PerfDisableSharedMem -XX:+ParallelRefProcEnabled -XX:G1HeapRegionSize=4m -XX:MaxGCPauseMillis=250 -XX:Initiat>

Mai 22 09:23:35 agorumcore systemd[1]: Starting agorum core...
Mai 22 09:23:35 agorumcore agorumcore[669]: Device "" does not exist.
Mai 22 09:23:36 agorumcore agorumcore[774]: Starting agorumcore
Mai 22 09:23:39 agorumcore agorumcore[776]: Starting MySQL...
Mai 22 09:23:41 agorumcore agorumcore[1320]: Starting agorum core...
Mai 22 09:23:51 agorumcore agorumcore[1398]: [58B blob data]
Mai 22 09:23:51 agorumcore agorumcore[1398]: Check sequence_T
Mai 22 09:24:01 agorumcore agorumcore[1398]: [243B blob data]
Mai 22 09:24:01 agorumcore agorumcore[1398]: Please stand by, this could take a few seconds
Mai 22 08:05:01 agorumcore agorumcore[1398]: [48.0K blob data]

Alles anzeigen

Somit kann ich mich daran leider nicht orientieren ...

volker.trotte · 23. Mai 2023

JanR Kannst du einen Auszug aus dem server.log posten/hier anhängen?
Es müsste für den "fehlerhaften" Startversuch eine relative kleine log-Datei geben.

JanR · 23. Mai 2023

volker.trotte , wäre dann wohl diese?

Und ja, natürlich ist interessante und auch wichtig zu wissen, woher das Verhalten kommt. Denn man sollte es ja beheben.

Wichtig ist jedoch auch, dass ich für das RMM eine Möglichkeit bekomme, das System als "vollfunktionstüchtig hochgefahren" zu identifizieren (oder eben auch nicht).

volker.trotte · 23. Mai 2023

Hallo JanR

bzgl. "ist das agorum fertig hochgefahren"

Das agorum ist dann vollständig einsatzbereit, wenn die Rest-API fertig geladen ist. Du könntest also mit einem Script einfach aller paar Minute/Sekunden einen simplen api Aufruf tätigen - das wäre ein Ansatz.

Bzgl. log und Problemursache:

ich habe folgende 3 aufeinanderfolgende Zeilen im Log gefunden:

2023-05-23 07:24:39,743 WARN [org.jboss.resource.connectionmanager.TxConnectionManager] Prepare called on a local tx. Use of local transactions on a jta transaction with more than one branch may result in inconsistent data in some cases of failure.

2023-05-23 07:38:47,138 INFO [STDOUT] SEQ ejbPassivate

2023-05-23 07:45:40,427 INFO [org.apache.struts.util.PropertyMessageResources] Initializing, config='org.apache.struts.taglib.logic.LocalStrings', returnNull=true

Wenn du dir die zeitstempel anschaust siehst du, dass zwischen 7 und 14 Minuten! zwischen diesen beiden Einträgen liegen.

Das ist sehr wahrscheinlich kein singuläres agorum problem.

"Waiting until the server becomes available" sagt, soweit ich das weiss, eigentlich nur aus, dass das System noch startet und du bitte solange warten sollst.
Die Weboberfläche ist dann fertig einsatzbereit , wenn im log so etwa in der Art auftaucht: "... published to /rest". Bis dahin ist der Server unavailable.
Das Problem liegt irgendwo anders.

Vielleicht im zugrundeliegenden filesystem/storage. Vielleicht ist auch die FP voll?
Selbst unserer größten System starten das agorum innerhalb von 5 Minuten.

Wir müssten mehr über die zugrundeliegende Konfig wissen. Im Rahmen des Forums wird es schwierig deine Fragen zu beantworten.

JanR · 24. Mai 2023

volker.trotte
Danke!

Jetzt konnte ich es in unser RMM einbinden.

🆘 Bei Fehler:
348975341_658039982801141_2968193202241448213_n.jpg?stp=dst-jpg_p261x260&_nc_cat=100&ccb=1-7&_nc_sid=5cd70e&_nc_ohc=druFMXQZ0kwAX9QDV4m&_nc_ht=scontent-dus1-1.xx&oh=00_AfBHZUb474IF8ivJt7CBtmIu4pzv4u8EaaI4Ec-kwh1UnA&oe=6473C55F

✅ Bei Erfolg:

349106197_3603341746580113_1392852699804986528_n.jpg?stp=dst-jpg_p280x280&_nc_cat=104&ccb=1-7&_nc_sid=5cd70e&_nc_ohc=1hfLbJm9utsAX8u9iV1&_nc_ht=scontent-dus1-1.xx&oh=00_AfDCd3EItyOhWI1dyW5ktOTbb5VQsF0XyXtTlPTbHBLfPQ&oe=6472DC79

Das ganze wie folgt als Skript aus dem RMM heraus:

Bash

#!/bin/bash

# (Im RMM nicht nötig, da die Parameter direkt übergeben werden)
# Überprüfen, ob die erforderlichen Parameter übergeben wurden 
#if [ $# -lt 2 ]; then
#    echo "Fehler: Es wurden nicht genügend Parameter übergeben."
#    echo "Verwendung: $0 <URL> <erwartete Ausgabe>"
#    exit 1
#fi

# (Im RMM nicht nötig, da die Parameter direkt übergeben werden)
# URL und erwartete Ausgabe aus den Parametern extrahieren
#url=$1
#expected_output=$2

# Benutzeragent und andere erforderliche Headerinformationen
user_agent="Mozilla/5.0"
headers="Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"

# Aufruf der Website und Speichern der Ausgabe in einer Variablen
output=$(curl -s -A "$user_agent" -H "$headers" "$url")

#Debug
#echo $url
#echo $expected_output
#echo $output

# Überprüfen, ob die Ausgabe mit der erwarteten Ausgabe übereinstimmt
if [[ $output == $expected_output* ]]; then
    echo "Info: Der Aufruf der URL $url mit dem erwarteten Ergebnis $expected_output war erfolgreich."
 exit 0
else
    echo "Fehler: Der Aufruf der URL $url mit dem erwarteten Ergebnis $expected_output war NICHT erfolgreich."
 exit 1
fi

Alles anzeigen

volker.trotte · 24. Mai 2023

JanR Danke für das Script. Das wird sicherlich einigen helfen.

"Waiting until the server becomes available ..." wird sporadisch angezeigt

Jetzt Teil von agorum Community werden!

Teilen