[FOSSGIS-Talk] NAS to PostgreSQL-Server sehr, sehr langsam

Mi Mär 8 18:45:39 CET 2023

Hallo Michael,

Danke für die Hinweise.
Zumindestens bei mir haben die Server eine recht starke CPU, die beim Import auch kaum was zu tun hat. Server mit NVMe SSD.
PGTune verwende ich auch, allerdings fehlen mir evtl. die Kenntnisse der Anforderungen vom Norbit-Import-Tool.
Weiteres habe ich allerdings nicht probiert, da der Weg mit Export/Import für mich machbar ist (die ALKIS-Daten werden oft nur 1x im Jahr aktualisiert).

Gruß
Günter

Sorry Micha, dass ich hier so dazwischen funke

-----Ursprüngliche Nachricht-----
Von: Michael Marz <post at mmarz.de> 
Gesendet: Mittwoch, 8. März 2023 18:15
An: G. Wagner, Wagner-IT <info at wagner-it.de>; dezentech at web.de; fossgis-talk-liste at fossgis.de
Betreff: Re: [FOSSGIS-Talk] NAS to PostgreSQL-Server sehr, sehr langsam

Hallo in die Runde,

ich kenne das Tool von NorBit nicht, möchte mich allerdings gerne zur Postgres äußern. 
Michas Erläuterungen zeichnen eine Architektur, bei dem die CPU-Leistung abgenommen hat (x86-CPU -> Raspi ARM -> Synology ARM oder schwache x86 CPU) (Mutmaßung :-) ). Darüber hinaus können Transaktionen eine hohe Speicherlast erzeugen, für welche der Datenträger nicht unbedingt ausgelegt ist.

Mein Vorschlag zum Testen: 
- CPU-Last beim Import überwachen und ggf. aufrüsten. 
- Die Postgres-Instanz für die angedachten Operationen optimieren. Das Tool von PGTune hat mir immer geholfen, passende Richtwerte zu finden (auch für die Eckdaten einer VM): https://pgtune.leopard.in.ua/
- pgbench hilft zusätzlich bei der Bewertung der Leistungsfähgikeit: https://www.postgresql.org/docs/current/pgbench.html
- Bei vielen Transaktionen sind SSDs unschlagbar. Bei einem meiner Projekte hat z.B. der Import von OSM-Daten die Transaktionszeit für den Import von 7 Tagen auf 22 Stunden verkürzt. 

Viele Grüße
Michael

> G. Wagner, Wagner-IT <info at wagner-it.de> hat am 08.03.2023 17:38 CET geschrieben:
> 
>  
> Hallo Micha,
> 
> ich habe zwar keine Lösung aber schon immer ähnliche Probleme.
> 
> Ein Import der ALKIS-Daten (ganze Gemeinden) direkt auf meinen 
> Ubuntu-Servern bei Hetzner ist nicht möglich, bzw. extrem langsam. 
> Trotzdem die Server und mein DSL (100/40) recht flott sind.
> Ich importiere lokal, mach ein Backup und spiele die Daten auf dem 
> externen Server wieder ein. Das geht insgesamt recht flott.
> 
> Aber vielleicht ist es ja auch nur wieder eine kleine Einstellung, die 
> angepasst werden muss?
> 
> Gruß
> Günter
> 
> -----Ursprüngliche Nachricht-----
> Von: FOSSGIS-Talk-Liste <fossgis-talk-liste-bounces at fossgis.de> Im 
> Auftrag von dezentech at web.de
> Gesendet: Mittwoch, 8. März 2023 17:01
> An: 'fossgis-talk-liste at fossgis.de' <fossgis-talk-liste at fossgis.de>
> Betreff: [FOSSGIS-Talk] NAS to PostgreSQL-Server sehr, sehr langsam
> 
> Hallo Liste,
> 
> ich nutze seit Jahren meinen localhost (Debian), um NAS-Daten
> (xml-Files) mittels dem Tool von NorBit in eine PostgreSQL-Datenbank 
> zu schreiben. Das hat immer reibungslos und schnell geklappt.
> 
> Dann bin ich auf einen RaspberryPi umgestiegen, um die Daten auf der 
> PostgreSQL-DB in einem kleinen privaten Netzwerk verfügbar zu machen.
> Die Geschwindigkeit, mit dem das NorBit-Tool von xml zu DB übertragen 
> hat, war dann ca. dreimal so lang.
> 
> Nun habe ich einen Debian-Server auf einer Synology im selben lokalen 
> Netzwerk aufsetzten lassen und dort die PostgreSQL-DB laufen. Hier 
> braucht das NorBit-Tool 60mal (!) so lang wie auf localhost.
> 
> Hat jemand Ideen, woran das liegen könnte? Wo könnte der Flaschenhals sein?
> 
> Der Micha
> --
> ....................................................................
> FOSSGIS-Konferenz 2023 mit OpenStreetMap-Event in Berlin!
> 15.-18. März 2023 an der Humboldt-Universität 
> https://www.fossgis-konferenz.de - https://twitter.com/FOSSGIS_Konf
> 
> FOSSGIS Vereinstermine:
> https://fossgis.de/aktivit%C3%A4ten/termine/
> 
> FOSSGIS e.V, der Verein zur Förderung von Freier Software aus dem 
> GIS-Bereich und Freier Geodaten!
> https://www.fossgis.de/          https://mastodon.online/@FOSSGISeV
>                                   https://twitter.com/FOSSGIS_Verein
> ____________________________________________________________________
> FOSSGIS-Talk-Liste mailing list
> FOSSGIS-Talk-Liste at fossgis.de
> https://lists.fossgis.de/mailman/listinfo/fossgis-talk-liste
> 
> 
> --
> ....................................................................
> FOSSGIS-Konferenz 2023 mit OpenStreetMap-Event in Berlin!
> 15.-18. März 2023 an der Humboldt-Universität 
> https://www.fossgis-konferenz.de - https://twitter.com/FOSSGIS_Konf
> 
> FOSSGIS Vereinstermine:
> https://fossgis.de/aktivit%C3%A4ten/termine/
> 
> FOSSGIS e.V, der Verein zur Förderung von Freier Software aus dem 
> GIS-Bereich und Freier Geodaten!
> https://www.fossgis.de/          https://mastodon.online/@FOSSGISeV
>                                   https://twitter.com/FOSSGIS_Verein
> ____________________________________________________________________
> FOSSGIS-Talk-Liste mailing list
> FOSSGIS-Talk-Liste at fossgis.de
> https://lists.fossgis.de/mailman/listinfo/fossgis-talk-liste