[FOSSGIS-Talk] NAS to PostgreSQL-Server sehr, sehr langsam

[dezentech at web.de]

Hallo Michael,

danke für die Tips.

Die CPU-Last liegt auf der Synology bei 4 %. Allerdings lief der RAM
voll, weil in der 'postgresql.config' zu wenig RAM zugewiesen war. Mit
pdtune habe ich passendere Werte gefunden und eingetragen.

Jetzt läuft zwar der RAM nicht mehr voll, aber schneller ist der ganze
Prozeß dennoch nicht.

Auf der Synology läuft schon eine SSD.

Falls Du (oder jemand anderes) noch eine Idee hat, immer her damit.

Der Micha


Am 08.03.23 um 18:15 schrieb Michael Marz:
> Hallo in die Runde,
>
> ich kenne das Tool von NorBit nicht, möchte mich allerdings gerne zur Postgres äußern.
> Michas Erläuterungen zeichnen eine Architektur, bei dem die CPU-Leistung abgenommen hat (x86-CPU -> Raspi ARM -> Synology ARM oder schwache x86 CPU) (Mutmaßung :-) ). Darüber hinaus können Transaktionen eine hohe Speicherlast erzeugen, für welche der Datenträger nicht unbedingt ausgelegt ist.
>
> Mein Vorschlag zum Testen:
> - CPU-Last beim Import überwachen und ggf. aufrüsten.
> - Die Postgres-Instanz für die angedachten Operationen optimieren. Das Tool von PGTune hat mir immer geholfen, passende Richtwerte zu finden (auch für die Eckdaten einer VM): https://pgtune.leopard.in.ua/
> - pgbench hilft zusätzlich bei der Bewertung der Leistungsfähgikeit: https://www.postgresql.org/docs/current/pgbench.html
> - Bei vielen Transaktionen sind SSDs unschlagbar. Bei einem meiner Projekte hat z.B. der Import von OSM-Daten die Transaktionszeit für den Import von 7 Tagen auf 22 Stunden verkürzt.
>
> Viele Grüße
> Michael
>
>
>
>
>
>> G. Wagner, Wagner-IT <info at wagner-it.de> hat am 08.03.2023 17:38 CET geschrieben:
>>
>>
>> Hallo Micha,
>>
>> ich habe zwar keine Lösung aber schon immer ähnliche Probleme.
>>
>> Ein Import der ALKIS-Daten (ganze Gemeinden) direkt auf meinen
>> Ubuntu-Servern bei Hetzner ist nicht möglich, bzw. extrem langsam. Trotzdem
>> die Server und mein DSL (100/40) recht flott sind.
>> Ich importiere lokal, mach ein Backup und spiele die Daten auf dem externen
>> Server wieder ein. Das geht insgesamt recht flott.
>>
>> Aber vielleicht ist es ja auch nur wieder eine kleine Einstellung, die
>> angepasst werden muss?
>>
>> Gruß
>> Günter
>>
>> -----Ursprüngliche Nachricht-----
>> Von: FOSSGIS-Talk-Liste <fossgis-talk-liste-bounces at fossgis.de> Im Auftrag
>> von dezentech at web.de
>> Gesendet: Mittwoch, 8. März 2023 17:01
>> An: 'fossgis-talk-liste at fossgis.de' <fossgis-talk-liste at fossgis.de>
>> Betreff: [FOSSGIS-Talk] NAS to PostgreSQL-Server sehr, sehr langsam
>>
>> Hallo Liste,
>>
>> ich nutze seit Jahren meinen localhost (Debian), um NAS-Daten
>> (xml-Files) mittels dem Tool von NorBit in eine PostgreSQL-Datenbank zu
>> schreiben. Das hat immer reibungslos und schnell geklappt.
>>
>> Dann bin ich auf einen RaspberryPi umgestiegen, um die Daten auf der
>> PostgreSQL-DB in einem kleinen privaten Netzwerk verfügbar zu machen.
>> Die Geschwindigkeit, mit dem das NorBit-Tool von xml zu DB übertragen hat,
>> war dann ca. dreimal so lang.
>>
>> Nun habe ich einen Debian-Server auf einer Synology im selben lokalen
>> Netzwerk aufsetzten lassen und dort die PostgreSQL-DB laufen. Hier braucht
>> das NorBit-Tool 60mal (!) so lang wie auf localhost.
>>
>> Hat jemand Ideen, woran das liegen könnte? Wo könnte der Flaschenhals sein?
>>
>> Der Micha
>> --
>> ....................................................................
>> FOSSGIS-Konferenz 2023 mit OpenStreetMap-Event in Berlin!
>> 15.-18. März 2023 an der Humboldt-Universität
>> https://www.fossgis-konferenz.de - https://twitter.com/FOSSGIS_Konf
>>
>> FOSSGIS Vereinstermine:
>> https://fossgis.de/aktivit%C3%A4ten/termine/
>>
>> FOSSGIS e.V, der Verein zur Förderung von Freier Software aus dem
>> GIS-Bereich und Freier Geodaten!
>> https://www.fossgis.de/          https://mastodon.online/@FOSSGISeV
>>                                    https://twitter.com/FOSSGIS_Verein
>> ____________________________________________________________________
>> FOSSGIS-Talk-Liste mailing list
>> FOSSGIS-Talk-Liste at fossgis.de
>> https://lists.fossgis.de/mailman/listinfo/fossgis-talk-liste
>>
>>
>>