[FOSSGIS-Talk] Geodaten aus WFS exportieren

Sa Apr 13 22:42:50 CEST 2019

Hallo Torsten,

ich habe ja den Download mal testweise durchgeführt und kann nur sagen man
braucht Geduld.
Ich hatte zwischendurch mal das Geopackage während des Downloads in QGIS
geladen und das hatte bewirkt, dass der Download abbricht.

Im Endeffekt hatte ich es dann in eine PostGIS-Datenbank gespeichert und da
sind auch die über 3 Millionen Features ( 3186281 um genau zu sein)
gelandet:

[image: grafik.png]

Für den Download von dem kompletten Datensatz wäre eigentlich ein
zip-Download eine bessere Alternative als per WFS und paging... aber wenn
das nicht existiert geht es halt auch per WFS.
Der Server scheint auch nicht der allerschnellste zu sein. Insofern
vielleicht mal abends/nachst starten wenn er sonst nicht viel zu tun hat.

viele Grüße,
Thomas

Am Sa., 13. Apr. 2019 um 16:52 Uhr schrieb Torsten Eckart <torecki at arcor.de
>:

> Hallo Thomas,
>
> das ist ja letztlich komplizierter als gedacht. Mit einem paging bei 20000
> erhielt ich irgendwann eine Fehlermeldung, die ich mir leider nicht merkte.
> Zuletzt probierte ich es mit 19000 und das Geopackage ist über 1 GB groß.
>
>  ogr2ogr --config OGR_WFS_PAGING_ALLOWED ON --
> config OGR_WFS_PAGE_SIZE 19000 -skipfailures -f gpkg
> wfs_downloadthflstck19k.gpkg WFS:"http://www.geoprox
> y.geoportal-th.de/geoproxy/services/adv_alkis_wfs" "ave:Flurstueck"
>
> Allerdings sind die Daten wohl nicht vollständig denn er brach nach
> folgender Fehlermeldung ab:
>
> ERROR 1: XML parsing of GML file failed : not well-formed (invalid token)
> at line 311093, column 52
>
> Fürs ausprobieren habe ich vorerst genug Flurstücke ich würde trotzdem
> gerne wissen, wie ich einen vollständigen Datensatz downloaden kann. Ich
> kann mir die Flurstücke ja auch Gemarkungsweise gezippt als *.shp
> herunterladen aber da hänge ich ja auch ewig mit dem entzippen und mergen
> drann ...
>
> Hat noch jemand einen Tipp wie man das mit gängigen Hausmitteln
> realisieren kann?
>
> Danke
>
> Torsten
> Am 12.04.2019 um 09:30 schrieb Thomas Baumann:
>
> Hallo Torsten,
> der WFS-Server hat scheinbar MaxFeatures auf 25000 für den Layer
> eingestellt.
>
> Dann müsstest du paging aktivieren:
>
> ogr2ogr --config OGR_WFS_PAGING_ALLOWED ON --config OGR_WFS_PAGE_SIZE
> 20000 -skipfailures -f gpkg wfs_downloadthflstck20k.gpkg WFS:"
> http://www.geoproxy.geoportal-th.de/geoproxy/services/adv_alkis_wfs"
> "ave:Flurstueck"
>
> (Page_size 20000 holt mit jedem Request 20000 Features, um unter dem Limit
> zu bleiben).
>
> Kann aber etwas dauern mit dem Download bei dem Layer  ;-)
>
> viele Grüße,
> Thomas
>
>
> Am Fr., 12. Apr. 2019 um 08:29 Uhr schrieb Torsten Eckart <
> torecki at arcor.de>:
>
>> Hallo,
>>
>> danke für die Antworten und Hilfestellungen.
>>
>> Leider ist das Resultat noch unbefriedigend. Mit
>>
>> ogr2ogr -skipfailures -f gpkg wfs_downloadthflstck.gpkg WFS:
>> "http://www.geoproxy.geoportal-th.de/geoproxy/services/adv_alkis_wfs"
>> <http://www.geoproxy.geoportal-th.de/geoproxy/services/adv_alkis_wfs>
>> "ave:Flurstueck"
>>
>> exportiere ich nur einen Teil der Flurstücke Thüringens in das
>> Geopackage. Wie bekomme ich da alles rein?
>>
>> Ich denke fast, dasss es am besten ist, wenn man jedes einzelne Objekt im
>> wfs selektiert und an eine Tabelle anhängt. Ich bin da leider noch nicht
>> weiter als bis zur Idee :(
>>
>> Mit besten Grüßen
>>
>> Torsten
>>
>>
>> Am 11.04.2019 um 13:56 schrieb Thomas Baumann:
>>
>> Hallo Torsten,
>>
>> Ich nutze dafür ogr2ogr in der QSGeo4W-Shell, die mit QGIS mit
>> installiert wird.
>>
>> grob geht das so:
>>
>> Layerliste abrufen:
>>
>> ogrinfo --config GDAL_HTTP_UNSAFESSL YES -ro -so WFS:"
>> https://www.geodatenportal.sachsen-anhalt.de/gfds/ws/wfs/942f5d74-6c2b-263a/GDI-LSA_Schutzgebiete/ows.wfs?REQUEST=GetCapabilities&SERVICE=WFS
>> "
>>
>> wfs zu shapefile:
>>
>> ogr2ogr -skipfailures wfs_layer.shp --config GDAL_HTTP_UNSAFESSL YES WFS:"
>> https://www.geodatenportal.sachsen-anhalt.de/gfds/ws/wfs/942f5d74-6c2b-263a/GDI-LSA_Schutzgebiete/ows.wfs?REQUEST=GetCapabilities&SERVICE=WFS"
>> sg:lau_br_lsa"
>>
>> Besser noch wäre geopackage, weil dann auch lange Spaltennamen kein
>> Problem sind: Ein Beispiel hab ich hier mal hochgeladen:
>>
>> https://gist.github.com/rdbath/f426bfec12e8ae67222d10fde957b9e4
>>
>> Anmerkung: von zu Hause wird man "--config GDAL_HTTP_UNSAFESSL YES" nicht
>> brauchen. Das ist nur nötig wenn auf dem Weg zum WFS hausintern ein self
>> signed Intermediate SSL-Zertifikat verwendet wird.
>>
>> viele Grüße,
>> Thomas
>>
>>
>> Am Do., 11. Apr. 2019 um 13:01 Uhr schrieb Torsten Eckart <
>> torecki at arcor.de>:
>>
>>> Hallo,
>>>
>>> beim Versuch alle Geodaten, die über einen wfs angeboten werden,
>>> abzuspeichern stürzt QGIS ohne Fehlermeldung ab.
>>>
>>> Gibt es eine Möglichkeit die Geodaten des wfs anders abzurufen und in
>>> eine Datei abzuspeichern ohne dass QGIS zusammenbricht? Vielleicht mit
>>> einem PythonScript?
>>>
>>>
>>> Vielen Dank im voraus.
>>>
>>> Torsten
>>>
>>> --
>>> ....................................................................
>>> Deutschsprachige PostgreSQL Konferenz am 10.05.2019 in Leipzig
>>> https://2019.pgconf.de/
>>>
>>> OSGeo Park & OSGeo Day auf der AGIT 2019 in Salzburg
>>> 3.-5. Juli 2019, Universität Salzburg
>>> https://agit.at
>>>
>>> FOSSGIS Veranstaltungen 2019
>>> https://www.fossgis.de/node/322
>>>
>>> FOSSGIS e.V, der Verein zur Förderung von Freier Software aus dem
>>> GIS-Bereich und Freier Geodaten!
>>> https://www.fossgis.de/             https://twitter.com/fossgis_eV
>>>
>>> ____________________________________________________________________
>>> FOSSGIS-Talk-Liste mailing list
>>> FOSSGIS-Talk-Liste at fossgis.de
>>> https://lists.fossgis.de/mailman/listinfo/fossgis-talk-liste
>>>
>>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : grafik.png
Dateityp    : image/png
Dateigröße  : 1495674 bytes
Beschreibung: nicht verfügbar
URL         : <http://lists.fossgis.de/pipermail/fossgis-talk-liste/attachments/20190413/2db1c4aa/attachment.png>