Weitere Information zum Grund des Scheiterns des Importes gesucht

[jannefleischer]

Ich teste den Import der XPlan-Bebauungspläne aus Duisburg und stelle bei diesem Datensatz: "https://opendata-duisburg.de/dataset/bebauungspl%C3%A4ne-xplanung/resource/daec2605-768d-4c11-a377-d42b6e2c3a4f" fest, dass der import nicht erfolgreich ist. Ich kann aber nicht erahnen warum es scheitert.

Ist es möglich das Plugin anzuweisen etwas verboser zu sein? z.B. einen Hinweis auf die Codezeile auszugeben wo der import scheitert?

XPlanung.log

2022-06-27T13:59:57     INFO    Import mit ogr2ogr (GMLAS) nach Schema "bergheim2039_test" erfolgreich
2022-06-27T13:59:58     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_Plan" ziel SET ("nummer","internalId","beschreibung","kommentar","technHerstellDatum","genehmigungsDatum","untergangsDatum","erstellungsMassstab","bezugshoehe","technischerPlanersteller") = (SELECT "nummer"::varchar,"internalid"::varchar,"beschreibung"::text,"kommentar"::varchar,"technherstelldatum"::date,"genehmigungsdatum"::date,"untergangsdatum"::date,"erstellungsmassstab"::int4,"bezugshoehe"::float4,"technischerplanersteller"::varchar FROM "bergheim2039_test"."bp_plan" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_plan");
2022-06-27T13:59:58     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_plan: 1
2022-06-27T13:59:58     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_Bereich" ziel SET ("nummer","bedeutung","detaillierteBedeutung","erstellungsMassstab") = (SELECT "nummer"::int4,"bedeutung"::int4,"detailliertebedeutung"::varchar,"erstellungsmassstab"::int4 FROM "bergheim2039_test"."bp_bereich" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_bereich");
2022-06-27T13:59:58     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_bereich: 1
2022-06-27T13:59:58     WARNING    Debug
             __impBereich: 
             bergheim2039_test.bp_bereich: 1
2022-06-27T13:59:59     WARNING    Debug
             updateSql 
             UPDATE "XP_Praesentationsobjekte"."XP_AbstraktesPraesentationsobjekt" ziel SET ("stylesheetId","darstellungsprioritaet") = (SELECT stylesheetId."Code","darstellungsprioritaet"::int4 FROM "bergheim2039_test"."xp_ppo" quelle LEFT JOIN "XP_Praesentationsobjekte"."XP_StylesheetListe" as stylesheetId ON quelle."stylesheetid" = stylesheetId."Bezeichner" WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."xp_ppo");
2022-06-27T13:59:59     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.xp_ppo: 11
2022-06-27T13:59:59     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.xp_ppo: 11
2022-06-27T14:00:00     WARNING    Debug
             updateSql 
             UPDATE "BP_Sonstiges"."BP_Wegerecht" ziel SET ("zugunstenVon","thema") = (SELECT "zugunstenvon"::varchar,"thema"::varchar FROM "bergheim2039_test"."bp_wegerecht" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_wegerecht");
2022-06-27T14:00:00     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_wegerecht: 1
2022-06-27T14:00:01     WARNING    Debug
             updateSql 
             UPDATE "BP_Basisobjekte"."BP_Objekt" ziel SET ("rechtscharakter") = (SELECT "rechtscharakter"::int4 FROM "bergheim2039_test"."bp_wegerecht" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_wegerecht");
2022-06-27T14:00:01     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_wegerecht: 1
2022-06-27T14:00:01     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_wegerecht: 1
2022-06-27T14:00:01     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_Objekt" ziel SET ("uuid","text","rechtsstand","gliederung1","gliederung2","ebene","aufschrift") = (SELECT COALESCE("uuid",id)::varchar,"text"::text,"rechtsstand"::int4,"gliederung1"::varchar,"gliederung2"::varchar,"ebene"::int4,"aufschrift"::varchar FROM "bergheim2039_test"."bp_wegerecht" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_wegerecht");
2022-06-27T14:00:01     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_wegerecht: 1
2022-06-27T14:00:01     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_wegerecht: 1
2022-06-27T14:00:02     WARNING    Debug
             updateSql 
             UPDATE "BP_Bebauung"."BP_BaugebietBauweise" ziel SET ("bauweise","abweichendeBauweise","vertikaleDifferenzierung","bebauungsArt","bebauungVordereGrenze","bebauungRueckwaertigeGrenze","bebauungSeitlicheGrenze") = (SELECT "bauweise"::int4, abweichendeBauweise."Code","vertikaledifferenzierung"::bool,"bebauungsart"::int4,"bebauungvorderegrenze"::int4,"bebauungrueckwaertigegrenze"::int4,"bebauungseitlichegrenze"::int4 FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche" quelle LEFT JOIN "BP_Bebauung"."BP_AbweichendeBauweise" as abweichendeBauweise ON quelle."abweichendebauweise" = abweichendeBauweise."Bezeichner" WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche");
2022-06-27T14:00:02     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:02     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:02     WARNING    Debug
             updateSql 
             UPDATE "BP_Bebauung"."BP_GestaltungBaugebiet" ziel SET ("DNmin","DNmax","DN","DNZwingend","FR") = (SELECT "dnmin"::int4,"dnmax"::int4,"dn"::int4,"dnzwingend"::int4,"fr"::int4 FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche");
2022-06-27T14:00:02     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:02     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:02     WARNING    Debug
             updateSql 
             UPDATE "BP_Bebauung"."BP_FestsetzungenBaugebiet" ziel SET ("MaxZahlWohnungen","Fmin","Fmax","Bmin","Bmax","Tmin","Tmax","GFZmin","GFZmax","GFZ","GFZ_Ausn","GFmin","GFmax","GF","GF_Ausn","BMZ","BMZ_Ausn","BM","BM_Ausn","GRZmin","GRZmax","GRZ","GRZ_Ausn","GRmin","GRmax","GR","GR_Ausn","Zmin","Zmax","Zzwingend","Z","Z_Ausn","Z_Staffel","Z_Dach","ZUmin","ZUmax","ZUzwingend","ZU","ZU_Ausn") = (SELECT "maxzahlwohnungen"::int4,"fmin"::float4,"fmax"::float4,"bmin"::float4,"bmax"::float4,"tmin"::float4,"tmax"::float4,"gfzmin"::float4,"gfzmax"::float4,"gfz"::float4,"gfz_ausn"::float4,"gfmin"::float4,"gfmax"::float4,"gf"::float4,"gf_ausn"::float4,"bmz"::float4,"bmz_ausn"::float4,"bm"::float4,"bm_ausn"::float4,"grzmin"::float4,"grzmax"::float4,"grz"::float4,"grz_ausn"::float4,"grmin"::float4,"grmax"::float4,"gr"::float4,"gr_ausn"::float4,"zmin"::int4,"zmax"::int4,"zzwingend"::int4,"z"::int4,"z_ausn"::int4,"z_staffel"::int4,"z_dach"::int4,"zumin"::int4,"zumax"::int4,"zuzwingend"::int4,"zu"::int4,"zu_ausn"::int4 FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche");
2022-06-27T14:00:03     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:03     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:03     WARNING    Debug
             updateSql 
             UPDATE "BP_Basisobjekte"."BP_Objekt" ziel SET ("rechtscharakter") = (SELECT "rechtscharakter"::int4 FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche");
2022-06-27T14:00:03     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:03     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:03     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_Objekt" ziel SET ("uuid","text","rechtsstand","gliederung1","gliederung2","ebene","aufschrift") = (SELECT COALESCE("uuid",id)::varchar,"text"::text,"rechtsstand"::int4,"gliederung1"::varchar,"gliederung2"::varchar,"ebene"::int4,"aufschrift"::varchar FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_ueberbaubaregrundstuecksflaeche");
2022-06-27T14:00:03     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:03     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_ueberbaubaregrundstuecksflaeche: 3
2022-06-27T14:00:04     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_TextAbschnitt" ziel SET ("schluessel","text") = (SELECT "schluessel"::varchar,"text"::text FROM "bergheim2039_test"."bp_textabschnitt" quelle WHERE quelle.xp_gid = ziel.id) WHERE id IN (SELECT xp_gid FROM "bergheim2039_test"."bp_textabschnitt");
2022-06-27T14:00:04     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_textabschnitt: 4
2022-06-27T14:00:04     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_textabschnitt: 4
2022-06-27T14:00:04     WARNING    Debug
             updateSql 
             UPDATE "BP_Basisobjekte"."BP_Objekt" ziel SET ("rechtscharakter") = (SELECT "rechtscharakter"::int4 FROM "bergheim2039_test"."bp_nutzungsartengrenze" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_nutzungsartengrenze");
2022-06-27T14:00:05     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_nutzungsartengrenze: 1
2022-06-27T14:00:05     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_nutzungsartengrenze: 1
2022-06-27T14:00:05     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_Objekt" ziel SET ("uuid","text","rechtsstand","gliederung1","gliederung2","ebene","aufschrift") = (SELECT COALESCE("uuid",id)::varchar,"text"::text,"rechtsstand"::int4,"gliederung1"::varchar,"gliederung2"::varchar,"ebene"::int4,"aufschrift"::varchar FROM "bergheim2039_test"."bp_nutzungsartengrenze" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_nutzungsartengrenze");
2022-06-27T14:00:05     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_nutzungsartengrenze: 1
2022-06-27T14:00:05     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_nutzungsartengrenze: 1
2022-06-27T14:00:05     WARNING    Debug
             updateSql 
             UPDATE "BP_Basisobjekte"."BP_Objekt" ziel SET ("rechtscharakter") = (SELECT "rechtscharakter"::int4 FROM "bergheim2039_test"."bp_nebenanlagenflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_nebenanlagenflaeche");
2022-06-27T14:00:06     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_nebenanlagenflaeche: 2
2022-06-27T14:00:06     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_nebenanlagenflaeche: 2
2022-06-27T14:00:06     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_Objekt" ziel SET ("uuid","text","rechtsstand","gliederung1","gliederung2","ebene","aufschrift") = (SELECT COALESCE("uuid",id)::varchar,"text"::text,"rechtsstand"::int4,"gliederung1"::varchar,"gliederung2"::varchar,"ebene"::int4,"aufschrift"::varchar FROM "bergheim2039_test"."bp_nebenanlagenflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_nebenanlagenflaeche");
2022-06-27T14:00:06     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_nebenanlagenflaeche: 2
2022-06-27T14:00:06     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_nebenanlagenflaeche: 2
2022-06-27T14:00:07     WARNING    Debug
             updateSql 
             UPDATE "BP_Basisobjekte"."BP_Objekt" ziel SET ("rechtscharakter") = (SELECT "rechtscharakter"::int4 FROM "bergheim2039_test"."bp_kennzeichnungsflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_kennzeichnungsflaeche");
2022-06-27T14:00:07     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_kennzeichnungsflaeche: 1
2022-06-27T14:00:07     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_kennzeichnungsflaeche: 1
2022-06-27T14:00:07     WARNING    Debug
             updateSql 
             UPDATE "XP_Basisobjekte"."XP_Objekt" ziel SET ("uuid","text","rechtsstand","gliederung1","gliederung2","ebene","aufschrift") = (SELECT COALESCE("uuid",id)::varchar,"text"::text,"rechtsstand"::int4,"gliederung1"::varchar,"gliederung2"::varchar,"ebene"::int4,"aufschrift"::varchar FROM "bergheim2039_test"."bp_kennzeichnungsflaeche" quelle WHERE quelle.xp_gid = ziel.gid) WHERE gid IN (SELECT xp_gid FROM "bergheim2039_test"."bp_kennzeichnungsflaeche");
2022-06-27T14:00:07     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_kennzeichnungsflaeche: 1
2022-06-27T14:00:07     WARNING    Debug
             __impObjekte: 
             bergheim2039_test.bp_kennzeichnungsflaeche: 1
2022-06-27T14:00:08     WARNING    Debug
             __impUpdateXP: 
             bergheim2039_test.bp_immissionsschutz: -1
2022-06-27T14:00:08     CRITICAL    Import fehlgeschlagen

Messages.log

2022-06-27T14:00:08     WARNING    XPlanung : CodeListError BP_Umwelt.BP_Immissionsschutz.nutzung
2022-06-27T14:00:08     WARNING    XPlanung : Konnte Objekte nicht importieren
2022-06-27T14:00:08     CRITICAL    XPlanung : Import fehlgeschlagen

[bstroebl]

Der Import erfolgt in zwei Schritten:

1. mit ogr2ogr in die DB, das gelingt
2. aus den in Schritt 1 entstehenden Tabellen in die Zieltabellen, daran scheitert es

Schritt 2 sind SQL-Statements, die im Log auch alle aufgelistet sind. Eine Möglichkeit wäre es nun, die alle über die Konsole in die Datenbank zu tun und zu sehen, was die Fehlerausschrift der DB ist. Dieses sollte aber eigentlich auch im Log auftauchen (Reiter PostGIS) bzw. als Meldung in QGIS, wenn ich mich recht erinnere.
Das Issue sollte eigentlich zum XplanPlugin Dies ist der Issue-Tracker für die Datenbank.
[edit] Formatierung

[bstroebl]

Ich sehe gerade den Hinweis auf den Importfehler in Ihrem Log:
XPlanung : CodeListError BP_Umwelt.BP_Immissionsschutz.nutzung
CodeListen sind individuell gestaltbar. Schauen Sie mal in die Relation, welche Codes dort drin sind und überführen Sie sie in die entsprechende CodeList-Relation. Versuchen Sie dann den Import erneut.

[jannefleischer]

Ah, sorry für das falsche Repo. Der andere Fehler war Datenbankbezogen (siehe pull-request #21 ), da bin ich hier hängen geblieben. Gerne verschieben, falls das möglich ist.

Das SQL läuft komplett sauber durch.

Das Problem ist tatsächlich, soweit ich den Code verstehe, dass die Warnung (mit return -1 ) dafür sorgt, dass keine weiteren Daten mehr importiert werden. Macht auch Sinn, wenn tatsächlich ein Wert eingetragen werden soll der in der CodeListe nicht vorgesehen ist (und auch nicht zusätzlich ergänzt wurde). In diesem Fall sieht der Standard aber nicht vor, dass da überhaupt eine CodeListe zur Anwendung kommt. Das ist ein freies varchar feld, das auch NULL sein darf, was es in meinen Quelldaten auch ist.

Ich habe mal temporär den Key "nutzung" hier umbenannt, und konnte den Datensatz dann importieren. D.h. hier gibt es einen false positiv Codelist-match. Gibt es eine Möglichkeit das zu umgehen? Kann man da eine "blank"-CodeListe anhängen um das Problem zu lösen (aber dann muss auch das postgres-schema geändert werden?)? Andere Ideen?

[bstroebl]

bitte mal mit der develop-branch testen (XPImport.py)
Damit sollte der Import von BP_Immissionschutz funktionieren.
Bitte Rückmeldung, ob das funktioniert, dann mache ich eine neue Version.

[bstroebl]

Hallo @jannefleischer,
konnten Sie die develop-branch bereits testen?

[jannefleischer]

Danke für das schnelle Fix!

Leider bin ich noch nicht dazu gekommen, sieht für mich aber so aus, als wenn das funktionieren würde. Ich habe aktuell meine Datenbank zerschossen und muss die erst wieder reparieren... Und das schaffe ich erst im August, nach dem Urlaub...

[bstroebl]

ok, dann bereite ich in der nächsten Zeit eine neue Bugfix-Version des Plugins vor.
Schönen Urlaub