Weitere Filtermöglichkeiten?

[CHesseling]

Vielen Dank für Eure Arbeit!

Es gibt teilweise Tabellen mit sehr großen Datenmengen (zB 51000-0014), bei denen es nett wäre, nach Monat zu filtern (also startyear usw aufzubohren) oder eine weitere Variable (wie Warennummer) als Filter hinzuzuziehen. Wenn ich https://destatis.api.bund.dev/ richtig lese gibt es bei get data/table Felder für classifyingvariable1. Ich weiß, dass ist bei jeder Statistik anders, aber gäbe es eventuell Möglichkeiten, das anzudenken?
Viele Grüße!

[pmayd]

Hallo Claus!

Schön, von dir zu lesen :)

Kannst du vielleicht ein konkretes Beispiel geben, was du dir vorstellst, das hilft uns am besten. Möchtest du diese Filterung bereits bei der Abfrage, also wenn du t.get_data() aufrufst? Das dürfte dann schwierig werden, weil wir ja nur das übergeben können, was Genesis in der API unterstützt. Wir könnten aber nachgelagert sehr wohl weitere Filter anbieten oder zB den Zeitstempel, also die Spalte für die Zeitangabe aufteilen in Monat und Jahr, so dass du dann selbst leicht danach filtern kannst. Das hieße dann zwar, dass alle Daten für das start und end Jahr heruntergeladen werden müssen, aber wir können danach eben zusätzliche Spalten und Informationen anbieten bzw einige Dinge erleichtern. Daher die Frage, ob du uns eine konkrete Anfrage bzw Filterung zeigen kannst, und wann genau du das machen möchtest

[CHesseling]

Am besten wäre das Filtern schon vor dem Abruf, damit man nicht die Probleme mit zu großen Datenmengen bekommt - das ist bei den Import-/Export-Daten schnell der Fall.
Ich habe mal ein kleines Script für die destatis genesis API geschrieben. Da kann man mit

classifyingvariable2="MONAT",
classifyingkey2="MONAT01"

arbeiten und es sieht so aus, als würde das klappen. Damit könnte ich zB auch das Warenverzeichnis filtern, bevor ich die große Tabelle abrufe. Ist die Erklärung etwas verständlich? :)

[pmayd]

Achso, wenn diese Variablen schon existieren, natürlich, wir unterstützen ja bereits classifyingvariable, oder nicht? Mir war nicht bewusst, dass Monat Teil der Spalten ist, dann ist das ganz schnell implementiert. Ich schau mir deine Beispieltabelle genauer an!

[pmayd]

Wir haben eben die neue Version v0.4.0 veröffentlicht, die mit Genesis v5 Datenbank kompatibel ist, jetzt sind erstmal wieder die Tabellen von Genesis mit pystatis herunterladbar. Als nächstes schauen wir uns deinen Request an und veröffentlichen ein Minor-Update mit dem Parameter ;)

[PhilippVerpoort]

Ich kann mich nur anschließen, dass das ein sehr nützliches und hilfreiches Feature wäre. Ich stoße interessanterweise bei exakt derselben Tabelle (nämlich 51000-0014) auf Grenzen aufgrund der Größe.

Ich glaube, dass man in einer früheren Version (v0.2.0) noch Argumente wie classifyingvariable1 und classifyingkey1 in Table.get_data setzen konnte, weil die kwargs einfach weitergegeben wurden.

[pmayd]

Ja, völlig richtig, das hatten wir mal mit kwargs, lasst uns das gerne wieder reinnehmen

[PhilippVerpoort]

Diese Änderungen scheinen das Problem zu beheben. Passt das so? Soll ich einen PR erstellen?

[pmayd]

Ich kam leider noch nicht dazu den PR zu reviewn aber ja, dort wurden die classifyingvariable wieder eingeführt, aber gerne noch einen PR erstellen für allgemeine keyword arguments, für Power User fände ich das in jedem Fall wieder nützlich, dass man als User, wenn man die API query parameter kennt, auch noch nicht unterstütze mitgeben kann

[PhilippVerpoort]

PR #188 ist jetzt gestellt.