Relatório CSV dos pacotes disponíveis no Download

[IgorEliezer]

Conversando com @ThierryAJean, vimos ainda a necessidade de ter um relatório/planilha que liste todos os pacotes disponíveis na página de Download para um usuário comum que não lida com GitHub, mas gostaria de ver uma lista completa para ter um panorama geral da situação.

Porém quero evitar criar outra planilha que teria que ser mantida sincronizada com as planilhas donor.csv e donatedPack.csv dos vários repositórios dos países no GitHub; ela seria gerada a partir dos dados que já estão na página Download, uma versão CSV da página HTML

Conterias colunas: jurisdição, doador, pacote, descrição do conteúdo, etiqueta da licença e link para a página README do pacote.

Este relatório seria gerado ou obtido de um link no topo da página de Download.

[0e1]

Crie a api.

Ver os links:

CSV: http://osm.codes/_sql.csv/pkindown
JSON: http://osm.codes/_sql/pkindown

Comente aqui se precisar mudar nomes dos campos ou acrescentar/remover campos.

---

Notar que onde license for null o problema está no donatedPack.csv.

[IgorEliezer]

Muito bom, já dá um panorama do que temos. Vi que alguns precisam de licença e descrição.

Já vou passar para Thierry uma versão formatada para ele ver.

EDIT:

Ver minha resposta abaixo.

[ThierryAJean]

Estou conversando com o Igor e sugerimos adicionar o seguinte a esta planilha:

1. Uma frase de cabeçalho que explica o que tem na planilha:

• "This table describes ingested data by the Digital-Guard project, maintained by the AddressForAll Institute"

2. Criar colunas com os diferentes tipos de dados que temos: block, nsvia, parcel, via, geoaddress

• Para cada dado colocar yes para as colunas correspondentes aos pacotes com o dado.

3. No caso de haver endereços ou lotes, colocar o n de pontos + lotes numa coluna com titulo: Address Qty

[IgorEliezer]

Consolidei as sugestões minhas e de @ThierryAJean:

1. Colocar a data de geração no nome do arquivo: pkindown_2023-09-12_113400.csv
2. Adicionar 1ª linha como título, algo como "Filtered data packages - this table lists ingested data by the Digital-Guard project, maintained by the AddressForAll Institute"
3. Após a coluna description, adicionar uma coluna para cada data type de disponibilizamos (block, geoaddress, nsvia, parcel, via etc.), com valor yes ou no, para indicar se está disponível.
4. Após as colunas de disponibilidade, colocar uma coluna que mostra a contagem de objetos com endereços no pacote (Thierry sugeriu o label address_qty).
5. É possível adicionar, após a lista, notas explicativas dos lables das colunas?

Verificar viabilidade. Eu lembro que no futuro teremos um dashboard que vai detalhar numa interface melhor, então acho que não vale a pena carregar a planilha de muita formatação, notas etc. (i.e. itens 2 e 5).

[IgorEliezer]

@0e1 , gerei uma planilha para ver. A cidade BR-RS-Bage aparece na página de download, está nas planilhas donors.csv e package.csv, tem README e pacotes publicados, mas não parece na planilha pkindown. Ela não tem dados filtrados, é por isso?

[0e1]

@0e1 , gerei uma planilha para ver. A cidade BR-RS-Bage aparece na página de download, está nas planilhas donors.csv e package.csv, tem README e pacotes publicados, mas não parece na planilha pkindown. Ela não tem dados filtrados, é por isso?

Não é por isso.

1. aparecem em downloads os arquivos originais preservados;
2. foi feita a ingestão e commitados arquivos no CutGeo. Mas não foi concluída a publicação;
3. faltou executar os passos Copiar para datalake e Aprovação do nosso Workflow.

Se a cópia para o datalake e aprovação não são realizadas, não foi publicado. Vou tentar consertar isso.

[0e1]

Se a cópia para o datalake e aprovação não são realizadas, não foi publicado. Vou tentar consertar isso.

Conclui a publicação.

Verificar:

• https://github.com/digital-guard/preserv-BR/tree/main/data/RS/Bage/_pk0082.01
• https://addressforall.org/downloads/#BR-RS-Bage
• https://addressforall.org/visualization/
• https://addressforall.maps.arcgis.com/home/gallery.html?sortField=title&sortOrder=asc&searchTerm=Bag%C3%A9
• https://wiki.addressforall.org/doc/dg:Listagem_dos_downloads_por_jurisdi%C3%A7%C3%A3o
• https://wiki.addressforall.org/doc/dg:Listagem_dos_downloads_por_hash