[Question]: 数据集管理

[yuan-2020]

Question

想请教一下作者团队，是如何管理如此庞大的数据集的？是否使用了一些数据集管理工具？

[alaia0a]

你好！
对于大规模数据集我们主要关注存储、版本、清洗、标注、迭代几个方面进行管理维护，目前没有依赖单一数据管理平台/框架，更多是围绕数据结构合理性和可扩展性自研构建了适配自身场景的工具链。