建筑数据分析
面向大规模非结构化数据存储难、查询慢、理解浅等问题,设计并实现了一体化“非结构化数据管理平台”。平台具有以下特性:实现统一存储键值型、文件型、对象型数据的自由表数据模型,基于存储副本的一致性建模给出了度量、增强、修复等核心算法,设计了分布式存储中的柔性事务机制;实现了文本、图像、视频、音频等非结构化数据的统一查询引擎,定义了声明式查询语言LaSQL,支持倒排索引、高维索引、哈希索引等查询执行器;实现基于分布式计算框架MapReduce/Spark的数据分析引擎,支持表征学习、迁移学习等前沿机器学习算法。此外,提供了系统监控和辅助管理套件,保证平台的安全运行。