文博大数据分析平台
Big Data Mining And Analysis Platform
文博大数据分析平台实现对两类重要数据的采集和分析,其一是以藏品为核心的业务管理数据,其二是围绕游客的信息用于提升服务的数据。实现藏品数据分析、业务数据分析、游客行为分析、游客趋势分析、游客画像分析文物感兴趣度分析等。
数据分析是数据处理流程的核心,因为数据中所蕴藏的价值就产生于分析的过程。所谓”大数据分析”,其和以往数据分析的最重要的差别在于数据量急剧增长。由于数据量的增长,使得对于数据的存储、查询以及分析的要求迅速提高。从实际操作的角度看,“大数据分析”需要通过对原始数据进行分析来探究一种模式,寻找导致现实情况的根源因素,通过建立模型与预测来进行优化,以实现社会运行中各个领域的持续改善与创新。
对于这些数量庞大的,来自不同源头的非结构化数据采用文博大数据分析平台进行处理和分析、发掘文物之间的关联性,为科研、社教提供数据支撑。
大数据存储、数据流向监控、数据服务管理、数据统计视图、数据关联分析、文物画像、图像识别分析
提供分布式数据存储平台,支持以命令行、JAVA API、CAPI、RESTFUL API、JDBC、ODBC方式写入和读取数据;在一个平台内,支持多种类型的数据存储,包括结构化数据、半结构化数据、非结构化数据;支持超过PB尺寸大文件的读写,支持海量(百亿以上)小文件在统一命名空间的读写;支持多种存储介质混合使用,用户可以配置存储策略,使文件可以根据冷热不同,存在在不同的介质上;基于分布式数据存储平台,提供存储及服务能力,用户可以通过访问接口直接进行文件读写。
支持监控所有的数据集成、分析、服务等任务,提供统一的界面对所有的任务进行监控;支持异常告警,异常的规则可由数据管理员定义,常见的异常情况包括任务失败、数据量异常波动、执行时间超长、任务数目异常等。
支持将数据查询、元数据查询、数据建模、模型调用等功能开放,授权的用户可以通过Restful API直接进行调用;提供服务目录供开发者查询所有的服务,支持开发者提交申请使用服务;支持服务使用的审批、升级、监控、下线。
支持基于数据集的可视化视图配置,支持柱图、横条图、线图、面积图、饼图、油量图、雷达图、散点图、泡泡图、联合图、双Y轴联合图、瀑布图、三维联合图、散点雷达图;支持将多张图表的组合成Dashboard;提供基于RESTFUL API的服务接口,支持第三方基于数据可视化服务接口开发应用。
对文物全息数据进行主成分提取,构建数据集;囊括文物的基本属性数据、特征数据、环境数据、馆藏数据、陈列数据、价值属性数据等;在一个视图内充分展示文物的全量数据。