您好,腾昊信息欢迎您!
全国咨询热线:
首页/新闻视频/视频详情

某移动公司

发表时间:2021-04-15 17:04:14    浏览次数:1375

该移动公司业务支撑中心大数据平台使用华为FusionInsight 的Hive数仓存储海量数据,使用南大通用的GBase 8a 存储分析数据用于前台报表分析。针对该公司大数据平台数据表多和数据量非常大的特点,采用将大表导出到接口机分拆成多个文件,然后通过FTP传输方式从源接口机下载文件,高并发对文件进行脱敏处理,再将脱敏后文件上传到目标接口机上的方式。

该方案不仅效率高(500GB数据量仅用20分钟),而且实现了数据使用人员与生产数据的完全隔离,安全上得到极大的保障。