当前位置:主页 > uedbet客户端 > 基于 Hive / ES 金融父亲数据目的体系

基于 Hive / ES 金融父亲数据目的体系

上传时间:2019-04-08

  演讲干者:沈佰军,2011

  年,PPTV 担负 10PB 规模的父亲数据平台,架设建了 hadoop/hive/storm/spark 等开源组件,己主开辟中心调理体系 & SQL Storm,每天处理万亿数据;2015 年参加以装置然证券,担负金融互联网父亲数据团弄队,使装置然证券由传统的数据架构向互联网父亲数据架构转型,为装置然证券的各个事情线供快疾和摆荡的数据平台,就中父亲数据计算调理和客户目的体系在业界拥有很多花样翻新点,以智能募化和高干用为特点,是装置然证券父亲数据事情展开的发宗机。

织梦好,好织梦

  摘要:如装置在几亿条的数据,几万个字段中以毫秒级佩选择出产拥有价的数据,也坚硬是同时要建几万个“索伸”字段的数据库,是数据行业的壹个难题;我们在开源和商产品下面做了很多的对比,最末选定了 织梦内容管理系统

  elasticsearch 干为数据伸擎。 假设能让几佰个维度几万个度量值构成查询,做壹个超级 cube,壹直是我们想处理的效实。当 ES 数据带入之后,我们终止了凑合查询测试,发皓 elasticsearch 的多维凑合查询才干亦什分惊人,原本我们选择 kylin 的处理方案,做了相应的转变。 目的体系为稀准客户经纪,多维统计剖析处理了难题。然后在仟人仟面项目中,需寻求供在线的客户标注签的 API 接口,我们参加以了 redis 缓存放层,让并发和央寻求时间又提升了壹个数级,给我们目的体系扦上了翅儿子。

内容来自dedecms

  关怀本落客微信公共帐号:iteblog_hadoop,并回骈hive_es?关键字获取本文PPT。 本文来自织梦

   内容来自dedecms

   织梦好,好织梦

  

本文来自织梦

  猜你喜乐 织梦内容管理系统

  乐当着关怀本帮群号:iteblog_hadoop:

织梦内容管理系统

  0、回骈?spark_2017_all?获取?Spark 织梦好,好织梦

  Summit East 2017高清视频和PPT

本文来自织梦

  1、回骈?把握spark?获取?《Mastering 本文来自织梦

  Apache Spark》电儿子书 内容来自dedecms

  2、回骈?高干用spark?获取?《High copyright dedecms

  Performance Spark》电儿子书 织梦好,好织梦

  3、回骈?父亲数据剖析?获取?《Big 织梦内容管理系统

  Data Analytics》电儿子书 copyright dedecms

  4、回骈?spark2电儿子书?获取?《Apache

织梦好,好织梦

  Spark 2 for Beginners》电儿子书

copyright dedecms

  5、回骈?spark2_data?获取《Spark

本文来自织梦

  for Data Science》电儿子书 本文来自织梦

  6、回骈?架构师傅会ppt?获取?《2016年中国架构师[父亲数据场]》?PPT 织梦好,好织梦

  7、回骈?intro_flink?获取?《Introduction

copyright dedecms

  to Apache Flink》?电儿子书

dedecms.com

  8、回骈?spark_summit_ppt获取?《Spark

  • 共2页:
  • 上一页
  • 1
  • 2
  • 下一页
  • 上一篇:在喜情爱中优绵软鲜断的星座女 下一篇:没有了