搜索　｜　会员　　
你所在的位置:企业管理 / 大数据 /Spark
  • Flink 在有赞实时计算的实践
    这篇主要由五个部分来组成：首先是有赞的实时平台架构。其次是在调研阶段我们为什么选择了Flink。在这个部分，主要是Flink与Spark的structuredstreaming的一些对比和选择Flink的原因。
  • 基于Flink SQL构建实数据仓库
    OPPO作为手机厂商，基于Android定制了自己的ColorOS系统，当前日活跃用户超过2亿。围绕ColorOS，OPPO构建了很多互联网应用，比如应用商店、浏览器、信息流等。在运营这些互联网应用的过程中，OP
  • spark图解
    spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark技术的使用有一
  • 实时数据平台设计：技术选型与应用场景适配模式
    本文我们则会推荐整体技术组件选型，对每个技术组件做出简单介绍，尤其对我们抽象并实现的四个技术平台（统一数据采集平台、统一流式处理平台、统一计算服务平台、统一数据可视化平台）着重介绍
  • 如何在万亿级别规模的数据量上使用Spark
    本文主要是通过作者在搭建使用计算平台的过程中，写出对于Spark的理解，并且介绍了Spark在当前的DataMagic是如何使用的，当前平台已经用于架平离线分析，每天计算分析的数据量已经达到千亿~万亿
  • Spark及Spark Streaming核心原理及实践
    本文依次从spark生态，原理，基本概念，sparkstreaming原理及实践，还有spark调优以及环境搭建等方面进行介绍，希望对大家有所帮助。
  • 美团酒旅实时数据规则引擎应用实践
    美团点评酒旅运营需求在离线场景下，已经得到了较为系统化的支持，通过对离线数据收集、挖掘，可对目标用户进行T+1触达，通过向目标用户发送Push等多种方式，在一定程度上提高转化率。
  • 苏宁基于Spark Streaming的实时日志分析系统实践
    目前业界基于Hadoop技术栈的底层计算平台越发稳定成熟，计算能力不再成为主要瓶颈。多样化的数据、复杂的业务分析需求、系统稳定性、数据可靠性，这些软性要求，逐渐成为日志分析系统面对的主要
  • 基于Spark的大规模机器学习在微博的应用
    一直以来，微博都尝试通过机器学习来解决业务场景中遇到的各种挑战。本文为新浪微博吴磊在CCTC2017云计算大会Spark峰会所做分享《基于Spark的大规模机器学习在微博的应用》主题的一部分，介绍微
  • spark与storm比对与选型
    大数据实时处理平台市场上产品众多，本文着重讨论spark与storm的比对，最后结合适用场景进行选型。
  • 使用Flume+Kafka+SparkStreaming进行实时日志分析
    每个公司想要进行数据分析或数据挖掘，收集日志、ETL都是第一步的，今天就讲一下如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中
  • spark环境搭建及简单程序使用
    该文章是在hadoop环境搭建好的基础上进行的，主要是针对搭建过程中自己遇到的一些小问题。
  • 使用Storm实现实时大数据分析
    随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。ShruthiKumar和SiddharthPatankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。
  • 实时计算平台设计
    传统的离线计算会存在数据反馈不及时，很难保证很多急需实时数据做决策的场景。同时，如果各个业务方自己既负责开发实现各种实时计算程序，同时还需要维护一套实时计算软件环境
  • 大数据实时处理：百分点实时计算架构和算法
    当今时代，数据不再昂贵，但从海量数据中获取价值变得昂贵，而要及时获取价值则更加昂贵，这正是大数据实时计算越来越流行的原因。在高峰期每秒钟会有近万HTTP请求发送到百分点服务器上，这些请
相关主题
大家在关注
我们的推荐
最新的干货
  • 地图
  • 本站
  • 我们
  • 服务
  • 版权
  • 联系
  • 回馈
  • 博客