代码007
  • 首页
  • web
    • php
    • html
    • css
    • vue
  • 小程序
  • mysql
  • python
  • android
  • java
  • chatgpt
  • linux
  • 大数据
  • redis
  • 隐私协议
登录

大数据

Hive默认使用MapReduce作为执行引擎,即Hive on MapReduce。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。因此,Hive on Spark也会比Hive on MapReduce快。由于Hive on MapReduce的缺陷,所以企业里基本上很少使用了。通过SparkSQL,加载Hive的配置文件,获取到Hive的元数据信息;获取到Hive的元数据信息之后可以拿到Hive表的数据;

  • a
  • ad
  • ai
  • apache
  • api
  • azure
  • bi
  • bigtable
  • broker
  • checkpoint
  • 价格免费付费会员免费会员折扣永久会员免费
    发布日期更新日期评论数量随机展示热度排行
    涤生大数据实战:基于Flink+ODPS历史累计计算项目分析与优化(上)
    大数据

    涤生大数据实战:基于Flink+ODPS历史累计计算项目分析与优化(上)

    本文介绍: 当一个用户在T日实时上传了自己的跑步记录,Flink节点1会计算出其 [当日0点...
    1 年前 5
    【大数据面试题】002 Flink 如何实现 Exactly-Once 语义
    大数据

    【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

    本文介绍: 最后,在数据消费端,需要确保消费者能够支持“事务性”提交,比如使用支持事务的数据...
    1 年前 6
    大数据Zookeeper–案例
    大数据

    大数据Zookeeper–案例

    本文介绍: 比如说”进程1″在使用该资源的时候,会先去获得锁,...
    1 年前 6
    三维可视化助力船舶制造:大数据处理、实时协作更高效!
    大数据

    三维可视化助力船舶制造:大数据处理、实时协作更高效!

    本文介绍: HOOPS技术是一种由Tech Soft 3D公司开发的三维图形库,具有高性能、...
    1 年前 7
    大数据 – Spark系列《四》- Spark分布式运行原理
    大数据

    大数据 – Spark系列《四》- Spark分布式运行原理

    本文介绍: 在本篇博客中,我们将深入探讨 Spark 分布式运行原理、面试题总结以及延伸知识...
    1 年前 6
    大数据 – Spark系列《一》- 从Hadoop到Spark:大数据计算引擎的演进
    大数据

    大数据 – Spark系列《一》- 从Hadoop到Spark:大数据计算引擎的演进

    本文介绍: 通过本文,您将了解到Hadoop与Spark的基础知识,并掌握Spark编程的基...
    1 年前 6
    【大数据面试题】001 Flink 的 Checkpoint 原理
    大数据

    【大数据面试题】001 Flink 的 Checkpoint 原理

    本文介绍: 一步一个脚印,一天一道大数据面试题。Flink 是大数据实时处理计算框架。实时框...
    1 年前 11
    大数据环境搭建(一)-Hive
    大数据

    大数据环境搭建(一)-Hive

    本文介绍: Hive安装部署 1 hive介绍 由Facebook开源的,用于解决海量结构化...
    1 年前 0
    大数据领域的数据仓库
    大数据

    大数据领域的数据仓库

    本文介绍: 在大数据领域,数据仓库(Data Warehouse)是一个用于存储、管理和分析...
    1 年前 4
    开源大数据集群部署(九)Ranger审计日志集成(solr)
    大数据

    开源大数据集群部署(九)Ranger审计日志集成(solr)

    本文介绍: 作者:櫰木。 作者:櫰木 1、下载solr安装包并解压包 tar -xzvf s...
    1 年前 4
    【大数据】Flink SQL 语法篇(二):WITH、SELECT & WHERE、SELECT DISTINCT
    大数据

    【大数据】Flink SQL 语法篇(二):WITH、SELECT & WHERE、SELECT DISTINCT

    本文介绍: 关于看如何看一段 Flink SQL 最终的执行计划:最好的方法就如上图,看 F...
    1 年前 8
    依托物联网、互联网,建立云端大数据管理平台,形成“端+云+大数据”的智慧工地
    大数据

    依托物联网、互联网,建立云端大数据管理平台,形成“端+云+大数据”的智慧工地

    本文介绍: 智慧工地,是将物联网应用到建筑工地中,从施工现场源头抓起,最大程度的收集人员、安...
    1 年前 5
    Hadoop与Spark横向比较【大数据扫盲】
    大数据

    Hadoop与Spark横向比较【大数据扫盲】

    本文介绍: 大数据场景下的数据库有很多种,每种数据库根据其数据模型、查询语言、一致性模型和分...
    1 年前 2
    大数据开发之电商数仓(hadoop、flume、hive、hdfs、zookeeper、kafka)
    大数据

    大数据开发之电商数仓(hadoop、flume、hive、hdfs、zookeeper、kafka)

    本文介绍: 1、数据需求:用户分析日志log、业务数据db2、采集需求:日志采集系统(flu...
    1 年前 4
    大数据开发之Spark(累加器、广播变量、Top10热门品类实战)
    大数据

    大数据开发之Spark(累加器、广播变量、Top10热门品类实战)

    本文介绍: 累加器:分布式共享只写变量。(executor和executor之间不能读数据)...
    1 年前 4
    活动回顾丨云原生技术实践营上海站「云原生 AI &大数据」专场(附 PPT)
    大数据

    活动回顾丨云原生技术实践营上海站「云原生 AI &大数据」专场(附 PPT)

    本文介绍: AI 势不可挡,“智算”赋能未来。2024 年 1 月 5 日,云原生技术实践营...
    1 年前 6
    大数据开发之Hadoop(完整版+练习)
    大数据

    大数据开发之Hadoop(完整版+练习)

    本文介绍: 第 1 章:Hadoop概述1.1 Hadoop是什么1、Hadoop是一个由A...
    1 年前 15
    大数据学习之Flink,了解Flink的多种部署模式
    大数据

    大数据学习之Flink,了解Flink的多种部署模式

    本文介绍: 应用模式是对单作业模式的优化,不管是会话模式还是单作业模式,代码都是在客户端是进...
    1 年前 2
    1/7123456下一页

    Copyright © 2023 代码007 - All rights reserved浙ICP备2023042000号

    • 首页
    • 我的
    • 顶部
      android css html html java java linux linux mysql mysql python python redis spring vue vue 互联网 安装
      • 首页
      • web ►
        • php
        • html
        • css
        • vue
      • 小程序
      • mysql
      • python
      • android
      • java
      • chatgpt
      • linux
      • 大数据
      • redis
      • 隐私协议