IT大道IT大道

首页 > TAG信息列表 > Hadoop

  • 通过 IBM Power Systems 上运行的 SAP HANA Spark Controller 集成 SAP HANA 与 Hortonworks Data...

    通过 IBM Power Systems 上运行的 SAP HANA Spark Controller 集成 SAP HANA 与 Hortonworks Data...

    文中将介绍如何结合 SAP HANA 和 Hortonworks Data Platform (HDP) 的优势来处理数据。使用了一个名为 SAP HANA Spark Controller 的新软件组件来集成 HANA 与 HDP,使 HANA...

    2017-10-09 itdadao 技术 22 ℃ 0
  • 使用火焰图做性能分析

    使用火焰图做性能分析

    系统性能的评估维度可能很多,包括应用的吞吐量、响应时间、任务完成时间和资源利用率等。但是这些指标(metrics)仅仅是表象,一旦发现异常,如何从代码级别定位性能问题才是解决问...

    2017-09-30 itdadao 技术 31 ℃ 0
  • [译] 集群调度架构的变革(一)

    [译] 集群调度架构的变革(一)

    原文: http://www.firmament.io/blog/scheduler-architectures.html
    集群调度器是现代基础设施很重要的组件,尤其在最近几年有很大发展。架构从单体应用的设计进化成更灵活,...

    2017-09-25 itdadao 技术 33 ℃ 0
  • 干货 | 98道常见Hadoop面试题及答案解析(一)

    干货 | 98道常见Hadoop面试题及答案解析(一)


    这是一篇hadoop的测试题及答案解析,题目种类挺多,一共有98道题,题目难度不大,对于高手来说,90分以上才是你的追求。
    1 单选题
    1.1 下面哪个程序负责 HDFS 数据存储。
    ...

    2017-09-25 itdadao 技术 29 ℃ 0
  • 基于Hadoop大数据分析应用场景与实战

    基于Hadoop大数据分析应用场景与实战

    为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了Hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台...

    2017-09-18 itdadao 技术 46 ℃ 0
  • 光大银行:风险一体化项目实施

    光大银行:风险一体化项目实施

    本篇案例为数据猿推出的“ 金融科技价值—数据驱动金融商业裂变 ”大型主题策划活动( 查看详情 )第一部分的文章/案例/产品征集部分;感谢 天云 大数据 的投递
    来源:数...

    2017-09-07 itdadao 技术 45 ℃ 0
  • What is big data? Everything you need to know

    What is big data? Everything you need to know

    Every day human beings eat, sleep, work, play, and produce data—lots and lots of data. According to IBM, the human race generates 2.5 quintillion (25 billi...

    2017-09-06 itdadao 技术 41 ℃ 0
  • 深入理解 Ganglia 之 gmond

    深入理解 Ganglia 之 gmond

    gmond 是 ganglia 中最核心的组成部分,负责指标的采集、发送、收集等,这篇文章就来看看 gmond 的重要特性。
    1. 指标采集
    gmond 有两种重要功能:采集指标和收集指标。所...

    2017-09-03 itdadao 技术 49 ℃ 0
  • JARVIS: Helping LinkedIn Navigate its Source Code

    JARVIS: Helping LinkedIn Navigate its Source Code

    Codesearch is vital for any tech organization that operates at a large scale, and LinkedIn depends heavily on it. Engineers at LinkedIn use codesearch frequentl...

    2017-08-23 itdadao 技术 26 ℃ 0
  • 大数据中mapreduce的核心,shuffle的理解,以及在shuffle中的优化问题

    大数据中mapreduce的核心,shuffle的理解,以及在shuffle中的优化问题

    大数据中mapreduce的核心,shuffle的理解,以及在shuffle中的优化问题



    关于shuffle的过程图。
      
    一:概述shuffle
      Shuffle是mapreduce的核心,链接map与reduce的中间过程...

    2017-08-22 itdadao 技术 33 ℃ 0
  • hadoop2.7.2单机与伪分布式安装

    hadoop2.7.2单机与伪分布式安装

     

    环境相关
    系统:CentOS 6.8 64位
    jdk:1.7.0_79
    hadoop:hadoop 2.7.2

    配置SSH免密码登录

    #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 生成秘钥
    #cd ~/.ssh/
    id_dsa id...

    2017-08-21 itdadao 技术 25 ℃ 0
  • hbase添加大文件

    hbase添加大文件

    一直使用hbase作大容量存储,因为hbase易于存取。今天,在录入数据的时候,突然报出一个KeyValue size too large。很是奇怪。后来发现,该数据特别大,经查源码Java代码 private voi...

    2017-08-20 itdadao 技术 23 ℃ 0
  • 理解HDFS高可用性架构

    理解HDFS高可用性架构

    在Hadoop1.x版本的时候,Namenode存在着单点失效的问题。如果namenode失效了,那么所有的基于HDFS的客户端——包括MapReduce作业均无法读,写或列文件,因为namenode是唯一存储元数...

    2017-08-20 itdadao 技术 27 ℃ 0
  • HDFS知识点总结

    HDFS知识点总结

    学习完Hadoop权威指南有一段时间了,现在再回顾和总结一下HDFS的知识点。
    1、HDFS的设计
    HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问...

    2017-08-20 itdadao 技术 32 ℃ 0
  • Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04

    Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04

    前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题。以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助。...

    2017-08-18 itdadao 技术 22 ℃ 0
  • mapreduce的执行过程

    mapreduce的执行过程

    1.首先是map获取分片,分片的大小和分片规则取决于文件输入的格式,FileInputFormat是输入格式的一个基类,FileInputFormat下有几个重要的子类,分别是TextInputFormat,KeyValueText...

    2017-08-18 itdadao 技术 25 ℃ 0
  • Apache Kudu

    Apache Kudu

    Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache S...

    2017-08-18 itdadao 技术 23 ℃ 0
  • Hadoop入门(一)概念

    Hadoop入门(一)概念

    一、hadoop的概念
    (1)什么是大数据
      大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。

    (2)hadoop的定义...

    2017-08-18 itdadao 技术 17 ℃ 0
  • 一篇文章掌握Sql-On-Hadoop核心技术

    一篇文章掌握Sql-On-Hadoop核心技术

    1. SQL On Hadoop 分类
    1.1 查询延时分类
    AtScale 在 2016 年的一篇名为 [15]The Business Intelligence for Hadoop Benchmark 的 SQL On Hadoop 性能测评报告中指出:受...

    2017-08-18 itdadao 技术 31 ℃ 0
  • windows中eclipse调试hadoop

    windows中eclipse调试hadoop

      下载eclipse:https://www.eclipse.org/downloads/eclipse-packages
      下载hadoop eclipse插件:https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/releas...

    2017-08-17 itdadao 技术 36 ℃ 0
  • centoos 安装hadoop集群

    centoos 安装hadoop集群

      环境准备
      两台centoos系统服务器
      H30(192.168.3.238)
      H31(192.168.3.237)
      H30为master,H31为slave,slave后续还可以再加机器;
      先通过xshell 登录到H30...

    2017-08-17 itdadao 技术 28 ℃ 0
  • Spark:scala集合转化为DS/DF

    Spark:scala集合转化为DS/DF

    scala集合转化为DS/DF 1 case class TestPerson(name: String, age: Long, salary: Double) 2 val tom = TestPerson("Tom Hanks",37,35.5) 3 val sam = TestPerson("Sam Sm...

    2017-08-17 itdadao 技术 30 ℃ 0
  • Spark测试代码

    Spark测试代码

    测试代码: 1 import org.apache.spark.{SparkConf, SparkContext} 2 import org.apache.spark.sql.hive.HiveContext 3 4 /** 5 * Created by Administrator on 2017...

    2017-08-17 itdadao 技术 28 ℃ 0
  • sqoop的安装部署

    sqoop的安装部署

    1、在apache的官方网站上下载sqoop的安装包
    2、在linux的环境下
    解压:tar -zxvf sqoop-1.4.5.bin_hadoop-0.23.tar.gz

    3.解压完成后,需要设置两个环境变量
    ----直接指明hadoo...

    2017-08-17 itdadao 技术 19 ℃ 0
  • hive的数据导入

    hive的数据导入

    1、将data.txt的数据导入到t2表
    load data local inpath '/home/hadoop/training/data/input/data.txt' into table t2;
    2、将/home/hadoop/training/data/input/目录下的...

    2017-08-17 itdadao 技术 18 ℃ 0
 6747    1 2 3 4 5 6 7 8 9 10 下一页 尾页
标签列表