最新博客 - 朝如青丝暮成雪
  • 2018年06月23日 hadoop(七)--hadoop中hbase的安装   (作者:朝如青丝暮成雪) 摘要:如题。 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不...... 发表于:2018-06-23 11:26:36 阅读(1041) 评论(0)

  • 2018年06月23日 hadoop(六)--hadoop中hive的安装   (作者:朝如青丝暮成雪) 摘要:如题。 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。。。(此处省略500字) 一、hive的安装 hive 官网 http://hive.apache.org/ (或者到国内著名镜像站下载亦可) http://mirr...... 发表于:2018-06-23 11:19:37 阅读(1035) 评论(0)

  • 2018年06月23日 hadoop(五)--七节点HA集群搭建   (作者:朝如青丝暮成雪) 摘要:如题,搭建hadoop的HA集群。 hadoop的ha(High availability) 架构解决了hadoop中namenode可能存在的单点故障问题,两个namenode组成一个联邦,一个为active,另一个为standby状态。yarn集群的HA,则是需要两台resourcemanager机器,一个active一个standby。 一、环境准备 7台虚拟...... 发表于:2018-06-23 11:10:53 阅读(1047) 评论(0)

  • 2018年06月23日 hadoop(四)--mapreduce流量统计案例   (作者:朝如青丝暮成雪) 摘要:mapreduce是hadoop的核心,除了简单地处理诸如字符串、数字等数据,我们也可以处理自定义的bean(实现hadoop的序列化接口) 本篇,我们再写个mapreduce的案例:统计手机用户上网流量的数据。 现有一些手机用户上网行为的数据 如下: HTTP_20130313143750.data 1363157985066 13726230503 00-FD-07-A...... 发表于:2018-06-23 10:24:57 阅读(1191) 评论(0)

  • 2018年06月23日 hadoop(三)--mapreduce程序运行   (作者:朝如青丝暮成雪) 摘要:上篇,我们介绍了hadoop中hdfs文件系统,本篇我们继续学习下hadoop的另一大核心:mapreduce。 mapreduce是hadoop中首创的分布式运算框架,它极擅长离线的海量日志数据的分析,离线的批量任务处理。mapreduce将一个任务(job) 划分为两个阶段:map(映射)阶段和reduce(化简)阶段。 map(映射)阶段: 处理单个的、具体的一条一条的数据,可...... 发表于:2018-06-23 10:10:43 阅读(1106) 评论(0)

  • 2018年06月23日 hadoop(二)--Hdfs文件系统   (作者:朝如青丝暮成雪) 摘要:上一篇,我们搭建了hadoop的集群环境(双节点) hadoop天生就是集群,哪怕只有一个节点也是个单节点的集群,在hadoop中底层默认使用了HDFS文件系统,mapreduce是基于HDFS文件系统上的运行模型(框架),而yarn是hadoop2.x版本后从mapreduce框架中分离出的资源调度框架,关于yarn框架我们后面再细说。 咳咳,现在回到正题。 在had...... 发表于:2018-06-23 09:55:53 阅读(1201) 评论(0)

  • 2018年06月23日 hadoop(一)--双节点集群搭建   (作者:朝如青丝暮成雪) 摘要:一、环境准备 虚拟机:2台,centos6.5 x86_64系统 hadoopNode01 192.168.9.11 hadoopNode02 192.168.9.12 jdk:jdk-7u80-linux-x64.tar.gz (7系列的最后一个版本) hadoop: hadoop-2.7.6.ta......       发表于:2018-06-23 09:45:29 阅读(1120) 评论(0)

  • 2018年06月23日 spring中使用ftp连接池(ftpClientPool)   (作者:朝如青丝暮成雪) 摘要:如题,我们在一些项目中可能会涉及到ftp上传、下载客户资料、附件。但是若每次上传或下载时都去创建一次ftp连接,上传( 下载)一个文件再关闭,则太耗费连接资源,这时候可以考虑使用连接池(就如同我们需要jdbc数据库连接池的道理一样) 笔者参考了网上的一些示例、技术文章,以及现有的apache commons-pool组件的代码等,自己封装了一套还算是比较完整的代码(此连接池底层依赖ap...... 发表于:2018-06-23 07:54:08 阅读(2159) 评论(0)

  • 2018年05月06日 spring4整合elasticsearch5   (作者:朝如青丝暮成雪) 摘要:如题,在spring web工程中如何集成 elasticsearch 呢 ? (参考github项目 : https://github.com/spring-projects/spring-data-elasticsearch) 一、spring.xml 中引入 spring-elasticsearch.xml <!-- spring-ela...... 发表于:2018-05-06 17:07:59 阅读(1272) 评论(0)

  • 2018年04月30日 elasticsearch5中ik词库远程热加载   (作者:朝如青丝暮成雪) 摘要:如题,本篇我们介绍下如何让ES自动从远程服务器中获取最新的词库(热加载,无须重启服务)。 IK自定义词库是支持远程热加载的,配置起来也非常简单。 先看下官方的说明 : remote_ext_dict 该 http 请求需要返回两个头部(header),一个是 Last-Modified,一个是 ETag,这两者都是字符串类型,只......     发表于:2018-04-30 19:04:09 阅读(1924) 评论(0)

博主信息
   
数据加载中,请稍候...
文章分类
   
数据加载中,请稍候...
阅读排行
 
数据加载中,请稍候...
评论排行
 
数据加载中,请稍候...

Copyright © 叮叮声的奶酪 版权所有
备案号:鄂ICP备17018671号-1

鄂公网安备 42011102000739号