最新博客 - 朝如青丝暮成雪 - 2018年06月23日 hadoop(七)--hadoop中hbase的安装 (作者:朝如青丝暮成雪) 摘要:如题。 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不...... 发表于:2018-06-23 11:26:36 阅读(1041) 评论(0)
- 2018年06月23日 hadoop(六)--hadoop中hive的安装 (作者:朝如青丝暮成雪) 摘要:如题。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。。。(此处省略500字) 一、hive的安装 hive 官网 http://hive.apache.org/ （或者到国内著名镜像站下载亦可） http://mirr...... 发表于:2018-06-23 11:19:37 阅读(1035) 评论(0)
- 2018年06月23日 hadoop(五)--七节点HA集群搭建 (作者:朝如青丝暮成雪) 摘要:如题，搭建hadoop的HA集群。 hadoop的ha(High availability) 架构解决了hadoop中namenode可能存在的单点故障问题，两个namenode组成一个联邦，一个为active，另一个为standby状态。yarn集群的HA，则是需要两台resourcemanager机器，一个active一个standby。 一、环境准备 7台虚拟...... 发表于:2018-06-23 11:10:53 阅读(1047) 评论(0)
- 2018年06月23日 hadoop(四)--mapreduce流量统计案例 (作者:朝如青丝暮成雪) 摘要:mapreduce是hadoop的核心，除了简单地处理诸如字符串、数字等数据，我们也可以处理自定义的bean(实现hadoop的序列化接口) 本篇，我们再写个mapreduce的案例：统计手机用户上网流量的数据。 现有一些手机用户上网行为的数据 如下： HTTP_20130313143750.data 1363157985066 13726230503 00-FD-07-A...... 发表于:2018-06-23 10:24:57 阅读(1191) 评论(0)
- 2018年06月23日 hadoop(三)--mapreduce程序运行 (作者:朝如青丝暮成雪) 摘要:上篇，我们介绍了hadoop中hdfs文件系统，本篇我们继续学习下hadoop的另一大核心：mapreduce。 mapreduce是hadoop中首创的分布式运算框架，它极擅长离线的海量日志数据的分析，离线的批量任务处理。mapreduce将一个任务(job) 划分为两个阶段：map(映射)阶段和reduce(化简)阶段。 map(映射)阶段： 处理单个的、具体的一条一条的数据，可...... 发表于:2018-06-23 10:10:43 阅读(1106) 评论(0)
- 2018年06月23日 hadoop(二)--Hdfs文件系统 (作者:朝如青丝暮成雪) 摘要:上一篇，我们搭建了hadoop的集群环境(双节点) hadoop天生就是集群，哪怕只有一个节点也是个单节点的集群，在hadoop中底层默认使用了HDFS文件系统，mapreduce是基于HDFS文件系统上的运行模型（框架），而yarn是hadoop2.x版本后从mapreduce框架中分离出的资源调度框架，关于yarn框架我们后面再细说。 咳咳，现在回到正题。 在had...... 发表于:2018-06-23 09:55:53 阅读(1201) 评论(0)
-
2018年06月23日
hadoop(一)--双节点集群搭建
(作者:朝如青丝暮成雪)
摘要:一、环境准备
虚拟机：2台，centos6.5 x86_64系统
hadoopNode01 192.168.9.11
hadoopNode02 192.168.9.12
jdk：jdk-7u80-linux-x64.tar.gz (7系列的最后一个版本)
hadoop： hadoop-2.7.6.ta......
发表于:2018-06-23 09:45:29 阅读(1120) 评论(0)
- 2018年06月23日 spring中使用ftp连接池(ftpClientPool) (作者:朝如青丝暮成雪) 摘要:如题，我们在一些项目中可能会涉及到ftp上传、下载客户资料、附件。但是若每次上传或下载时都去创建一次ftp连接，上传( 下载)一个文件再关闭，则太耗费连接资源，这时候可以考虑使用连接池(就如同我们需要jdbc数据库连接池的道理一样) 笔者参考了网上的一些示例、技术文章，以及现有的apache commons-pool组件的代码等，自己封装了一套还算是比较完整的代码(此连接池底层依赖ap...... 发表于:2018-06-23 07:54:08 阅读(2159) 评论(0)
- 2018年05月06日 spring4整合elasticsearch5 (作者:朝如青丝暮成雪) 摘要:如题，在spring web工程中如何集成 elasticsearch 呢 ？ （参考github项目 : https://github.com/spring-projects/spring-data-elasticsearch） 一、spring.xml 中引入 spring-elasticsearch.xml <!-- spring-ela...... 发表于:2018-05-06 17:07:59 阅读(1272) 评论(0)
-
2018年04月30日
elasticsearch5中ik词库远程热加载
(作者:朝如青丝暮成雪)
摘要:如题，本篇我们介绍下如何让ES自动从远程服务器中获取最新的词库（热加载，无须重启服务）。
IK自定义词库是支持远程热加载的，配置起来也非常简单。
先看下官方的说明 ：
remote_ext_dict
该 http 请求需要返回两个头部(header)，一个是 Last-Modified，一个是 ETag，这两者都是字符串类型，只......
发表于:2018-04-30 19:04:09 阅读(1924) 评论(0)
博主信息
数据加载中,请稍候...
文章分类
数据加载中,请稍候...
阅读排行
数据加载中,请稍候...
评论排行
数据加载中,请稍候...
