翻译自elasticsearch官方文档，整理了java api和rest api的文档部分，仅仅是整理翻译，不是逐字逐句，某些遗漏部分请移步官方文档。

聚合

基础使用

1
2
3
4
5
6
7
8
9
10
11
12
13

SearchResponse sr = client.prepareSearch()
    .setQuery(QueryBuilders.matchAllQuery())
    .addAggregation(
            AggregationBuilders.terms("agg1").field("field")
    )
    .addAggregation(
            AggregationBuilders.dateHistogram("agg2")
                    .field("birth")
                    .interval(DateHistogramInterval.YEAR)
    )
    .execute().actionGet();
Terms agg1 = sr.getAggregations().get("agg1");
DateHistogram agg2 = sr.getAggregations().get("agg2");

elasticsearch版本 2.4.5

安装

• 下载es并解压

• 修改config目录下elasticsearch.yml文件

  1 2 3 4

  cluster.name: my-es node.name: node-1 network.host: 192.168.70.128 http.port: 9200

• 在elasticsearch根目录下创建data目录

elasticsearch不允许使用root账户启动，需要添加一个新账户

1
2
3
4
5
6

useradd esroot #创建用户
passwd esroot #设置密码，连续输入两次
groupadd es #添加分组
usermod -G esroot es #如果报用户“es”不存在，是因为服务器版本问题，改成usermod -G es esroot
chown -R esroot.es * #在elasticsearch根目录下执行，给用户赋权
su esroot #切换用户

升级Hadoop后无法启动namenode

namenode 默认在/tmp下建立临时文件，但关机后，/tmp下文档自动删除，再次启动Master造成文件不匹配，所以namenode启动失败。
在core-site.xml中指定临时文件位置，然后清空该目录，再运行hadoop namenode -format重新格式化

1
2
3
4

<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/hadooptemp</value>
<property>

value中的路径只要不是/tmp 就行。

HIVE笔记

启动hive和内置derby：hive --service hiveserver2

测试连接：

1. bin/beeline
2. !connect jdbc:hive2://192.168.70.128:10000/test

停止hive:hive>exit;

一些重要的配置

• hive-site.xml

  1 2 3 4 5 6 7 8 9 10

  <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>Username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property>

vim常用命令记录

• 查询： ?xxx
• 查询上/下一个：N/n
• 删除一行：连续输入dd
• 撤销操作：u
• 保存并退出：wq或x
• 回退修改到某个时间点：earlier xxx。如earlier 1m：回退到一分钟前
• 前进修改到某个时间点：later xxx
• 跳转到上一个修改的位置：ctrl+o
• 跳转到下一个修改的位置:ctrl+i 阅读全文

oracle导出数据到hdfs，oracle导出数据到hbase的基本使用方法
阅读全文

记录hbase的基本概念、命令和操作

HBase 笔记

启动

• bin/start-hbase.sh

  Shell 命令

  进入shell：hbase shell

  通用命令

• status: 提供HBase的状态，例如，服务器的数量
• version: 提供正在使用HBase版本
• table_help: 表的一些命令帮助
• whoami: 提供有关用户的信息

只接受回调函数作为参数的单参数函数叫做 Thunk 函数。
Thunk 函数可以用于 Generator 函数的自动流程管理。使Generator 函数可以自动执行
阅读全文

记录一些sui使用过程中遇到的一些问题