hadoop一些问题记录

发布在 大数据

升级Hadoop后无法启动namenode

namenode 默认在/tmp下建立临时文件,但关机后,/tmp下文档自动删除,再次启动Master造成文件不匹配,所以namenode启动失败。
在core-site.xml中指定临时文件位置,然后清空该目录,再运行hadoop namenode -format重新格式化

1
2
3
4
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadooptemp</value>
<property>

value中的路径只要不是/tmp 就行。

阅读全文

hive笔记

发布在 大数据, hive

HIVE笔记

启动hive和内置derby:hive --service hiveserver2

测试连接:

  1. bin/beeline
  2. !connect jdbc:hive2://192.168.70.128:10000/test

停止hive:hive>exit;

一些重要的配置

  • hive-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    <description>password to use against metastore database</description>
    </property>
阅读全文

vim笔记

发布在 linux

vim常用命令记录

  • 查询: ?xxx
  • 查询上/下一个:N/n
  • 删除一行:连续输入dd
  • 撤销操作:u
  • 保存并退出:wq或x
  • 回退修改到某个时间点:earlier xxx。如earlier 1m:回退到一分钟前
  • 前进修改到某个时间点:later xxx
  • 跳转到上一个修改的位置:ctrl+o
  • 跳转到下一个修改的位置:ctrl+i 阅读全文
  • 第 1 页 共 1 页

忘语

热爱生活,享受code


一名虔诚的程序猿