Hue
Hue中执行“hive sql”时提示Fetching results ran into the following error(s): Couldn't find log associated with operation handle: OperationHandler
首先确认master2节点上的 “/tmp/hadoop/operation_logs/” 目录是否存在,是否有过删除或修改了权限; 此地址是存hive客户端的log地址,上述操作会导致hiveserver2写log失败,可通过在master2上执行 “service hive-server2 restart” 重启hive-server2服务进行解决。
Hue密码忘记了怎么办?
Hue默认密码是hadoop/hadoop或者hue/hue,一般第一次登录会强制设置密码。
Hue页面默认不支持密码重置,可以通过到master1节点登录hue所在数据库,修改数据库中加密后字符串
这里举例将hadoop用户密码变更为“hadoop”
a)登录集群master1节点
b)shell中执行
mysql
c)执行
update hue.auth_user set password="pbkdf2_sha256undefinedundefinedundefined/JXvNydvPxFlquyrbWWF2FmtXkrBCOUUA=" where username='hadoop';
(上面sql中password是“hadoop”加密后的字符串)
Hue怎么连接Spark;Hue首页显示“The app won't work without a running Livy Spark Server”,怎么处理?
Hue3.8.1有独立的Spark模块,而在Hue3.10.0中集成到notebook模块里面
Hue上执行Spark任务依赖livyserver,默认已配置,但需要手动开启
开启方法:
登录master1节点执行
cp /home/hadoop/hue/dependentpackages/livyserver /etc/init.d/ chmod u+x /etc/init.d/livyserver echo "LivyServer##livyserver" >> /etc/default/process sed -i "s/$/#LivyServer#livy/g" /etc/default/services
在Hue页面提交任务后,master节点上有多个LivyServer进程不退出怎么办?
LivyServer在用spark集群模式的时候,提交任务后新开窗口不会自行终止。目前只能手动kill。 可以将下面的脚本放到/etc/cron.hourly下面并赋予可执行权限,自动清理一小时前启动的spark提交进程。
#!/bin/bash ppid=`ps axu | grep livy.server.port | grep -v "grep" | awk '{ print undefined}'` pids=`ps -elf | grep -v "grep" | grep undefined | awk '{print \undefined}'` NOW=`date +"%s"` echo now undefined for i in undefined do if [ undefined -ne undefined ] then echo undefined JIFFIES=`cat /proc/${i}/stat | cut -d" " -f22` UPTIME=`grep btime /proc/stat | cut -d" " -f2` START_SEC=$(( undefined + undefined / $(getconf CLK_TCK))) LAST=$(( undefined - undefined)) if [ undefined -gt 3600 ] then echo undefined last undefined kill -9 undefined fi fi done