设置JDK环境变量

设置JDK的环境变量

1
2
3
4
export JAVA_HOME=/opt/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

编程

airflow配置

修改数据库为mysql

1
sql_alchemy_conn = mysql://root:123@localhost:3066/airflow?charset=utf8

修改celery的broker为redis

1
2
3
broker_url = redis://localhost:6379/0
# rabbitmq: amqp://guest:guest@localhost:5672//
celery_result_backend =  redis://localhost:6379/0

添加user

1
2
3
4
5
6
7
8
9
10
11
12
import airflow
from airflow import models, settings
from airflow.contrib.auth.backends.password_auth import PasswordUser
user = PasswordUser(models.User())
user.username = 'test_user'
user.email = 'test_user@example.com'
user.password = 'test_user'
session = settings.Session()
session.add(user)
session.commit()
session.close()
exit()
编程

windows挂载ubuntu的nfs盘

安装Ubuntu nfs

1
sudo apt-get install nfs-kernel-server

配置/etc/exports

允许挂载的目录及权限在文件/etc/exports中进行定义。

1
2
3
4
5
6
7
8
9
10

# 例如要共享目录/var/www，需要在/etc/exports文件末尾添加如下一行
/var/www *(rw,sync,no_root_squash)
 
# /var/www是要共享的目录
# *代表允许所有的网络段访问
# rw是可读写权限
# sync是资料同步写入内存和硬盘
# no_root_squash是Ubuntu nfs客户端分享目录使用者的权限,
#    如果客户端使用的是root用户，那么对于该共享目录而言，该客户端就具有root权限

编程

more >>

virtualbox允许在共享文件夹创建软连接

在virtualbox的共享文件夹中创建软连接会提示错误：

1
cannot create symbolic link

原因：VirtualBox从安全角度出发，限制了软链接的创建，需要打开相应的Feature。

1
2
3
4
5
6
VBoxManage setextradata YOURVMNAME VBoxInternal2/SharedFoldersEnableSymlinksCreate/YOURSHAREFOLDERNAME 1  
# YOURVMNAME为虚拟机中ubuntu系统的名称
# YOURSHAREFOLDERNAME 为共享的目录名称
 
# 例如：
C:\Program Files\Oracle\VirtualBox\VBoxManage setextradata ubuntu1404 VBoxInternal2/SharedFoldersEnableSymlinksCreate/share 1

设置完毕以管理者身份运行VirtualBox即可。

编程

rabbitmq安装

安装

1
2
3
yum install erlang
rpm --import https://www.rabbitmq.com/rabbitmq-signing-key-public.asc
yum install rabbitmq-server

添加hostname

1
2
3
vim /etc/hosts
# 添加一行：
127.0.0.1 rabbitmq-server

常用命令

1
2
3
4
5
6
7
8
# 启动：
service rabbitmq-server start
# 停止：
service rabbitmq-server stop
# 重启：
service rabbitmq-server restart
# 设置开机启动：
chkconfig rabbitmq-server on
编程

more >>

zookeeper

客户端连接

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
bin/zkCli.sh -server 127.0.0.1:2181
 
# 创建节点，其中"-s"表示创建一个"有序"节点,"-e"表示创建一个临时节点.默认为持久性节点
create [-s] [-e] /path data acl
# 获取节点数据
get /path
# 查看子节点列表
ls /path
# 设置节点值
set path data [version]
# 删除节点
delete /path [version]
# 删除节点，及其子节点
rmr path
# 设置ACL
setAcl path acl
# 添加授权信息
addauth schema auth
编程