大数据组件功能（大数据组件常用命令）
个人博客：https://chunyu.work/文章非原创 内容来源于微信公众号 「大数据左右手」，我来为大家科普一下关于大数据组件功能?下面希望有你要的答案，我们一起来看看吧!
大数据组件功能
个人博客：https://chunyu.work/
文章非原创 内容来源于微信公众号 「大数据左右手」
Linux1. vi/vim一般模式|
语法 |
功能描述 |
|
yy |
复制光标当前一行 |
|
y数字y |
复制一段（从第几行到第几行） |
|
p |
箭头移动到目的行粘贴 |
|
u |
撤销上一步 |
|
dd |
删除光标当前行 |
|
d数字d |
删除光标（含）后多少行 |
|
x |
删除一个字母，相当于del |
|
X |
删除一个字母，相当于Backspace |
|
yw |
复制一个词 |
|
dw |
删除一个词 |
|
shift ^ |
移动到行头 |
|
shift $ |
移动到行尾 |
|
1 shift g |
移动到页头，数字 |
|
shift g |
移动到页尾 |
|
数字N shift g |
移动到目标行 |
|
按键 |
功能 |
|
i |
当前光标前 |
|
a |
当前光标后 |
|
o |
当前光标行的下一行 |
|
I |
光标所在行最前 |
|
A |
光标所在行最后 |
|
O |
当前光标行的上一行 |
|
命令 |
功能 |
|
:w |
保存 |
|
:q |
退出 |
|
:! |
强制执行 |
|
/要查找的词 |
n 查找下一个，N 往上查找 |
|
? 要查找的词 |
n是查找上一个，shift n是往下查找 |
|
:set nu |
显示行号 |
|
:set nonu |
关闭行号 |
RPM查询命令：rpm -qa |grep firefox
RPM卸载命令：
rpm -e xxxxxx
rpm -e --nodeps xxxxxx（不检查依赖）
RPM安装命令：
rpm -ivh xxxxxx.rpm
rpm -ivh --nodeps fxxxxxx.rpm（--nodeps，不检测依赖进度）
|
选项 |
功能 |
|
-i |
-i=install，安装 |
|
-v |
-v=verbose，显示详细信息 |
|
-h |
-h=hash，进度条 |
|
--nodeps |
--nodeps，不检测依赖进度 |
|
命令 |
描述 |
|
sudo useradd lilei |
添加用户 (不能被立即使用，需设置密码 sudo passwd lilei) |
|
sudo adduser lilei |
添加用户 |
|
login |
登录或切换用户 |
|
logout |
注销用户（命令行） exit(Shell-退出控制台) |
|
shutdown -h 10 |
10分钟后自动关机 shutdown -c //取消 |
|
halt(root用户) |
关闭所有进程后自动关机 |
|
poweroff |
同上 |
|
shutdown -r 10 |
十分钟后自动重启 |
|
init 6 |
重启 （0-停机，1-单用户，2-多用户，3-完全多用户，4-图形化，5-安全模式，6-重启） |
|
reboot |
重启 |
|
命令 |
描述 |
|
cat > myFile |
创建文件并编辑内容（ctrl D结束编辑） |
|
cat -n myfile |
查看文件 |
|
chmod [u/g/o/a][ /-/=][r/w/x] myfile |
更改文件权限 u-user,g-group,o-others,a-all . -添加,--删除,=-重置 .r-read读（4），w-write写（2），x-execute执行（1） |
|
more myfile |
分页往后显示文件（Space空格） |
|
less myfile |
分页自由显示文件（Page Down / Page Up） |
|
head (-10) myfile |
指定显示文件前若干行（默认前10） |
|
tail (-10) myfile |
指定显示文件后若干行（默认后10） |
|
命令 |
描述 |
|
sort myfile |
对文件内容进行排序 |
|
sort -r myfile |
逆序 |
|
uniq myfile |
检查文件中的重复内容 |
|
grep （-c）‘a’ myfile |
在文件中查找指定内容 (显示行号) |
|
diff myfile01 myfile02 |
对不同文件进行比较 |
|
diff3 myfile01 myfile02 myfile03 |
三个文件 |
|
sdiff myfile01 myfile02 |
合并 |
|
cmp myfile01 myfile02 |
通过字节对不同文件进行比较 |
|
omm myfile01 myfile02 |
对有序文件进行比较 |
|
cut -b(-c)(-d) 2(3) myfile |
对文件内容进行剪切 |
|
paste myfile02 myfile01 |
对文件内容进行粘贴 02-）01 |
|
wc （-参数） myfile |
对文件内容进行统计 （c-字符数,w-单词数,l-行数） |
|
命令 |
描述 |
|
find / -name file1 |
从 '/' 开始进入根文件系统搜索文件和目录 |
|
find / -user user1 |
搜索属于用户 'user1' 的文件和目录 |
|
find /home/user1 -name *.bin |
在目录 '/ home/user1' 中搜索带有'.bin' 结尾的文件 |
|
find /usr/bin -type f -atime 100 |
搜索在过去100天内未被使用过的执行文件 |
|
find /usr/bin -type f -mtime -10 |
搜索在10天内被创建或者修改过的文件 |
|
find / -name *.rpm -exec chmod 755 '{}' |
搜索以 '.rpm' 结尾的文件并定义其权限 ^ |
|
find /tmp -name *.hprof -exec rm -f {} |
批量删除java堆栈.hprof文件 |
|
find / -xdev -name *.rpm |
搜索以 '.rpm' 结尾的文件，忽略光驱、捷盘等可移动设备 |
|
locate *.ps |
寻找以 '.ps' 结尾的文件 - 先运行 'updatedb' 命令 |
|
whereis halt |
显示一个二进制文件、源码或man的位置 |
|
which halt |
显示一个二进制文件或可执行文件的完整路径 |
|
grep -rn "query_string" * |
Linux目录下全局查找所有文件中是否包含指定字符串（-r：递归；-n：显示行号） |
|
命令 |
描述 |
|
zip myfile.zip myfile |
压缩 |
|
zip -d myfile.zip myfile |
添加 |
|
zip -m myfile.zip myfile |
删除 |
|
unzip -o myfile.zip |
解压（覆盖） |
|
unzip -n myfile.zip |
解压（不覆盖） |
|
zipinfo myfile.zip |
列出压缩文件信息 |
|
命令 |
描述 |
|
df -h |
显示已经挂载的分区列表 |
|
ls -lSr |more |
以尺寸大小排列文件和目录 |
|
du -sh dir1 |
估算目录 'dir1' 已经使用的磁盘空间' |
|
du -sk * | sort -rn |
以容量大小为依据依次显示文件和目录的大小 |
|
命令 |
描述 |
|
top -d 20 -p 1303 |
将进程号1303的系统负载，每隔20秒刷新一次 |
|
top -d 20 -n 3 -b > test.txt |
每隔20秒，一共执行3次， 将统计结果导入到test.txt文件中。 |
|
命令 |
功能说明 |
|
command > file |
将输出重定向到 file |
|
command < file |
将输入重定向到 file |
|
command >> file |
将输出以追加的方式重定向到 file |
|
n > file |
将文件描述符为 n 的文件重定向到 file |
|
n >> file |
将文件描述符为 n 的文件以追加的方式重定向到 file |
|
n >& m |
将输出文件 m 和 n 合并 |
|
n <& m |
将输入文件 m 和 n 合并 |
|
<< tag |
将开始标记 tag 和结束标记 tag 之间的内容作为输入 |
|
快捷方式 |
功能说明 |
|
shift |
参数左移 |
|
$@ |
所有的参数 |
|
$# |
参数的个数 |
Git基本命令
|
命令 |
说明 |
|
git init |
初始化仓库 |
|
git clone |
拷贝一份远程仓库，也就是下载一个项目 |
|
git add |
添加文件到暂存区 |
|
git status |
查看仓库当前的状态，显示有变更的文件 |
|
git diff |
比较文件的不同，即暂存区和工作区的差异 |
|
git commit |
提交暂存区到本地仓库 |
|
git reset |
回退版本 |
|
git rm |
删除工作区文件 |
|
git mv |
移动或重命名工作区文件 |
|
git log |
查看历史提交记录 |
|
git blame |
以列表形式查看指定文件的历史修改记录 |
|
git remote |
远程仓库操作 |
|
git fetch |
从远程获取代码库 |
|
git pull |
下载远程代码并合并 |
|
git push |
上传远程代码并合并 |
|
命令 |
说明 |
|
git branch |
列出分支 |
|
git branch (branchname) |
创建分支命令 |
|
git branch -d (branchname) |
删除分支 |
|
git checkout (branchname) |
切换分支 |
|
git merge |
合并分支 |
Hadoop启动类命令
|
功能说明 |
命令脚本 |
|
启动hdfs集群 |
sbin/start-dfs.sh |
|
启动yarn |
sbin/start-yarn.sh |
|
功能说明 |
命令 |
|
创建目录 |
hdfs dfs -mkdir -p /data/flink |
|
显示目录 |
hdfs dfs -ls / |
|
从HDFS拷贝到本地 |
hdfs dfs -copyToLocal /data/data.txt ./ |
|
文件上传到集群(从本地) |
hhdfs dfs -copyFromLocal data.txt / |
|
文件下载 |
hdfs dfs -get /data/flink |
|
删除集群的文件 |
hdfs dfs -rm /data/flink |
|
删除文件夹 |
hdfs dfs -rm -r -skipTrash /data |
|
从本地剪切粘贴到HDFS |
hdfs dfs -moveFromLocal data.txt /data/ |
|
追加一个文件到已经存在的文件末尾hdfs dfs -appendToFile data1.txt /data/data.txt | |
|
显示文件内容 |
hdfs dfs -cat data.txt |
|
修改文件所属权限 |
hdfs dfs -chmod 777 xxx.sh |
|
修改文件所属用户组 |
hdfs dfs -chown root:root data.txt |
|
从HDFS的一个路径拷贝到HDFS的另一个路径 |
hdfs dfs -cp data.txt /data1.txt |
|
在HDFS目录中移动文件 |
hdfs dfs -mv data.txt /opt/ |
|
合并下载多个文件 |
hdfs dfs -getmerge /data/* ./data_merge.txt |
|
hadoop fs -put |
等同于copyFromLocal |
|
显示一个文件的末尾 |
hdfs dfs -tail data.txt |
|
删除文件或文件夹 |
hdfs dfs -rm /data/data.txt |
|
删除空目录 |
hdfs dfs -rmdir /data |
|
统计文件夹的大小信息 |
hdfs dfs -s -h /data |
|
统计文件夹下的文件大小信息 |
hdfs dfs -h /data |
|
设置HDFS中文件的副本数量 |
hdfs dfs -setrep 3 /data/data.txt |
|
功能说明 |
命令 |
|
查看正在运行的yarn任务列表 |
yarn application -list appID |
|
kill掉指定id的yarn任务 |
yarn application -kill appID |
|
查看任务日志信息 |
yarn logs -applicationId appID |
Zookeeper启动命令
|
功能说明 |
命令脚本 |
|
启动zookeeper服务 |
zkServer.sh start |
|
查看zookeeper状态 |
zkServer.sh status |
|
停止zookeeper服务 |
zkServer.sh stop |
|
启动zookeeper客户端 |
zkCli.sh -server 127.0.0.1:2181 |
|
退出zookeeper客户端 |
quit |
|
功能说明 |
命令脚本 |
|
当前znode中所包含的内容 |
ls / |
|
创建普通节点(前面是节点的路径，后面是值） |
create /bigdata/flink "flink" |
|
获取节点的值 |
get /bigdata |
|
修改节点的值 |
set /bigdata/flink "flinksql" |
|
删除节点 |
delete /bigdata/flink |
|
递归删除节点 |
rmr /bigdata |
|
命令 |
功能说明 |
例子 |
|
conf |
zk服务配置的详细信息 |
echo conf | nc 127.0.0.1 2181 |
|
stat |
客户端与zk连接的简要信息 |
参考上面 |
|
srvr |
zk服务的详细信息 |
参考上面 |
|
cons |
客户端与zk连接的详细信息 |
参考上面 |
|
mntr |
zk服务目前的性能状况 |
参考上面 |
|
crst |
重置当前的所有连接、会话 |
参考上面 |
|
dump |
列出未经处理的会话和连接信息 |
参考上面 |
|
envi |
列出zk的版本信息、主机名称、Java版本、服务器名称等等 |
参考上面 |
|
ruok |
测试服务器是否正在运行，如果在运行返回imok，否则返回空 |
参考上面 |
|
srst |
重置Zookeeper的所有统计信息 |
参考上面 |
|
wchs |
列出watch的总数，连接数 |
参考上面 |
|
wchp |
列出所有watch的路径及sessionID |
参考上面 |
|
mntr |
列出集群的关键性能数据，包括zk的版本、node数量、临时节点数等等 |
参考上面 |
Kafka
注: 这里机器我只写一个。命令你们也可使用 ./bin/xx.sh (如：./bin/kafka-topics.sh)
查看当前服务器中的所有topic
kafka-topics --zookeeper xxxxxx:2181 --list --exclude-internal
说明：
exclude-internal：排除kafka内部topic
比如： --exclude-internal --topic "test_.*"
kafka-topics --zookeeper xxxxxx:2181 --create
--replication-factor
--partitions 1
--topic topic_name
说明：
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数
注意: 需要server.properties中设置delete.topic.enable=true否则只是标记删除
kafka-topics --zookeeper xxxxxx:2181 --delete --topic topic_name
kafka-console-producer --broker-list xxxxxx:9092 --topic topic_name
可加：--property parse.key=true（有key消息）
kafka-console-consumer --bootstrap-server xxxxxx:9092 --topic topic_name
注：可选
--from-beginning：会把主题中以往所有的数据都读取出来
--whitelist '.*' ：消费所有的topic
--property print.key=true：显示key进行消费
--partition 0：指定分区消费
--offset：指定起始偏移量消费
kafka-topics --zookeeper xxxxxx:2181 --describe --topic topic_name
kafka-topics --zookeeper xxxxxx:2181 --alter --topic topic_name --partitions 6
kafka-consumer-groups --bootstrap-server xxxxxx:9092 --describe --group group_name
kafka-consumer-groups --bootstrap-server xxxxxx:9092 ---delete --group group_name
kafka-consumer-groups --bootstrap-server xxxxxx:9092 --group group_name
--reset-offsets --all-topics --to-latest --execute
指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举
kafka-leader-election --bootstrap-server xxxxxx:9092
--topic topic_name --election-type PREFERRED --partition 0
所有Topic所有分区用重新PREFERRED：优先副本策略 进行Leader重选举
kafka-leader-election --bootstrap-server xxxxxx:9092
--election-type preferred --all-topic-partitions
kafka-configs --bootstrap-server xxxxxx:9092 --describe --version
|
功能说明 |
参数 |
|
选择类型 |
--entity-type (topics/clients/users/brokers/broker- loggers) |
|
类型名称 |
--entity-name |
|
删除配置 |
--delete-config k1=v1,k2=v2 |
|
添加/修改配置 |
--add-config k1,k2 |
topic添加/修改动态配置
kafka-configs --bootstrap-server xxxxxx:9092
--alter --entity-type topics --entity-name topic_name
--add-config file.delete.delay.ms=222222,retention.ms=999999
topic删除动态配置
kafka-configs --bootstrap-server xxxxxx:9092
--alter --entity-type topics --entity-name topic_name
--delete-config file.delete.delay.ms,retention.ms
单次最大消费10条消息(不加参数意为持续消费)
kafka-verifiable-consumer --bootstrap-server xxxxxx:9092
--group group_name
--topic topic_name --max-messages 10
删除指定topic的某个分区的消息删除至offset为1024
json文件offset-json-file.json
{
"partitions": [
{
"topic": "topic_name",
"partition": 0,
"offset": 1024
}
],
"version": 1
}
kafka-delete-records --bootstrap-server xxxxxx:9092
--offset-json-file offset-json-file.json
查询指定topic磁盘信息
kafka-log-dirs --bootstrap-server xxxxxx:9090
--describe --topic-list topic1,topic2
查询指定Broker磁盘信息
kafka-log-dirs --bootstrap-server xxxxxx:9090
--describe --topic-list topic1 --broker-list 0
|
功能说明 |
命令 |
|
启动hiveserver2服务 |
bin/hiveserver2 |
|
启动beeline |
bin/beeline |
|
连接hiveserver2 |
beeline> !connect jdbc:hive2://hadoop102:10000 |
|
metastroe服务 |
bin/hive --service metastore |
hive 启动元数据服务（metastore和hiveserver2）和优雅关闭脚本
启动： hive.sh start
关闭： hive.sh stop
重启： hive.sh restart
状态： hive.sh status
脚本如下
#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
mkdir -p $HIVE_LOG_DIR
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
echo $pid
[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
metapid=$(check_process HiveMetastore 9083)
cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
cmd=$cmd" sleep4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
[ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
server2pid=$(check_process HiveServer2 10000)
cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}
function hive_stop()
{
metapid=$(check_process HiveMetastore 9083)
[ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
server2pid=$(check_process HiveServer2 10000)
[ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}
case $1 in
"start")
hive_start
;;
"stop")
hive_stop
;;
"restart")
hive_stop
sleep 2
hive_start
;;
"status")
check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
;;
*)
echo Invalid Args!
echo 'Usage: '$(basename $0)' start|stop|restart|status'
;;
esac
|
功能说明 |
命令 |
|
不进入hive的交互窗口执行sql |
bin/hive -e "sql语句" |
|
执行脚本中sql语句 |
bin/hive -f hive.sql |
|
退出hive窗口 |
exit 或 quit |
|
命令窗口中查看hdfs文件系统 |
dfs -ls / |
|
命令窗口中查看hdfs文件系统 |
! ls /data/h |
|
说明 |
语句 |
|
查看hive中的所有数据库 |
show databases |
|
用default数据库 |
use default |
|
查询表结构 |
desc table_name |
|
查看数据库 |
show databases |
|
重命名表名 |
alter table table1 rename to table2 |
|
修改表中字段 |
alter table table_name change name user_name String |
|
修改字段类型 |
alter table table_name change salary salary Double |
|
创建外部表 |
create external table .... |
|
查询外部表信息 |
desc formatted outsidetable |
|
创建视图 |
create view view_name as select * from table_name ..... |
|
添加数据 |
load data local inpath 'xxx' overwrite into table table_name partition(day='2021-12-01') |
（1） NVL
给值为NULL的数据赋值，它的格式是NVL( value，default_value)。它的功能是如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个参数都为NULL ，则返回NULL
select nvl(column, 0) from xxx；
（2）行转列
|
函数 |
描述 |
|
CONCAT(string A/col, string B/col…) |
返回输入字符串连接后的结果，支持任意个输入字符串 |
|
CONCAT_WS(separator, str1, str2,...) |
第一个参数参数间的分隔符，如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间。 |
|
COLLECT_SET(col) |
将某字段的值进行去重汇总，产生array类型字段 |
|
COLLECT_LIST(col) |
函数只接受基本数据类型，它的主要作用是将某字段的值进行不去重汇总，产生array类型字段。 |
（3）列转行(一列转多行)
Split(str, separator)： 将字符串按照后面的分隔符切割，转换成字符array。
EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。
LATERAL VIEW
用法：
LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释：lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。
准备数据源测试
|
movie |
category |
|
《功勋》 |
记录,剧情 |
|
《战狼2》 |
战争,动作,灾难 |
SQL
SELECT movie,category_name
FROM movie_info
lateral VIEW
explode(split(category,",")) movie_info_tmp AS category_name ;
测试结果
《功勋》 记录
《功勋》 剧情
《战狼2》 战争
《战狼2》 动作
《战狼2》 灾难
（1）OVER()
定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。
（2）CURRENT ROW（当前行）
n PRECEDING：往前n行数据
n FOLLOWING：往后n行数据
（3）UNBOUNDED（无边界）
UNBOUNDED PRECEDING 前无边界，表示从前面的起点
UNBOUNDED FOLLOWING后无边界，表示到后面的终点
SQL案例：由起点到当前行的聚合
select
sum(money) over(partition by user_id order by pay_time rows between UNBOUNDED PRECEDING and current row)
from or_order;
SQL案例：当前行和前面一行做聚合
select
sum(money) over(partition by user_id order by pay_time rows between 1 PRECEDING and current row)
from or_order;
SQL案例：当前行和前面一行和后一行做聚合
select
sum(money) over(partition by user_id order by pay_time rows between 1 PRECEDING AND 1 FOLLOWING )
from or_order;
SQL案例：当前行及后面所有行
select
sum(money) over(partition by user_id order by pay_time rows between current row and UNBOUNDED FOLLOWING )
from or_order;
（4）LAG(col,n,default_val)
往前第n行数据，没有的话default_val
（5）LEAD(col,n, default_val)
往后第n行数据，没有的话default_val
SQL案例：查询用户购买明细以及上次的购买时间和下次购买时间
select
user_id,,pay_time,money,
lag(pay_time,1,'1970-01-01') over(PARTITION by name order by pay_time) prev_time,
lead(pay_time,1,'1970-01-01') over(PARTITION by name order by pay_time) next_time
from or_order;
（6）FIRST_VALUE(col,true/false)
当前窗口下的第一个值，第二个参数为true，跳过空值。
（7）LAST_VALUE (col,true/false)
当前窗口下的最后一个值，第二个参数为true，跳过空值。
SQL案例：查询用户每个月第一次的购买时间 和 每个月的最后一次购买时间
select
FIRST_VALUE(pay_time)
over(
partition by user_id,month(pay_time) order by pay_time
rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING
) first_time,
LAST_VALUE(pay_time)
over(partition by user_id,month(pay_time) order by pay_time rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING
) last_time
from or_order;
（8）NTILE(n)
把有序窗口的行分发到指定数据的组中，各个组有编号，编号从1开始，对于每一行，NTILE返回此行所属的组的编号。（用于将分组数据按照顺序切分成n片，返回当前切片值）
SQL案例：查询前25%时间的订单信息
select * from (
select User_id,pay_time,money,
ntile(4) over(order by pay_time) sorted
from or_order
) t
where sorted = 1;
（1）Order By
全局排序，只有一个Reducer。
（2）Sort By
分区内有序。
（3）Distrbute By
类似MR中Partition，进行分区，结合sort by使用。
（4） Cluster By
当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。
在生产环境中Order By用的比较少，容易导致OOM。
在生产环境中Sort By Distrbute By用的多。
排序函数（1）RANK()
排序相同时会重复，总数不会变
1
1
3
3
5
（2）DENSE_RANK()
排序相同时会重复，总数会减少
1
1
2
2
3
（3）ROW_NUMBER()
会根据顺序计算
1
2
3
4
5
|
符号 |
功能 |
|
/ |
做为转义，即通常在“/”后面的字符不按原来意义解释，如/b/匹配字符“b”,当b前面加了反斜杠后//b/，转义为匹配一个单词的边界。-或-对正则表达式功能字符的还原，如““匹配它前面元字符0次或多次，/a/将匹配a,aa,aaa,加了"/"后，/a//将只匹配”a“。 |
|
^ |
匹配一个输入或一行的开头 ，/^a/匹配”an A“，而不匹配”An a“ |
|
$ |
匹配一个输入或一行的结尾，/a$/匹配”An a“,而不匹配”an A“ |
|
* |
匹配前面原字符0次或多次，/ba*/将匹配b,ba,baa |
|
|
匹配前面元字符1次或多次，/ba*/将匹配ba，ba，baaa |
|
? |
匹配前面元字符0次或1次，/ba?/将匹配b,ba |
|
(x) |
匹配x保存x在名为$1…$9的变量中 |
|
{n} |
精确匹配n次 |
|
{n,} |
匹配n次以上 |
|
{n,m} |
匹配n-m次 |
|
[xyz] |
字符集(character set)，匹配这个集合中任一一个字符（或元字符） |
|
[^xyz] |
不匹配这个集合中的任何一个字符 |
|
[/b] |
匹配一个退格符 |
|
/b |
匹配一个单词的边界 |
|
/B |
匹配一个单词的非边界 |
|
/d |
匹配一个数字字符，//d/=/[0-9]/ |
|
/D |
匹配一个非数字字符，//D/=/[^0-9]/ |
|
/n |
匹配一个换行符 |
|
/r |
匹配一个换行符 |
|
/S |
匹配一个空白字符，包括/n，/r，/f，/t，/v等 |
|
/w |
匹配一个可以组成单词的字符，包括下划线，如[/w]匹配”$5.98“中的5，等于[a-zA-Z0-9] |
|
/W |
匹配一个不可以组成单词的字符，如[/W]匹配”5.98“中的$，等于[^a-zA-Z0-9] |
select regexp_extract('x=a3&x=18abc&x=2&y=3&x=4','x=([0-9] )([a-z] )',2)
得到结果：abc
datediff：返回结束日期减去开始日期的天数
datediff(string enddate, string startdate)
select datediff('2021-11-20','2021-11-22')
date_add：返回开始日期startdate增加days天后的日期
date_add(string startdate, int days)
select date_add('2021-11-20',3)
date_sub：返回开始日期startdate减少days天后的日期
date_sub (string startdate, int days)
select date_sub('2021-11-22',3)
trunc 函数的用法
|
函数/方法 |
返回数据 |
|
trunc(add_months(current_date(),-1),'MM') |
上月1号 |
|
trunc(current_date(),'MM') |
本月1号 |
|
trunc(add_months(current_date(),1),'MM') |
下月1号 |
|
trunc(current_date(),'YYYY') |
今年年初日期 |
--取得当前日期：
select current_date();
输出：2021-08-14
--取得当前日期时间：
select current_timestamp();
输出：2021-08-14 13:14:57
--hive取得当前时间戳：
select unix_timestamp();
输出：1628911641
-- 说明：字符串必须为：yyyy-MM-dd格式。
select to_date('2021-08-14 13:34:12');
输出：2021-08-14
--说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式
select from_unixtime(1323308945,’yyyy-MM-dd’);
输出：2011-12-08
select from_unixtime(1323308945,’yyyyMMdd’);
输出：20111208
--取得当前时间，相当于select current_timestamp()；
select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:dd:ss');
输出：2021-08-14 03:14:57
select date_format(current_timestamp(),'yyyy-MM-dd HH:mm:ss');
输出：2021-08-14 11:14:46
select date_format(current_date(),'yyyy-MM-dd');
输出：2021-08-14
select date_format('2021-08-14','yyyy-MM-dd HH:mm:ss');
输出：2021-08-14 00:00:00
select unix_timestamp();
输出：1628906623
select unix_timestamp('2021-08-14 10:05:20');
输出：1628935520
select from_utc_timestamp(current_timestamp(),8);
输出：2021-08-14 11:10:27.762
select to_utc_timestamp(current_timestamp(),8);
输出：2021-08-14 11:10:56.085
select to_unix_timestamp('2021-08-14 11:10:27','yyyy-MM-dd HH:dd:ss');
输出：1628593227
select year('2021-08-14 10:05:20');
输出：2021
select quarter('2021-08-14 10:05:20');
输出：3
select month('2021-08-14 10:05:20');
输出：8
select day('2021-08-14 10:05:20');
输出：14
select hour('2021-08-14 10:05:20');
输出：10
select minute('2021-08-14 10:05:20');
输出：5
select second('2021-08-14 10:05:20');
输出：20
select weekofyear('2021-08-14 10:05:20');
输出：32
select dayofweek('2021-08-14 10:05:20'); --周六
输出：7
说明：前者大于后者，返回值为正，否则，返回值为负。
select datediff('2021-08-14','2021-08-08');
输出：6
select datediff(current_date(),date_add(current_date(),-10));
输出：10
select datediff(current_date(),date_add(current_date(),10));
输出：-10
select date_sub('2021-08-14',6);
输出：2021-08-08
select date_add('2021-08-14',6);
输出：2021-08-20
--取得昨天日期：
select date_add(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1);
select date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),1);
-- 取得明天日期：
select date_add(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),1);
select date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1);
select months_between('2021-10-14','2021-05-04');
输出：5.32258065
select trunc(current_date(),'MM');
输出：2021-08-01
select trunc(current_date(),'YY');
输出：2021-01-01
select last_day(current_date());
输出：2021-08-31
说明：参数为MO,TU,WE,TH,FR,SA,SU,也可以是两个缩写字母可以是三个可以是全名。
select next_day('2021-08-14', 'TU'); --得到021-08-14后的下个周二
输出：2021-08-17
select next_date('2020-01-01','Fri'); --得到2020-01-01后的下个周五
输出：2020-01-03
思路：先转换成时间戳，再由时间戳转换为对应格式。
select from_unixtime(unix_timestamp('20210814','yyyymmdd'),'yyyy-mm-dd');
输出：2021-08-14
select from_unixtime(unix_timestamp('2021-08-14','yyyy-mm-dd'),'yyyymmdd') ;
输出：20210814
seelct * from table where datediff(current_timestamp(),create_time)<=30;
--要从表中运行
select (unix_timestamp('2021-08-14 10:18:54')-unix_timestamp('2021-08-14 08:18:54'))/3600;
输出：2.0
select (unix_timestamp('2021-08-14 10:18:54')-unix_timestamp('2021-08-14 08:18:54'))/60
输出：120.0
--上个月第一天
select trunc(add_months(current_timestamp(),-1),'MM');
select concat(substr(add_months(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1),1,7),'-01');
select trunc(add_months(current_timestamp(),-1),'MM');
输出：2021-07-01
--上个月最后一天
select last_day(add_months(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),-1)) ;
select date_sub(trunc(current_timestamp(),'MM'),1);
输出：2021-07-31
-- 获取当月第一天
select trunc(current_timestamp(),'MM');
select from_unixtime(unix_timestamp(),'yyyy-MM-01');
输出：2021-08-01
-- 获取当月最后一天
select last_day(current_timestamp());
select last_day(current_date());
输出：2021-08-31
timestamp 样式2021-12-10 04:36:48.147046000
bigint 样式 1639110956
|
函数/方法 |
输出类型 |
说明/样式 |
|
current_timestamp() |
timestamp |
所在时区的当前时间 |
|
now() |
timestamp |
所在时区的当前时间 |
|
unix_timestamp() |
bigint |
所在时区的当前时间戳 |
|
utc_timestamp |
timestamp |
UTC时区的当前时间 |
|
timeofday() |
string |
Fri Dec 10 12:39:46 2021 CST |
|
序号 |
函数/方法 |
输出类型 |
说明/样式 |
|
1 |
year(timestamp/date) |
int |
获取年 yyyy |
|
2 |
quarter(timestamp/date) |
int |
获取季度（1,2,3,4） |
|
3 |
month(timestamp/date) |
int |
获取月 |
|
4 |
monthname(timestamp/date) |
string |
获取月份名称 December |
|
5 |
week(timestamp/date) |
int |
获取周（1-53） |
|
6 |
weekofyear(timestamp/date) |
int |
获取周（1-53） |
|
7 |
dayofweek(timestamp/date) |
int |
获取天（本周第多少天,周日算第一天） |
|
8 |
dayname(timestamp/date) |
string |
获取天（星期几）Friday |
|
9 |
next_day(timestamp/date, 10 |
day(string)) |
timestamp/date |
|
11 |
day(timestamp/date) |
int |
获取天（本月第多少天） |
|
12 |
dayofmonth(timestamp/date) |
int |
获取天（本月第多少天） |
|
13 |
last_day(timestamp/date) |
timestamp/date |
获取天（本月的最后一天日期） |
|
14 |
dayofyear(timestamp/date) |
int |
获取天（本年第多少天） |
|
15 |
hour(timestamp/date) |
int |
获取小时 |
|
16 |
minute(timestamp date) |
int |
获取分钟 |
|
17 |
second(timestamp date) |
int |
获取秒 |
|
18 |
millisecond(timestamp date) |
int |
获取毫秒 |
|
19 |
extract (YEAR FROM timestamp) |
bigint |
获取参数指定的时间单位 YEAR MONTH DAY HOUR MINUTE SECOND |
|
20 |
date_part('year',timestamp) |
bigint |
获取参数指定的时间单位 YEAR MONTH DAY HOUR MINUTE SECOND |
|
21 |
trunc(timestamp/date,unit) |
timestamp/date |
获取截断为指定单位的时间 |
|
unit |
截取说明 |
|
SYYYY，YYYY，YEAR，SYEAR，YYY，YY，Y |
年 |
|
Q |
季节 |
|
MONTH，MON，MM，RM |
月 |
|
WW |
最近的日期是与一年中的第一天相同的日期 |
|
W |
最近的日期是与该月的第一天相同的星期几 |
|
DDD，DD，J |
天 |
|
DAY，DY，D |
星期几（星期一）的开始 |
|
HH，HH12，HH24 |
小时 |
|
MI |
分钟 |
|
序号 |
函数/方法 |
输出类型 |
说明/样式 |
|
1 |
datediff(timestamp enddate,startdate) |
int |
返回endDate比startDate多多少天 |
|
2 |
int_months_between(timestamp t1,t2) |
int |
返回两个日期相差的整数月份个数 |
|
3 |
months_between(timestamp t1,t2) |
double |
返回浮点数的月数相差的数 |
|
4 |
date_cmp(DATE date1, DATE date2) |
int |
比较是否相等，返回-1,0,1,null四种数值 |
|
5 |
timestamp_cmp(timestamp t1，timestamp t2) |
int |
比较是否相等，返回-1,0,1,null四种数值 |
|
序号 |
函数/方法 |
输出类型 |
说明/样式 |
|
1 |
to_date(timestamp date) |
string |
返回时间戳对应的date |
|
2 |
to_timestamp(bigint unixtime) |
timestamp |
返回整数对应的timestamp值 |
|
3 |
to_timestamp(string date，string pattern) |
timestamp |
返回字符串对应的timestamp值 |
|
4 |
to_utc_timestamp(timestamp t，string timezone) |
timestamp |
指定时区的时间戳转化为UTC时区的时间戳 |
|
5 |
from_timestamp(timestamp t，string pattern) |
string |
把timestamp按照pattern进行格式化 |
|
6 |
from_timestamp(string date，string pattern) |
string |
把date按照pattern进行格式化 |
|
7 |
from_unixtime(bigint unixtime) |
string |
把时间戳秒数转化为本地地区中的字符串 |
|
8 |
from_unixtime(bigint unixtime，string pattern） |
string |
时间戳转化为本地时区字符串，pattern格式 |
|
9 |
from_utc_timestamp（timestamp t，string timezone） |
timestamp |
UTC时区指定时间戳转化为指定时区时间戳 |
|
10 |
unix_timestamp(string datetime) |
bigint |
把string类型的date或日期转化成时间戳Unix |
|
11 |
unix_timestamp(timestamp datetime) |
bigint |
把string类型的timestamp转化成时间戳Unix |
|
12 |
unix_timestamp(string datetime，string pattern) |
bigint |
日期按pattern转化成时间戳Unix |
|
序号 |
函数/方法 |
输出类型 |
说明/样式 |
|
1 |
years_add(timestamp/date date, int/bigint years) |
timestamp/date |
增加指定年数 |
|
2 |
years_sub(timestamp/date date, int/bigint years) |
timestamp/date |
减少指定年数 |
|
3 |
months_add(timestamp/date date, int/bigint months) |
timestamp/date |
增加指定月数 |
|
4 |
months_sub(timestamp/date date, int/bigint months) |
timestamp/date |
减少指定月数 |
|
5 |
add_months(timestamp/date date, int/bigint months) |
timestamp/date |
增加指定月数 |
|
6 |
weeks_add(timestamp/date date, int/bigint weeks) |
timestamp/date |
增加指定周数 |
|
7 |
weeks_sub(timestamp/date date, int/bigint weeks) |
timestamp/date |
减少指定周数 |
|
8 |
days_add(timestamp/date startdate, int/bigint days) |
timestamp/date |
增加指定天数 |
|
9 |
days_sub(timestamp/date startdate, int/bigint days) |
timestamp/date |
减少指定天数 |
|
10 |
date_add(timestamp/date startdate, int/bigint days) |
timestamp/date |
增加指定天数 |
|
11 |
date_sub(timestamp/date startdate, int/bigint days) |
timestamp/date |
减少指定天数 |
|
12 |
adddate(timestamp/date startdate, int/int days) |
timestamp/date |
增加指定天数 |
|
13 |
subdate(timestamp/date startdate，bigint/int days) |
timestamp/date |
减少指定天数 |
|
14 |
hours_add(timestamp date, int/bigint hours) |
timestamp |
增加指定小时 |
|
15 |
hours_sub(timestamp date, int/bigint hours) |
timestamp |
减少指定小时 |
|
16 |
minutes_add(timestamp date, int/bigint minutes) |
timestamp |
增加指定分钟 |
|
17 |
minutes_sub(timestamp date, int/bigint minutes) |
timestamp |
减少指定分钟 |
|
18 |
seconds_add(timestamp date, int/bigint seconds) |
timestamp |
增加指定秒数 |
|
19 |
seconds_sub(timestamp date, int/bigint seconds) |
timestamp |
减少指定秒数 |
|
20 |
milliseconds_add(timestamp t, int/bigint s） |
timestamp |
增加指定毫秒数 |
|
21 |
milliseconds_sub(timestamp t, int/bigint s） |
timestamp |
减少指定毫秒数 |
|
22 |
microseconds_add(timestamp t, int/bigint s) |
timestamp |
增加指定微秒数 |
|
23 |
microseconds_sub(timestamp t, int/bigint s) |
timestamp |
减少指定微秒数 |
|
24 |
nanoseconds_add(timestamp t, int/bigint s） |
timestamp |
增加指定纳秒数 |
|
25 |
nanoseconds_sub(timestamp t, int/bigint s） |
timestamp |
减少指定纳秒数 |
|
26 |
date_add(timestamp/date startdate, interval_expression) |
timestamp/date |
使用参数计算日期增量值（增加） |
|
27 |
date_sub(timestamp/date startdate, interval_expression) |
timestamp/date |
使用参数计算日期增量值（减少） |
Redis启动类key
|
命令 |
功能说明 |
|
keys * |
查看当前库的所有键 |
|
exists |
判断某个键是否存在 |
|
type |
查看键的类型 |
|
del |
删除某个键 |
|
expire |
为键值设置过期时间，单位秒 |
|
ttl |
查看还有多久过期,-1表示永不过期,-2表示已过期 |
|
dbsize |
查看当前数据库中key的数量 |
|
flushdb |
清空当前库 |
|
Flushall |
通杀全部库 |
|
命令 |
功能说明 |
|
get |
查询对应键值 |
|
set |
添加键值对 |
|
append |
将给定的追加到原值的末尾 |
|
strlen |
获取值的长度 |
|
setnx |
只有在key 不存在时设置key的值 |
|
incr |
将key中存储的数字值增1只能对数字值操作，如果为空，新增值为1 |
|
decr |
将key中存储的数字值减1只能对数字之操作，如果为空,新增值为-1 |
|
incrby /decrby 步长 |
将key中存储的数字值增减，自定义步长 |
|
mset |
同时设置一个或多个key-value对 |
|
mget |
同时获取一个或多个value |
|
msetnx |
同时设置一个或多个key-value对，当且仅当所有给定的key都不存在 |
|
getrange <起始位置> <结束位置> |
获得值的范围,类似java中的substring |
|
setrange <起始位置> |
用覆盖所存储的字符串值，从<起始位置>开始 |
|
setex <过期时间> |
设置键值的同时，设置过去时间，单位秒 |
|
getset |
以新换旧,设置了新值的同时获取旧值 |
|
命令 |
功能说明 |
|
lpush/rpush |
从左边/右边插入一个或多个值。 |
|
lpop/rpop |
从左边/右边吐出一个值。值在键在，值光键亡。 |
|
rpoplpush |
从列表右边吐出一个值，插到列表左边 |
|
lrange |
按照索引下标获得元素(从左到右) |
|
lindex |
按照索引下标获得元素(从左到右) |
|
llen |
获得列表长度 |
|
linsert before |
在的后面插入 插入值 |
|
lrem |
从左边删除n个value(从左到右) |
|
命令 |
功能说明 |
|
sadd .... |
将一个或多个 member 元素加入到集合 key 当中，已经存在于集合的 member 元素将被忽略。 |
|
smembers |
取出该集合的所有值。 |
|
sismember |
判断集合是否为含有该值，有返回1，没有返回0 |
|
scard |
返回该集合的元素个数。 |
|
srem .... |
删除集合中的某个元素。 |
|
spop |
随机从该集合中吐出一个值。 |
|
srandmember |
随机从该集合中取出n个值。不会从集合中删除 |
|
sinter |
返回两个集合的交集元素。 |
|
sunion |
返回两个集合的并集元素。 |
|
sdiff |
返回两个集合的差集元素。 |
|
命令 |
功能说明 |
|
hset |
给集合中的 键赋值 |
|
hget |
从集合 取出 value |
|
hmset ... |
批量设置hash的值 |
|
hexists key |
查看哈希表 key 中，给定域 field 是否存在。 |
|
hkeys |
列出该hash集合的所有field |
|
hvals |
列出该hash集合的所有value |
|
hincrby |
为哈希表 key 中的域 field 的值加上增量 increment |
|
hsetnx |
将哈希表 key 中的域 field 的值设置为 value ，当且仅当域 field 不存在 |
|
命令 |
功能说明 |
|
zadd ... |
将一个或多个 member 元素及其 score 值加入到有序集 key 当中 |
|
zrange [WITHSCORES] |
返回有序集 key 中，下标在 之间的元素带WITHSCORES，可以让分数一起和值返回到结果集。 |
|
zrangebyscore key min max [withscores] [limit offset count] |
返回有序集 key 中，所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。 |
|
zrevrangebyscore key max min [withscores] [limit offset count] |
同上，改为从大到小排列。 |
|
zincrby |
为元素的score加上增量 |
|
zrem |
删除该集合下，指定值的元素 |
|
zcount |
统计该集合，分数区间内的元素个数 |
|
zrank |
返回该值在集合中的排名，从0开始。 |
Flink启动
./start-cluster.sh
./bin/flink run [OPTIONS]
./bin/flink run -m yarn-cluster -c com.wang.flink.WordCount /opt/app/WordCount.jar
|
OPTIONS |
功能说明 |
|
-d |
detached 是否使用分离模式 |
|
-m |
jobmanager 指定提交的jobmanager |
|
-yat |
–yarnapplicationType 设置yarn应用的类型 |
|
-yD |
使用给定属性的值 |
|
-yd |
–yarndetached 使用yarn分离模式 |
|
-yh |
–yarnhelp yarn session的帮助 |
|
-yid |
–yarnapplicationId 挂到正在运行的yarnsession上 |
|
-yj |
–yarnjar Flink jar文件的路径 |
|
-yjm |
–yarnjobManagerMemory jobmanager的内存(单位M) |
|
-ynl |
–yarnnodeLabel 指定 YARN 应用程序 YARN 节点标签 |
|
-ynm |
–yarnname 自定义yarn应用名称 |
|
-yq |
–yarnquery 显示yarn的可用资源 |
|
-yqu |
–yarnqueue 指定yarn队列 |
|
-ys |
–yarnslots 指定每个taskmanager的slots数 |
|
-yt |
yarnship 在指定目录中传输文件 |
|
-ytm |
–yarntaskManagerMemory 每个taskmanager的内存 |
|
-yz |
–yarnzookeeperNamespace 用来创建ha的zk子路径的命名空间 |
|
-z |
–zookeeperNamespace 用来创建ha的zk子路径的命名空间 |
|
-p |
并行度 |
|
-yn |
需要分配的YARN容器个数(=任务管理器的数量) |
./bin/flink info [OPTIONS]
|
OPTIONS |
功能说明 |
|
-c |
程序进入点，主类 |
|
-p |
并行度 |
./bin/flink list [OPTIONS]
|
OPTIONS |
功能说明 |
|
-a |
–all 显示所有应用和对应的job id |
|
-r |
–running 显示正在运行的应用和job id |
|
-s |
–scheduled 显示调度的应用和job id |
|
-m |
–jobmanager 指定连接的jobmanager |
|
-yid |
–yarnapplicationId 挂到指定的yarn id对应的yarn session上 |
|
-z |
–zookeeperNamespace 用来创建ha的zk子路径的命名空间 |
./bin/flink stop [OPTIONS] <Job ID>
|
OPTIONS |
功能说明 |
|
-d |
在采取保存点和停止管道之前，发送MAX_WATERMARK |
|
-p |
savepointPath 保存点的路径 'xxxxx' |
|
-m |
–jobmanager 指定连接的jobmanager |
|
-yid |
–yarnapplicationId 挂到指定的yarn id对应的yarn session上 |
|
-z |
–zookeeperNamespace 用来创建ha的zk子路径的命名空间 |
./bin/flink cancel [OPTIONS] <Job ID>
|
OPTIONS |
功能说明 |
|
-s |
使用 "stop "代替 |
|
-D |
允许指定多个通用配置选项 |
|
-m |
要连接的JobManager的地址 |
|
-yid |
–yarnapplicationId 挂到指定的yarn id对应的yarn session上 |
|
-z |
–zookeeperNamespace 用来创建ha的zk子路径的命名空间 |
./bin/flink savepoint [OPTIONS] <Job ID>
|
OPTIONS |
功能说明 |
|
-d |
要处理的保存点的路径 |
|
-j |
Flink程序的JAR文件 |
|
-m |
要连接的JobManager的地址 |
|
-yid |
–yarnapplicationId 挂到指定的yarn id对应的yarn session上 |
|
-z |
–zookeeperNamespace 用来创建ha的zk子路径的命名空间 |
文章非原创，内容来源于微信公众号 「大数据左右手」
,免责声明：本文仅代表文章作者的个人观点，与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺，请读者仅作参考，并自行核实相关内容。文章投诉邮箱：anhduc.ph@yahoo.com
