sparkdataframe如何变换列名(spark dataframe 将一列展开,把该列所有值都变成新列的方法)
类别:脚本大全 浏览量:1230
时间:2022-04-02 02:39:11 sparkdataframe如何变换列名
spark dataframe 将一列展开,把该列所有值都变成新列的方法The original dataframe
需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列
实现:
|
val pivots = beijingGeoHourPopAfterDrop.groupBy( "geoHash" ).pivot( "hour" ). sum ( "countGeoPerHour" ).na.fill( 0 ) |
并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充
The new dataframe
以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持开心学习网。
原文链接:https://blog.csdn.net/Nougats/article/details/78124317
您可能感兴趣
- sparkdataframe如何变换列名(spark dataframe 将一列展开,把该列所有值都变成新列的方法)
- spark sql常用操作(Spark SQL数据加载和保存实例讲解)
- sparksql的string转日期格式(将string类型的数据类型转换为spark rdd时报错的解决方法)
- sparksql项目实战(Spark SQL的整体实现逻辑解析)
- 天热没胃口 这道菜开胃又下饭,2个小技巧新手一学就会(这道菜开胃又下饭)
- 指天椒紫苏爆炒牛肉(指天椒紫苏爆炒牛肉)
- 谷雨前,吃牛羊肉别忘了吃河鲜,除湿还清热,加紫苏一炒特解馋(吃牛羊肉别忘了吃河鲜)
- 紫苏牛肉锅里滚一滚,香的鼻子都要掉了(紫苏牛肉锅里滚一滚)
- 每天都吃水果的好处(每天吃水果的好处与功效)
- 苹果15价格(苹果15价格512g官网)
热门推荐
- 云主机状态错误(云主机解析IP无法访问网站原因)
- docker 更新容器到镜像(Docker容器如何更新打包并上传到阿里云)
- dedecms标签怎么用(浅析DedeCMS GBK版安装sphinx全文索引无法查询无结果的解决方法)
- 阿里云linux配置(阿里云ESC linux服务器日常安全运维常用命令)
- vue弹窗模板(Vue登录页面的动态粒子背景插件实现)
- mysql拆分字符串(MySQL 字符串拆分操作含分隔符的字符串截取)
- python类的init方法(Python操作配置文件ini的三种方法讲解)
- php函数的使用方法(PHP中str_split函数的用法讲解)
- sql server 2008自定义函数(SQL SERVER 2012新增函数之逻辑函数CHOOSE详解)
- sqlserver日期转换(SqlServer 查询时日期格式化语句)