sparkdataframe如何变换列名(spark dataframe 将一列展开,把该列所有值都变成新列的方法)
类别:脚本大全 浏览量:1230
时间:2022-04-02 02:39:11 sparkdataframe如何变换列名
spark dataframe 将一列展开,把该列所有值都变成新列的方法The original dataframe
需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列
实现:
|
val pivots = beijingGeoHourPopAfterDrop.groupBy( "geoHash" ).pivot( "hour" ). sum ( "countGeoPerHour" ).na.fill( 0 ) |
并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充
The new dataframe
以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持开心学习网。
原文链接:https://blog.csdn.net/Nougats/article/details/78124317
热门推荐
- docker镜像实例(Docker的镜像制作与整套项目一键打包部署的实现)
- laravel框架保存数据(Laravel 数据库加密及数据库表前缀配置方法)
- python将字符串转换为时间格式(Python时间和字符串转换操作实例分析)
- nginxlocation和alias的区别(nginx搭建图片服务器的过程详解root和alias的区别)
- nginx指令大全(Nginx常用技巧使用实例汇总)
- easyui combobox级联
- nginx proxy设置存放在哪里(nginx配置proxy_pass中url末尾带/与不带/的区别详解)
- python操作mysql连接池(详解Python连接MySQL数据库的多种方式)
- mysql创建存储过程的代码(MySQL修改存储过程的详细步骤)
- pgsql函数里有多个事务如何处理(关于SQL数据库 msdb.dbo.sp_send_dbmail 函数发送邮件的场景分析)