pandas怎么抽出重复数据(pandas去除重复列的实现方法)
类别:脚本大全 浏览量:2843
时间:2022-04-02 01:14:22 pandas怎么抽出重复数据
pandas去除重复列的实现方法数据准备
假设我们目前有两个数据表:
① 一个数据表是关于三个人他们的id以及其他的几列属性信息
|
import pandas as pd import numpy as np data = pd.dataframe(np.random.randint(low = 1 ,high = 20 ,size = ( 3 , 4 ))) data[ 'id' ] = range ( 1 , 4 ) # 输出:其中,最左边的0 1 2 为其索引 |
② 另外一个数据表是3个用户的app操作日志信息,一个人会有多条app操作记录
|
sample = pd.dataframe(np.random.randint(low = 1 ,high = 9 ,size = ( 7 , 1 )),columns = [ 'hhh' ]) sample[ 'id' ] = [ 1 , 1 , 2 , 2 , 3 , 3 , 3 ] # 输出: |
问题描述
① 首先我们需要统计每个用户app操作记录数,比如上表可以看出用户id为1的用户有2条操作记录,用户id为3的用户有3条操作记录
|
s = sample.groupby( 'id' ).count() # 输出: |
② 此时,s是一个以id为索引,count出来的记录数为value的series结构。因为考虑到后面我们需要id列进行merge,所以我们需要让id列从索引列变成真实的一列。
|
s = s.reset_index() # 输出: |
③ 将s与最上的data表进行merge,我们不想要看到重复的id列,甚至我们也可以将问题延伸为s与data表不止是id列的重复,还有好多条其他的列的重复,那么如何保证将它们merge之后没有重复列呢?
解决方案
第一想法是用 dataframe.drop(‘列名') 或者用 del dataframe[‘列名']
但是如果用该方法,会删除掉所有的重复列,而达不到我们的要求。
办法是: 参考stackoverflow解答
|
cols_to_use = s.columns.difference(data.columns) # pandas版本在0.15及之上的都可以用这种方法,该方法找出s和data表的不同列,然后再进行merge pd.merge(data, s[cols_to_use], left_index = true, right_index = true, how = 'outer' ) |
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持开心学习网。
原文链接:https://blog.csdn.net/qq_32618817/article/details/80676455
热门推荐
- ip承载网和数通区别(网络线路科普之CN2,GIA,CIA,BGP以及IPLC都是什么意思)
- php100种算法(php实现的生成排列算法示例)
- sql查询优化最快的方法(必备 SQL 查询优化技巧提升网站访问速度)
- 微信小程序通知验证签名方法(微信小程序实现电子签名)
- linux分区管理(在腾讯云的Linux系统服务器上格式化和分区磁盘的教程)
- mongodb简单介绍和安装
- SQL SERVER ErrorLog文件
- dedecms栏目内容怎么插入分页符(dedecms织梦让likearticle的mytypeid支持多个栏目和子栏目)
- IEnumerable、GetEnumerator、IEnumerator之间的关系
- python时间序列模式识别(Python时间序列处理之ARIMA模型的使用讲解)