devbox
你好赵伟
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

pandas操作csv常用功能_pandas csv

作者：你好赵伟 | 2024-08-03 18:52:01

赞

踩

pandas csv

目录

pandas建表，取列，最大值

pandas选取指定列

Pandas 获取列名

批量替换整体替换：

批量替换自定义规则

pandas原本没有表头，添加表头

pandas筛选空数据

筛选修改数据 

遍历修改数据

修改部分数据，删除剩余数据

筛选修改数据：

Pandas添加表头（以前有表头不能用），筛选空数据，遍历

按列筛选：

取指定列数据并筛选

筛选完整示例：

添加列:

pandas表头分组

5种常见添加新列的方法。

python生成右对齐cvs文件，阅读起来是整齐的：

pandas建表，取列，最大值

  1.     df_label = pd.DataFrame(np.arange(16).reshape(4, 4), columns=list('wxyz'))
  2.  
  3.     data_col=df_label['w']  # 选择表格中的'w'列，使用类字典属性,返回的是Series类型
  4.     print(data_col.max())
  5.     df_label.to_csv(to_dir + '/label.csv', index=False)

pandas选取指定列

1，按照位置：

  1. import pandas as pd
  2.  
  3. data = pd.read_csv()
  4.  
  5. data = data.iloc[:, 0:3] # 按位置取某几列

2,按照指定列名：

  1. import pandas as pd
  2. df=pd.read_excel("职位明细329.xlsx")
  3.  
  4. df1 = df[['用户ID','职位ID']]

Pandas 获取列名

原文链接：https://blog.csdn.net/lb521200200/article/details/123829793

  1. import pandas as pd
  2.  
  3. from numpy.random import randint
  4.  
  5. df = pd.DataFrame(columns=list('abcdefghij'))
  6.  
  7. columns= list(df.columns.values)
  8.  
'
运行

批量替换整体替换：

# 创建字典
dict = {"A":1, "B":2, "C":3}  # 其中ABC为原数据，123为替换数据

# 替换

pd['替换列'] = pd['替换列'].replace(dict)  # '替换列'为需要替换列字段

批量替换自定义规则

  1.  def get_path(path):
  2.      if 'imgs' in path:
  3.          return os.path.dirname(label_file) + path
  4.      else:
  5.          return path
  6.  df_label = pd.read_csv(label_file)
  7.  
  8.  columns= list(df_label.columns.values)
  9.  
  10.  if dtype == "train":
  11.      data = df_label[(df_label['is_train'] == 1)]
  12.  else:
  13.      data = df_label[(df_label['is_train'] == 0)]
  14.  imgs = data[columns[0]].apply(get_path)
  15.  
  16.  self.imgs.extend(imgs.values.tolist())
  17.  id1_s=data[columns[1]]
  18.  self.id1_s.extend(id1_s.values.astype(np.int64))

pandas原本没有表头，添加表头

  1.     import pandas as pd
  2.  
  3.     df_label= pd.read_csv('tf.csv', header=None, names=['a', 'b', 'c'])
  4.  
  5.     df_label.loc[1] = ["related_path", 0, 0]
  6.     df_label.to_csv('tf.csv', index=False)
  7.     df_label = pd.read_csv('tf.csv', header=None, names=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k'])
  8.     df_label.to_csv('tf.csv', index=False)

pandas筛选空数据

  1. filtered_df = df[df['name'].notnull()]
  2. filtered_df = df[df['name'].isnull()]

筛选修改数据 

遍历修改数据

  1. import os
  2.  
  3. import pandas as pd
  4.  
  5. if __name__ == '__main__':
  6.  
  7.     df_train=pd.read_csv("aaa.csv")
  8.     #可以修改csv文件数据
  9.     for index, row in df_train.iterrows():
  10.         row['asdf']=12345
  11.         row[2]=222
  12.  
  13.     df_train.to_csv("aaa.csv", index=False)
  14.

修改部分数据，删除剩余数据

  1. import os
  2.  
  3. import pandas as pd
  4.  
  5. if __name__ == '__main__':
  6.  
  7.     df_train=pd.read_csv("aaa.csv")
  8.  
  9.     data = df_train[(df_train['wer'] == 222)] #筛选
  10.     data['asdf'] = 11111 #不能保存到csv文件
  11.     data.to_csv("aaa.csv", index=False)

筛选修改数据：

  1.     label_file=r'D:\\label.csv'
  2.     df_label = pd.read_csv(label_file)
  3.  
  4.     start=time.time()
  5.     col_names = df_label.columns.tolist()
  6.  
  7.     to_col=col_names[1]
  8.  
  9.     df_label.loc[(df_label['size'] == 1) & (df_label[to_col]==2), [to_col]]=3
  10.  
  11.     df_label.loc[(df_label['size'] == 0) & (df_label[to_col] == 3), [to_col]] = 2
  12.     df_label.to_csv(label_to_file, index=False)
  13.  
  14.     print('time',time.time()-start)

Pandas添加表头（以前有表头不能用），筛选空数据，遍历

  1.     import pandas as pd
  2.  
  3.     label_file=r'F:\label.csv'
  4.     df_label = pd.read_csv(label_file)
  5.     col_names = df_label.columns.tolist()  # 将数据框的列名全部提取出来存放在列表里
  6.     if 'box' not in col_names:
  7.         col_names.append('box')
  8.         df_label = pd.read_csv(label_file, header=None, names=col_names)
  9.         df_label.to_csv(label_file, index=False)
  10.         df_label = pd.read_csv(label_file)
  11.  
  12.     data_none = df_label[df_label["box"].isnull()]
  13.  
  14.     for index,data_n in data_none.iterrows():
  15.         img_path=data_n[col_names[0]]
  16.         if img_path.endswith(".jpg"):
  17.             tmp_dir = r'F:\project\shida\not_found'
  18.             img_path_all = os.path.dirname(label_file) + img_path
  19.             shutil.copy(img_path_all, tmp_dir)

按列筛选：

注意：df_label.img_path

是直接选择列名，不用加引号""筛选。

  1.   df_label.loc[(df_label.img_path == img_path), 'box'] = box
  2.   df_label.loc[(df_label.img_path == img_path), col_names[1]] = new_index

取指定列数据并筛选

  1.             data = df_label[(df_label["img_path"] == img_path)]
  2.             if data.size>0:
  3.                 if data.shape[0]>1:
  4.                     print('err',img_path)

筛选完整示例：

  1. import os.path
  2.  
  3. if __name__ == '__main__':
  4.  
  5.     import pandas as pd
  6.  
  7.     label_file=r'F:\project\shida\small\label.csv'
  8.     df_label = pd.read_csv(label_file)
  9.     col_names = df_label.columns.tolist()  # 将数据框的列名全部提取出来存放在列表里
  10.     if 'box' not in col_names:
  11.         col_names.append('box')
  12.         df_label = pd.read_csv(label_file, header=None, names=col_names)
  13.         df_label.to_csv(label_file, index=False)
  14.         df_label = pd.read_csv(label_file)
  15.  
  16.     data_path=r'F:\project\shida\small\val_clf_size_2.txt'
  17.     with open(data_path ,'r') as f_r:
  18.         lines =f_r.readlines()
  19.         for line in lines:
  20.             line_data= line.split(' ')
  21.             img_path=line_data[0]
  22.             img_path='/imgs/'+os.path.basename(img_path)
  23.             box=line_data[1]
  24.             id=int(line_data[2])
  25.  
  26.             data = df_label[(df_label["img_path"] == img_path)]
  27.             if data.size>0:
  28.                 if data.shape[0]>1:
  29.                     print('err',img_path)
  30.                     exit(435)
  31.                 index=int(data[col_names[1]])
  32.                 new_index=0
  33.                 if index in [1,2]:
  34.                     new_index=index-1
  35.                 else:
  36.                     new_index = id+2
  37.                 df_label.loc[(df_label.img_path == img_path), 'box'] = box
  38.                 df_label.loc[(df_label.img_path == img_path), col_names[1]] = new_index
  39.             else:
  40.                 print('not found',img_path)
  41.  
  42.  
  43.  
  44.  
  45.             # df_label.loc[1] = ["related_path", 0, 0, 0]
  46.     df_label.to_csv(label_file, index=False)

添加列:

  1.     df_label = pd.read_csv(label_file)
  2.     col_names = df_label.columns.tolist()  # 将数据框的列名全部提取出来存放在列表里
  3.  
  4.  
  5.  
  6.     if 'box' not in col_names:
  7.         df_label.insert(loc=len(col_names), column='box', value='')

pandas为DataFrame格式数据添加新列的方法非常简单，只需要新建一个列索引，再为其赋值即可。

pandas表头分组

以path分组，左边一组，右边一组

  1.  
  2. import pandas as pd
  3. import numpy as np
  4. df = pd.DataFrame(columns=['123','111','path','222'],data=[[1,2,3,4]])
  5.  
  6. split_col='path'
  7.  
  8. column_np=df.columns.values
  9.  
  10. np_index=np.where(column_np==split_col)[0][0]
  11.  
  12. print("np_index",np_index)
  13.  
  14. columns=df.columns.values.tolist()
  15. a_index=columns.index(split_col)
  16.  
  17. print("a_index",a_index)
  18.  
  19. for index,row in df.iterrows():
  20.  
  21.     data=row.values[1:np_index]
  22.     print('data',data)
'
运行

结果：

np_index 2
a_index 2
data [2]

注意：data必须是行列组成，如果[[1,2,3,]]


5种常见添加新列的方法。

首先，创建一个DataFrame结构数据，作为数据举例。

  1. import pandas as pd
  2. # 创建一个DataFrame结构数据
  3. data = {'a': ['a0', 'a1', 'a2'],
  4.         'b': ['b0', 'b1', 'b2']}
  5. df = pd.DataFrame(data)
  6. print('举例数据情况：\n', df)


 

添加新列的方法，如下：
一、insert()函数
语法：
DataFrame.insert(loc, column, value,allow_duplicates = False)

参数    说明
loc    必要字段，int类型数据，表示插入新列的列位置，原来在该位置的列将向右移。
column    必要字段，插入新列的列名。
value    必要字段，新列插入的值。如果仅提供一个值，将为所有行设置相同的值。可以是int，string，float等，甚至可以是series /值列表。
allow_duplicates    布尔值，用于检查是否存在具有相同名称的列。默认为False，不允许与已有的列名重复。
实例：插入c列

df.insert(loc=2, column='c', value=3)  # 在最后一列后，插入值全为3的c列
print('插入c列：\n', df)
1
2

二、直接赋值法
语法：df[‘新列名’]=新列的值
实例：插入d列

df['d'] = [1, 2, 3]  # 插入值为[1,2,3]的d列
print('插入d列：\n', df)
1
2

注：该方法不可以选择插入新列的位置，默认为最后一列。如果新增的一列值相同，直接为其赋值一个常量即可；如果插入值不同，为列表格式，需与已有列的行数长度一致，如举例中原来列为3行，新增列也必须有3个值。

三、reindex()函数
语法：df.reindex(columns=[原来所有的列名,新增列名],fill_value=值)
reindex()函数用法较多，此处只是针对添加新列的用法
实例：插入e列

df1 = df.reindex(columns=['a', 'b', 'c', 'd', 'e'])  # 不加fill_value参数，默认值为Nan
df2 = df.reindex(columns=['a', 'b', 'c', 'd', 'e'], fill_value=1)  # 加入fill_value参数，填充值为1
print('插入e列(不加fill_value参数)：\n', df1)
print('插入e列(加fill_value参数)：\n', df2)
1
2
3
4

注：该方法需要把原有的列名和新列名都加上，如果列名过多，就比较麻烦。

四、concat()函数
原理：利用拼接的方式，添加新的一列。好处是可以同时新增多个列名。
concat()函数用法较多，此处只是针对添加新列的用法
实例：插入f列

df1 = pd.concat([df1, pd.DataFrame(columns=['f'])])
print('插入f列：\n', df1)
1
2

五、loc()函数
原理：利用loc的行列索引标签来实现。
语法：df.loc[:,新列名]=值
实例：插入g列

df1.loc[:, 'g'] = 0
print('插入g列：\n', df1)
1
2

以上就是pandas添加新列的5种常见用法。
————————————————
版权声明：本文为CSDN博主「一位代码」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/LHJCSDNYL/article/details/124577994

python生成右对齐cvs文件，阅读起来是整齐的：

  1. import csv
  2. import random
  3. import string
  4.  
  5. # 随机生成字符串的函数
  6. def random_string(length):
  7.     letters = string.ascii_lowercase
  8.     return ''.join(random.choice(letters) for i in range(length))
  9.  
  10. # 打开文件并写入数据
  11. with open('output.csv', 'w', newline='') as f:
  12.     writer = csv.writer(f, lineterminator='\r\n')
  13.     writer.writerow(['Column 1'.ljust(18), 'Column 2'.ljust(18), 'Column 3'.ljust(18), 'Column 4'.ljust(18)])  # 写入标题行
  14.     for i in range(20):  # 生成20行数据
  15.         row = [random_string(random.randint(5, 15)).ljust(18) for _ in range(4)]  # 每行包含4个随机长度（5到15之间）的字符串
  16.         writer.writerow(row)
'
运行

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/924354
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号