阅读量:2
你可以使用pandas
库来操作和处理csv文件,删除重复数据的方法如下:
首先,导入pandas
库:
import pandas as pd
然后,使用read_csv()
函数读取csv文件并将其保存为一个DataFrame
对象:
df = pd.read_csv("data.csv")
接下来,使用drop_duplicates()
函数删除重复的数据行:
df.drop_duplicates(inplace=True)
最后,将处理后的数据保存为新的csv文件:
df.to_csv("new_data.csv", index=False)
完整的代码如下所示:
import pandas as pd df = pd.read_csv("data.csv") df.drop_duplicates(inplace=True) df.to_csv("new_data.csv", index=False)
这样就可以删除csv文件中的重复数据了。