1）去重

指定多列去重，這是在dataframe沒有獨一無二的字段作為PK（主鍵）時，需要指定多個字段一起作為該行的PK，在這種情況下對整體數據進行去重。

Attention：主要用到了drop_duplicates方法，并設置參數subset為多個字段名構成的數組。

具體代碼如下：

 >>>import pandas as pd >>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}>>>frame=pd.DataFrame(data) >>>frame	pop	state0	a	11	b	12	c	23	d	24	b	15	c	26	d	2>>>frame.drop_duplicates(subset=['pop','state'])	pop	state0	a	11	b	12	c	23	d	2

2）求差集

假設有兩個dataframe為a和b，a和b可以是相互包含的關系，現在想要將a中和b重復的內容去掉，也就是求差集，步驟如下：

（1）需要對兩個dataframe進行去重。

（2）利用append方法，a=a.append(b)

（3）再次利用append方法，a=a.append(b)

（4）去重，利用drop_duplicates方法，a=a.drop_duplicates()，以及設置參數keep=False，意思就是只要有重復，重復的記錄都去掉。（keep默認='first',也就是保留第一條記錄）

具體代碼如下：

>>>data_a={'state':[1,1,2],'pop':['a','b','c']}>>>data_b={'state':[1,2,3],'pop':['b','c','d']}>>>a=pd.DataFrame(data_a)>>>a 	pop	state0	a	11	b	12	c	2>>>b=pd.DataFrame(data_b) >>>b	pop	state0	b	11	c	22	d	3>>>a = a.append(b)>>>a = a.append(b)>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)>>>result	pop	state0	a	1

以上這篇Python Dataframe 指定多列去重、求差集的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持武林站長站。