本文所整理的技巧與以前整理過10個Pandas的常用技巧不同，你可能并不會經(jīng)常的使用它，但是有時候當你遇到一些非常棘手的問題時，這些技巧可以幫你快速解決一些不常見的問題。

1、Categorical類型

默認情況下，具有有限數(shù)量選項的列都會被分配object 類型。 但是就內(nèi)存來說并不是一個有效的選擇。 我們可以這些列建立索引，并僅使用對對象的引用而實際值。Pandas 提供了一種稱為 Categorical的Dtype來解決這個問題。

例如一個帶有圖片路徑的大型數(shù)據(jù)集組成。 每行有三列：anchor, positive, and negative.。

(資料圖片僅供參考)

如果類別列使用 Categorical 可以顯著減少內(nèi)存使用量。

# raw data +----------+------------------------+ |  class   |        filename        | +----------+------------------------+ | Bathroom | Bathroom\bath_1.jpg    | | Bathroom | Bathroom\bath_100.jpg  | | Bathroom | Bathroom\bath_1003.jpg | | Bathroom | Bathroom\bath_1004.jpg | | Bathroom | Bathroom\bath_1005.jpg | +----------+------------------------+  # target +------------------------+------------------------+----------------------------+ |         anchor         |        positive        |          negative          | +------------------------+------------------------+----------------------------+ | Bathroom\bath_1.jpg    | Bathroom\bath_100.jpg  | Dinning\din_540.jpg        | | Bathroom\bath_100.jpg  | Bathroom\bath_1003.jpg | Dinning\din_1593.jpg       | | Bathroom\bath_1003.jpg | Bathroom\bath_1004.jpg | Bedroom\bed_329.jpg        | | Bathroom\bath_1004.jpg | Bathroom\bath_1005.jpg | Livingroom\living_1030.jpg | | Bathroom\bath_1005.jpg | Bathroom\bath_1007.jpg | Bedroom\bed_1240.jpg       | +------------------------+------------------------+----------------------------+

filename列的值會經(jīng)常被復制重復。因此，所以通過使用Categorical可以極大的減少內(nèi)存使用量。

讓我們讀取目標數(shù)據(jù)集，看看內(nèi)存的差異：

triplets.info(memory_usage="deep")  #   Column   Non-Null Count   Dtype   # --- ------   --------------   -----   # 0   anchor   525000 non-null category # 1   positive 525000 non-null category # 2   negative 525000 non-null category # dtypes: category(3) # memory usage: 4.6 MB  # without categories triplets_raw.info(memory_usage="deep")  #   Column   Non-Null Count   Dtype # --- ------   --------------   ----- # 0   anchor   525000 non-null object # 1   positive 525000 non-null object # 2   negative 525000 non-null object # dtypes: object(3) # memory usage: 118.1 MB

差異非常大，并且隨著重復次數(shù)的增加，差異呈非線性增長。

2、行列轉(zhuǎn)換

sql中經(jīng)常會遇到行列轉(zhuǎn)換的問題，Pandas有時候也需要，讓我們看看來自Kaggle比賽的數(shù)據(jù)集。census_start .csv文件:

可以看到，這些按年來保存的，如果有一個列year和pct_bb，并且每一行有相應的值，則會好得多，對吧。

cols = sorted([col for col in original_df.columns \               if col.startswith("pct_bb")]) df = original_df[(["cfips"] + cols)] df = df.melt(id_vars="cfips",              value_vars=cols,              var_name="year",              value_name="feature").sort_values(by=["cfips", "year"])

看看結(jié)果，這樣是不是就好很多了：

3、apply()很慢

我們上次已經(jīng)介紹過，最好不要使用這個方法，因為它遍歷每行并調(diào)用指定的方法。但是要是我們沒有別的選擇，那還有沒有辦法提高速度呢？

可以使用swifter或pandarallew這樣的包，使過程并行化。

Swifter

import pandas as pd import swifter  def target_function(row):     return row * 10  def traditional_way(data):     data["out"] = data["in"].apply(target_function)  def swifter_way(data):     data["out"] = data["in"].swifter.apply(target_function)

Pandarallel

import pandas as pd from pandarallel import pandarallel  def target_function(row):     return row * 10  def traditional_way(data):     data["out"] = data["in"].apply(target_function)  def pandarallel_way(data):     pandarallel.initialize()     data["out"] = data["in"].parallel_apply(target_function)

通過多線程，可以提高計算的速度，當然當然，如果有集群，那么最好使用dask或pyspark

4、空值，int, Int64

標準整型數(shù)據(jù)類型不支持空值，所以會自動轉(zhuǎn)換為浮點數(shù)。所以如果數(shù)據(jù)要求在整數(shù)字段中使用空值，請考慮使用Int64數(shù)據(jù)類型，因為它會使用pandas.NA來表示空值。

5、Csv, 壓縮還是parquet?

盡可能選擇parquet。parquet會保留數(shù)據(jù)類型，在讀取數(shù)據(jù)時就不需要指定dtypes。parquet文件默認已經(jīng)使用了snappy進行壓縮，所以占用的磁盤空間小。下面可以看看幾個的對比

|        file            |  size   | +------------------------+---------+ | triplets_525k.csv      | 38.4 MB | | triplets_525k.csv.gzip |  4.3 MB | | triplets_525k.csv.zip  |  4.5 MB | | triplets_525k.parquet  |  1.9 MB | +------------------------+---------+

讀取parquet需要額外的包，比如pyarrow或fastparquet。chatgpt說pyarrow比fastparquet要快，但是我在小數(shù)據(jù)集上測試時fastparquet比pyarrow要快，但是這里建議使用pyarrow，因為pandas 2.0也是默認的使用這個。

6、value_counts ()

計算相對頻率，包括獲得絕對值、計數(shù)和除以總數(shù)是很復雜的，但是使用value_counts，可以更容易地完成這項任務，并且該方法提供了包含或排除空值的選項。

df = pd.DataFrame({"a": [1, 2, None], "b": [4., 5.1, 14.02]}) df["a"] = df["a"].astype("Int64") print(df.info()) print(df["a"].value_counts(normalize=True, dropna=False),      df["a"].value_counts(normalize=True, dropna=True), sep="\n\n")

這樣是不是就簡單很多了

7、Modin

注意：Modin現(xiàn)在還在測試階段。

pandas是單線程的，但Modin可以通過縮放pandas來加快工作流程，它在較大的數(shù)據(jù)集上工作得特別好，因為在這些數(shù)據(jù)集上，pandas會變得非常緩慢或內(nèi)存占用過大導致OOM。

!pip install modin[all]  import modin.pandas as pd df = pd.read_csv("my_dataset.csv")

以下是modin官網(wǎng)的架構(gòu)圖，有興趣的研究把：

8、extract()

如果經(jīng)常遇到復雜的半結(jié)構(gòu)化的數(shù)據(jù)，并且需要從中分離出單獨的列，那么可以使用這個方法：

import pandas as pd  regex = (r"(?P