Datawhale干貨

作者：牧小熊，華中農(nóng)業(yè)大學(xué)，Datawhale原創(chuàng)作者

訂單數(shù)據(jù)作為電商數(shù)據(jù)分析中的基礎(chǔ)分析項(xiàng)目，本項(xiàng)目就京東的訂單數(shù)據(jù)進(jìn)行分析。通過數(shù)據(jù)分析和可視化深挖數(shù)據(jù)產(chǎn)生的原因，掌握基礎(chǔ)的數(shù)據(jù)分析能力。

(資料圖片僅供參考)

1.關(guān)于本項(xiàng)目

1.1數(shù)據(jù)來源

本次數(shù)據(jù)來源于京東2020年5月25日 大家電-冰箱的訂單數(shù)據(jù) 按照10%的隨機(jī)抽樣后進(jìn)行數(shù)據(jù)脫敏最后得到的訂單數(shù)據(jù)，共有訂單數(shù)據(jù)大約70K，數(shù)據(jù)來源于公開網(wǎng)絡(luò)數(shù)據(jù)。

公眾號(hào)（Datawhale）后臺(tái)回復(fù)“202013”獲取打包的項(xiàng)目源碼和數(shù)據(jù)

1.2數(shù)據(jù)所包含信息

訂單中的屬性將其分成了3類，分別是用戶屬性、訂單屬性以及商品屬性

2.數(shù)據(jù)預(yù)處理

本項(xiàng)目使用python對(duì)數(shù)據(jù)進(jìn)行處理 使用plotly進(jìn)行數(shù)據(jù)可視化

import pandas as pdimport numpy as npimport plotly_express as pximport plotly.offline as ofimport plotly as pyimport plotly.graph_objs as go

讀取提供的數(shù)據(jù)

df=pd.read_csv("data.csv",sep="\t", encoding="utf-8", dtype=str)

查看數(shù)據(jù)的缺失值

df.isnull().sum().sort_values(ascending=False)

user_site_city_id 38190user_site_province_id 38033check_account_tm 23271

通過觀察發(fā)現(xiàn)，這3個(gè)數(shù)據(jù)有部分缺失值，其中user_site_city_id 用戶所在城市編號(hào)，user_site_province_id 用戶所在省份的編號(hào)，check_account_tm支付時(shí)間

這部分?jǐn)?shù)據(jù)的缺失是因?yàn)橛脩籼顚憘€(gè)人資料時(shí)跳過的部分，當(dāng)然這不影響我們整個(gè)數(shù)據(jù)的分析

我們首先是將數(shù)據(jù)的類型進(jìn)行轉(zhuǎn)換 同時(shí)處理缺失值和異常值

值得注意的是，通過觀察我們發(fā)現(xiàn)冰箱最低的價(jià)格是288元，但是數(shù)據(jù)中發(fā)現(xiàn)了很多低于288元的訂單數(shù)據(jù)，我們認(rèn)為這部分?jǐn)?shù)據(jù)不能真實(shí)代表冰箱實(shí)際的訂單數(shù)據(jù)，可能出現(xiàn)了補(bǔ)差價(jià)或者補(bǔ)運(yùn)費(fèi)的情況，因此這樣的數(shù)據(jù)我們都過濾掉。

因?yàn)橛唵蔚木幪?hào)具有唯一性，因此對(duì)于訂單編號(hào)的重復(fù)數(shù)據(jù)，我們認(rèn)為出現(xiàn)了重復(fù)訂單

對(duì)于缺失的省份值和缺失的數(shù)據(jù)，我們將空白地方進(jìn)行填充

通過觀察，我們發(fā)現(xiàn)數(shù)據(jù)的列有重復(fù)，對(duì)于刪除重復(fù)的列，這里提供一個(gè)比較有意思的做法，將數(shù)據(jù)反轉(zhuǎn)后，刪除重復(fù)的行再反轉(zhuǎn)回來。

實(shí)際支付的價(jià)格=商品數(shù)量*優(yōu)惠后的單價(jià)

#刪除優(yōu)惠前價(jià)格小于288元的df = df[df["before_prefr_unit_price" ]>= 288]#訂單編號(hào)具有唯一性，因此需要?jiǎng)h除重復(fù)的數(shù)據(jù)df.drop_duplicates(subset=["sale_ord_id"],keep="first",inplace=True)#填充城市和省份的缺失數(shù)據(jù)df.user_site_city_id=df.user_site_city_id.fillna(-1)df.user_site_province_id =df.user_site_province_id.fillna(-1)#刪除重復(fù)的列check_account_tm 轉(zhuǎn)置列 刪除 再轉(zhuǎn)置df=df.T.drop_duplicates().T#實(shí)際支付的價(jià)格=商品數(shù)量*優(yōu)惠后單價(jià)df["total_actual_pay"] = df["sale_qtty"] * df["after_prefr_unit_price"]

到這里我們就完成了數(shù)據(jù)的預(yù)處理部分

3.訂單分析

3.1訂單取消比例分析

通過數(shù)據(jù)觀察，有的訂單出現(xiàn)了取消，因此我們通過餅圖查看取消和未取消的比例

order_cancel = df[df.cancel_flag==1]["sale_ord_id"].count()order_success=df[df.cancel_flag==0]["sale_ord_id"].count()labels = ["取消","未取消"]values = [order_cancel, order_success]trace = [go.Pie(labels=labels, values=values)]layout = go.Layout(    title = dict(text="訂單比例圖",x=0.5))fig = go.Figure(data = trace, layout = layout)fig

通過餅狀圖我們看到，大約有28.9%的訂單取消了，取消的比例可能是地址填寫錯(cuò)了、沒有領(lǐng)到優(yōu)惠劵等情況，使取消支付的比例占有一部分的比例

3.2訂單支付比例分析

通過觀察數(shù)據(jù)我們發(fā)現(xiàn)了用戶有提交了訂單，但是沒有支付的情況

#找到所有的有效訂單df2 = df[(df["sale_ord_valid_flag"] == 1)&(df["cancel_flag"] == 0)&("before_prefr_unit_price" != 0)]order_payed = df2["sale_ord_id"][df2["user_actual_pay_amount"] != 0].count()order_unpay = df2["sale_ord_id"][df2["user_actual_pay_amount"] == 0].count()labels = ["支付","未支付"]values = [order_payed, order_unpay]trace = [go.Pie(labels=labels, values=values)]layout = go.Layout(    title = dict(text="支付比例圖",x=0.5))fig = go.Figure(data = trace, layout = layout)fig

通過餅狀圖我們可以看到，大約有15%的用戶取消了支付，取消支付的比例小于取消訂單的比例，因此對(duì)于有訂單信息的用戶但是未支付的，有比較強(qiáng)的購(gòu)買目的，可能是由于優(yōu)惠劵或者價(jià)格等因素使其取消支付，因此針對(duì)這部分用戶可能是價(jià)格比較敏感的用戶，我們可以推送京東優(yōu)惠卡。

3.3訂單價(jià)格分布

price_series = df2["after_prefr_unit_price"]price_series_num = price_series.count()hist, bin_edges = np.histogram(price_series, bins=80)hist_sum = np.cumsum(hist)hist_per = hist_sum / price_series_numbin_edges_plot = np.delete(bin_edges, 0)trace = go.Scatter(    x = bin_edges_plot,    y = hist_per*100,    mode = "lines", # 折線圖    line = dict(        width = 2    ) )layout = go.Layout(    title = dict(text="訂單的價(jià)格分布",x=0.5),    xaxis=dict(title="訂單價(jià)格"),    yaxis=dict(title="百分比(%)",ticksuffix="%")    )fig = go.Figure(data=trace,layout=layout)fig

通過分布圖可以看到，超過80%冰箱的價(jià)格是低于4K的，查過70%的冰箱價(jià)格是低于2K的，因此冰箱用戶主力消費(fèi)價(jià)格在2K以下，因此在進(jìn)行冰箱廣告推廣時(shí)，可以優(yōu)先考慮價(jià)格低于2K的冰箱，這類冰箱具有較大的市場(chǎng)。

同時(shí)通過觀察，冰箱價(jià)格在4K以內(nèi)分布較為均勻，超過4K以后，冰箱累計(jì)上升區(qū)間緩慢，因此我們可以大致認(rèn)為，當(dāng)冰箱的價(jià)格超過4K，這部分冰箱價(jià)格我們可以認(rèn)為是偏豪華型的冰箱，具有單個(gè)冰箱利潤(rùn)高，但是銷售市場(chǎng)占比少。

3.4有效訂單與時(shí)間的關(guān)系

df3 = df2.copy()df3["order_time_hms"] = df3["sale_ord_tm"].apply(lambda x: x.strftime("%H"))pay_time_df = df3.groupby("order_time_hms")["sale_ord_id"].count()x = pay_time_df.indexy = pay_time_df.valuestrace = go.Bar(    x = x,    y = y,    text=y,    textposition="outside") layout = go.Layout(    title = dict(text="不同時(shí)間段有效訂單分布",x=0.5),    xaxis=dict(title="時(shí)間",tickmode="linear"),    yaxis=dict(title="有效訂單數(shù)")    )fig = go.Figure(data=trace,layout=layout)fig

通過觀察，0點(diǎn)有效訂單數(shù)出現(xiàn)了激增的情況，這一部分是出現(xiàn)了異常訂單還是說過了0點(diǎn)以后通過搶購(gòu)物券使這一部分訂單增加？

同時(shí)，除了0點(diǎn)外，10、20點(diǎn)有效訂單數(shù)具有一個(gè)較高的值，說明用戶比較偏向于早上10點(diǎn)和晚上20點(diǎn)付款。早上10點(diǎn)付款推測(cè)原因可能是剛到公司，先逛一下京東摸摸魚，晚上20點(diǎn)推測(cè)原因是晚飯后，這個(gè)時(shí)間距離睡覺還比較早，用戶刷手機(jī)的頻率增加，因此增加有效訂單數(shù)。

針對(duì)0點(diǎn)有效訂單數(shù)偏高的問題，我們進(jìn)行進(jìn)一的分析人均有效訂單的情況。

3.5人均有效訂單與時(shí)間的關(guān)系

order_time_df=df3.groupby("order_time_hms")["sale_ord_id"].agg({("order_num","count")}).reset_index()user_time_df = df3.groupby("order_time_hms")["user_log_acct"].agg({("user_num","nunique")}).reset_index()order_num_per_user = order_time_df["order_num"] / user_time_df["user_num"]trace = go.Scatter(    x = order_num_per_user.index,    y = order_num_per_user.values,    mode = "lines", # 折線圖    line = dict(        width = 2    ) )layout = go.Layout(    title = dict(text="不同時(shí)間段人均訂單量的分布",x=0.5),    xaxis=dict(title="時(shí)間",tickmode="linear"),    yaxis=dict(title="人均有效訂單量")    )fig = go.Figure(data=trace,layout=layout)fig

通過觀察發(fā)現(xiàn)，0點(diǎn)時(shí)候的人均有效訂單率處于較為正常的值，甚至比1點(diǎn)的有效訂單率低，因此有效訂單的激增，我們認(rèn)為很大概率是通過搶優(yōu)惠劵增加而不是出現(xiàn)了惡意刷單。

同時(shí)我們看到20點(diǎn)的人均有效訂單率也是處于較為正常的值

3.6人均客單價(jià)和平均價(jià)在不同時(shí)間段的分布

客單價(jià)=銷售額/顧客數(shù)

平均訂單價(jià)=銷售額/訂單數(shù)

0時(shí)客單價(jià)和平均訂單價(jià)在全天有個(gè)較高的值，會(huì)不會(huì)是小部分用戶的極端購(gòu)物行為產(chǎn)生這樣的數(shù)據(jù)呢？

因此我們看一下0時(shí)和20時(shí)價(jià)格訂單的分布圖

3.7 0時(shí)和20時(shí)訂單價(jià)格分布

通過看0時(shí)和20時(shí)不同時(shí)間段訂單累計(jì)分布圖我們可以看到

大約20%的0時(shí)用戶的訂單在2K以下，20時(shí)用戶在2K以下的訂單占比為75%

這說明0時(shí)的用戶并補(bǔ)只有一小部分的訂單價(jià)格很高，而是0時(shí)的用戶普遍的購(gòu)物具有較高的客單價(jià)。

因此我們推測(cè)，0時(shí)用戶是否具有一定的沖動(dòng)購(gòu)物的情況，而20時(shí)購(gòu)物的用戶相對(duì)理智一些

也可能時(shí)用戶為了使用優(yōu)惠劵使高額的訂單大多集中在0時(shí)

3.8訂單與地區(qū)的關(guān)系

對(duì)于冰箱市場(chǎng)而言，哪些省份是冰箱的頭部市場(chǎng)呢？

通過查看不同省份有效訂單分布圖我們可以看到，訂單的市場(chǎng)大多集中在一線城市或者經(jīng)濟(jì)較為發(fā)達(dá)的省份，這部分城市經(jīng)濟(jì)發(fā)達(dá)，對(duì)于年輕人有較強(qiáng)大的吸引力，因此購(gòu)置冰箱的訂單數(shù)較高。

那么這些不同省份客單價(jià)是否會(huì)不同？

其中上?？蛦蝺r(jià)最高，廣東的訂單數(shù)量最多，因?yàn)閺V州在外貿(mào)上具有較大的優(yōu)勢(shì)，因此有具有較大的實(shí)體工廠，能吸納較多的低端人才，因此出現(xiàn)訂單數(shù)量多而客單價(jià)不高的情況。

與之相反的是上海作為國(guó)家的金融中心，匯聚了較多的金融方向的從業(yè)者，因此在消費(fèi)品質(zhì)上有一個(gè)較大的提升。

最后我們來看看不同品牌的客單價(jià)

3.9不同品牌客單價(jià)

通過圖中我們可以看到，卡薩帝穩(wěn)居客單價(jià)排行第一的品牌，妥妥的豪華冰箱品牌

價(jià)格的第一梯隊(duì)品牌有 博世、西門子、松下、三星 平均價(jià)格在4K以上

價(jià)格的第二梯隊(duì)品牌有 海爾、小米、伊萊克斯、格蘭仕、美的 平均價(jià)格在2K以上 其中有不少國(guó)產(chǎn)品牌的身影

剩下的品牌價(jià)格都在2K以下，這部分市場(chǎng)消費(fèi)需求大，因此各大品牌在這一區(qū)間段價(jià)格競(jìng)爭(zhēng)比較激烈。

4.小結(jié)

本項(xiàng)目針對(duì)京東的冰箱訂單數(shù)據(jù)進(jìn)行了分析，在分析過程中沒用使用復(fù)雜的模型以及炫酷的圖表，而是通過普通的數(shù)據(jù)展示一步步深挖數(shù)據(jù)產(chǎn)生的原因，并提出了一部分產(chǎn)生數(shù)據(jù)的原因。因此在數(shù)據(jù)分析中，往往數(shù)據(jù)指標(biāo)的建立對(duì)于數(shù)據(jù)的深挖具有較大的意義，同時(shí)針對(duì)異常數(shù)據(jù)提出一定的推測(cè)和假設(shè)，通過有效的數(shù)據(jù)分析進(jìn)行小心求證。

5.項(xiàng)目源碼和數(shù)據(jù)

數(shù)據(jù)采用utf-8編碼，直接打開可能會(huì)出現(xiàn)亂碼的情況，因此在讀取數(shù)據(jù)時(shí)需要指定字符編碼集