全国大学生数据统计与分析竞赛2021年【本科组】-B题：用户消费行为价值分析_全国高校数据统计与调查分析挑战赛2021年题目

摘 要

1 任务背景与重述

1.1 任务背景

1.2 任务重述

2 任务分析

全过程如图1所示：

3 数据假设

4) 解释变量 X 是确定性变量，不是随机变量，而且在重复抽样中取固定值；

5) 随机干扰项尽可能服从零均值，同方差，零协方差的正态分布，满足无序列相

关性；

4 任务求解

4.1 任务一：数据预处理

对附件四个表中数据进行观察，初步得到如下结果：

• 用户信息表共有 8 个字段： user_id 、 first_order_time 、 first_order_price 、 age_month 、

city_num 、 platform_num 、 model_num 、 app_num ，分别表示为用户 id 、体验

课下单时间、体验课价格、年龄、城市、设备、手机型号和 APP 激活。样本量为

135968 ，其中体验课下单时间的数据类型为长日期，城市数据类型为文本， APP

激活为逻辑数据整型表达，设备与手机型号是，其余均为整型数据。

• 用户登录情况表共有 16 个字段： user_id 、 login_day 、 login_diff_time 、 distance_day 、

login_time 、 launch_time 、 chinese_subscribe_num 、 math_subscribe_num 、 add_-

friend 、 add_group 、 camp_num 、 learn_num 、 finish_num 、 study_num 、 coupon 、

course_or-der_num ，分别表示为用户 id 、登录天数、登录间隔、最后登录距期末

天数、登录时长、再次访问落地页数，隔天、关注公众号 1 、关注公众号 2 、添加

销售好友、进群、开课数、学习课节数、完成课节数、课程重复学习、领券数量

和有年课未完成订单。样本量为 135617 ，所有字段均为整形数据。

• 用户登录情况表共有 26 个字段： user_id 、 main_home 、 main_home2 、 main

Page 、 schoolReportPage 、 main_mime 、 lightCourseTab 、 main_learnPark 、 part

nerGameBarriersPage 、 evaulationCenter 、 coupon_visit 、 click_buy 、 progress_bar 、

ppt 、 task 、 video_play 、 video-_Read 、 Next_nize 、 Answer_task 、 Chapter_module 、

course_tab 、 slide_subscribe 、 baby_info 、 c-lick_notUnlocked 、 share 、 click_dialog ，

分别表示为用户 id 、首页访问数、首页访问数、课程计划访问数、课程访问数共

计 26 个字段，分别表示用户 id 、首页访问数、首页访问数、课程计划访问数、课

程访问数、我的访问数、轻课访问数、学习乐园访问数、小屋首页访问数、测评中

心访问数、是否领券访问数、购买按钮点击访问数、拖动进度条访问数、 ppt 下一

步访问数、任务结束页访问数、视频跟读访问数、界面继续访问数、识字访问数、

答案解析访问数、点击模块访问数、今日课程访问数、上课页访问数、宝宝访问

数、课程未购买弹窗访问数、点击分享访问数和首页广告弹窗点击访问数。样本

量为 135617 ，与用户登录情况表一相同，均为整形数据。

• 用户下单表共有 2 个字段： user_id 和 result ，分别表示为用户 id 和是否购买。样

本量为 4639，所有字段均为整形数据。

4.1.1 数据清洗

数据清洗主要处理的是数据中的重复值、缺失值和异常值。对数据集进行处理，结

果如下：

1. 用户信息表：通过观察信息表中的数据，首先，发现重复的用户 id 数据，其它

字段信息完全不相同，这与实际情况矛盾，因此需删除表中 所有 重复数据，总计

19265 条，保留 116703 条唯一值。其次，除用户信息表的城市字段有缺失值以

外，其余字段无缺失值。由于城市字段较为特殊，不对缺失值进行插补，而是仅

研究有数据部分进行筛选，故删除了 24089 个缺失值与 399 个异常值，最终得到

92215 条数据。此外，就字段而言， APP 激活所有数据均一样，为无效字段，因

此删除该字段。

2. 用户登录表：同 1 中对用户 id 重复值的处理，删除数据总计 19201 条，保留

116416 条唯一值，无缺失值。其次，用户登录天数必须非负，故剔除登录天数和

最后登录距期末天数两字段中小于 0 的数值异常数据，总计 3589 条。另外，在

正常情况下，学习课节数必须 ≥ 完成课节数，故删除逻辑，总计 8365 条。还需

考虑学习课节数为 0 ，而完成课节数不为 0 的情况，故删除逻辑异常数据，总计

1167 条，最终得到 103295 条数据。而该表中的添加销售好友和进群两个字段所

有数据均一致，故仅保留添加销售好友一个字段而删除进群字段。

3. 用户访问表：同 1 中对用户 id 重复值的处理，删除数据总计 19201 条，保留

116416 条唯一值，用户 id 顺序与用户登录表一致，无缺失值；其次，通过数据观

察可以发现，有少部分用户无任何访问记录，却在用户下单表里有购买记录，因

此我们判定此类用户为刷单用户，需要剔除，总计 229 条，最终得到 116187 条

数据。对于购买按钮点击访问数字段而言， 116187 条字段中仅有 2 条数据值为 1 ，

其余均为 0 ，因此为无效字段，做删除处理。

4. 用户下单表：同 1 中对用户 id 重复值的处理，删除数据总计 26 条，保留 4613

条唯一值。

4.1.2 数据集成

为便于查找数据和集中处理数据，对用户信息表、用户登录情况表、用户访问统计

表以及用户下单表进行集成。经过数据清洗后，用户信息表、用户登录情况表和用户访

问统计表已无重复冗余字段，且后两者样本数量都达到一致，但用户下单表仅有下单

用户的用户 id ，因此，仅需将用户信息表、用户登录情况表和用户访问统计表进行简

单合并，并对应用户下单表，用户下单表中不存在的数据存为 0 。最终集成结果为：在

用户信息 - 下单表中，数据共记 92215 条，下单用户 3140 个；在用户登录 - 访问 - 下单表

中，数据共记 103247 条，下单用户 3117 个；在用户信息 - 登录 - 访问 - 下单表中，数据共

计 81194 条，下单用户 2413 个。

4.1.3 数据变换

数据变换处理可将原始数据转换成为适合数据挖掘的形式。不同评价指标往往具

有不同的量纲，数值见的差别可能很大，不进行处理可能会影响到数据分析的结果。为

了消除指标之间的量纲和取值范围差异的影响，需要进行标准化处理，将数据按照比例

进行缩放，使之落入一个特定的区域，便于进行综合分析。

对于本数据集中用户登录情况表和用户访问统计表，由于需要采用零 - 均值规范化

（ z-score 标准化），即标准差标准化进行处理，经过处理的数据的均值为 0 ，标准差为 1 ，

其转化公式为：

4.2 任务二：对用户城市分布情况与分布情况可视化分析

4.2.1 城市分布情况可视化分析

分析用户城市分布，最终目的是得到该 APP 的用户核心分布区，而核心分布区不

仅与用户城市分布有关，还和用户数量分布有关，因此应从这两个方面入手进行分析。

将用户信息表中的数据导入地图，得用户城市分布图，并对近十万名用户所在的

361 座城市进行 K-means 聚类分析，得到用户城市分布五大区域，再对经纬度进行筛

选，求得五大区域城市占比如图2所示：

可以得出：

1. 该 APP 用户地区分布较为广泛，涵盖了我国大部分省市。

2. 用户所在城市分布东密西疏，这与我国人口分布类似；通过聚类分析，可以看出

用户城市分布大致在五个区域：疆北、西南、华南、华中以及京北。其中华南华中地区

城市数量占比已过半，高达 65 % 。这表明该地区极大可能是用户核心区。

接下来对用户数量分布进行分析，将每座城市的用户数量连同经纬度一起倒入地

图，得到用户数量分布图（圆圈越大表明该地用户数量越多），另外，为了更直观感受

不同城市用户数量差异，对用户人数大于 850 的城市进行对比，如图 3 所示: 同时，产

品购买者数量分布也是一大关键信息，因此我们将用户下单表中的信息事先预处理，分

别统计 288 座城市中下单用户数量，同样录入到地图中（柱体颜色越深表示下单用户

数量越多），并计算出各重点区域下单用户比例，如图 4 所示：由此可得：

1. 该 APP 用户大部分集中在成渝、华北 - 北京、珠三角以及长三角这四大区，而相

对较偏远的西北部地区则用户分布较少，例如西藏、新疆、内蒙古、云南等。当前重点

地区用户分布情况与我国目前互联网经济发展情况大体一致，这表明线上教育平台依

托于互联网的发展。

2. 在四大区用户数量超过 850 的城市中，成渝区占比 32% ，华北 - 北京占 24% ，珠三

角占 16% ，长三角占 5% 总计 77% ；但是成渝区下单用户仅占该地区总用户数的 5.99% ，

华北 - 北京占 10.89% ，珠三角占 24.10% ，长三角占 18.18% ，由此可见，东部沿海地区

可能仍有很大潜在市场。

3. 重庆市的用户人数已经达到全部总用户人数的 10.62% ，远远高于其他城市，推

测该 APP 总部位于重庆市随后营销由重庆向外推广，因此中西部省会城市用户数量不

低，然而重庆市下单用户占比却是垫底，这也表明，在对外营销过程中可能存在某些问

题导致本地用户流失。

综合上述分析，我们将用户分布划分为四大核心区域：成渝、华北 - 北京、珠三角

以及长三角，现将四大区域的用户数量下钻到市级用户画像，如图5所示：

由市级用户画像可以得出：

1. 各区域都存在两个或三个重点城市（华北 - 北京四个），如重庆，深圳，保定，上

海，杭州等地。

2. 正是由于这些重点城市的存在使得四大核心区域用户占比大幅提升，如成都，重

庆用户数占成渝区的 91.15% ，上海，杭州以及苏州占长三角的 65.45% 等。

因此，在后续分析中可以对以上城市着重分析。

4.2.2 登录情况可视化分析

分析用户登录情况，最终目的是得到该 APP 的用户粘性，而分析用户粘性需要从

用户活跃度与用户流失两个方面去考虑，因此选用已预处理过的用户登录情况表进行

分析，选取字段为：登录天数、登录间隔、最后登录距期末天数、登录时长以及隔天再

次访问落地页数。

首先进行用户活跃度分析。导入登录天数数据，得到用户登录天数分布图，其中横

轴表示登录天数，纵轴表示用户数量，如6所示：

由此可以看出：根据用户登录天数分布，可以初步了解到用户登录天数集中在 7 天

内，占比 94.55% ，其中峰值在 5 天，用户登录达 3 至 6 天的数量居多，占比 60.26% 。

随后再导入登录间隔数据，通过观察，发现登录间隔区间是 [0 , 135] , 而当登录间隔

处于 [0 , 3] 区间时，用户比例已经超过 97 % ，因此我们仅对登录间隔区间在 [0 , 31] 的数

据进行绘图，此时用户占比已经超过 99 . 21 % ，同时，为了图像更美观，对用户数量做

取对数处理，得到用户登录间隔分布图，其中横轴表示登录间隔区间，纵轴表示用户数

量关于 e 的对数，如 7 所示：

 

接着再导入登录时长数据，通过观察，发现登录时长区间是 [0 , 1339] ，并对表前的

数据进行分析判断该数据单位为小时 ( h ) ，故登录时长区间是 [0 , 55 . 8] 天；同样地，当

天数超过 10 ，用户比例已经 ≤ 3 . 56 %, 故仅对前十天数据进行绘图，得到用户登录时长

分布图，其中，横轴表示天数，0 . 5 表示半天，纵轴左侧表示用户数量，右侧表示用户

比例，如 8 所示：

综上，针对用户活跃度，可以得到以下结论：

1. 从登录时长情况来看，结合图 6 和图 8 ，用户对该款 APP 倾向于短期使用，登

录时间越长，用户数量越少。假设存在较长周期的课程的情况下，该款 APP 的用户留

存不足，推测购买长期课程的人数少。

2. 从登录间隔来看，用户登录间隔较短，但结合登录时长，当登录时长超过半天

后，用户数量递减，因此用户登录情况属于间歇性短期登录，而非长期的规律性使用。

3. 从用户登录活跃整体情况的来看，由于用户的短期活跃程度明显高于长期活跃

程度，推测用户大多数仅使用试用课程，而且购买正式长期课程。

接下来进行用户流失分析。导入隔天再次访问落地页数数据，落地页访问数据是反

映产品营销转化能力的指标，它指的是用户通过搜索或者点击链接进入网站仅浏览了

第一个页面就离开的访问次数，该指标越高，表明营销越能吸引潜在用户。通过观察，

发现当隔天落地页访问数 ≤ 7 时，用户比例已经突破 99 . 97 % ，故仅对 [0 , 7] 进行作图，

得到用户隔天再次访问落地页数玫瑰图，如图 9 所示：

由此可以看出：隔天再次访问落地页数在 3 次内时占比已达到 99.00% ，当值为 0

时占比最大为 63.01% 。说明该款软件产品的落地页信息对于用户吸引力不足，导致近

6 成用户并不会再次访问该页面以了解更多信息。

接下来导入最后登录距离期末天数数据，以期末作为重要时间节点，依据距离期末

天数统计用户数量，以此来分析用户流失情况。按照行业标准，依据用户流情况失将用

户划分为三类：活跃用户（最后登录距离期末 < 60 天）、潜水用户（ 60 天 ≤ 最后登录

距离期末 ≤ 90 天）以及流失用户（最后登录距离期末 ≥ 90 天）。以周为单位，做出用

其中，针对异常值，推测该款软件于期末 46 周前进行过一次大批量的推广活动后，

由于正式用户转换率不足，导致该期用户的流失堆积在 46 周左右，但该异常值不影响

后续用户流失基本分析，故不做额外处理。所得用户流失分类如表 1 所示：

综上，针对用户活跃度，可以得到以下结论：

1. 该款 APP 产品落地页的营销转化不足，落地页作为内容营销较为直接、有效率

的一个渠道之一，在该产品中的访问量不足；同时结合用户登录情况，可以了解到真正

被吸引的用户数量较少，产品的落地页设置效果不佳。

2. 活跃用户数不足，仅占 36.87% ，潜水用户和流失用户占比较大，为总用户数的

63.13% 。说明该款产品的持续激活用户能力、留存忠诚用户能力不够充足。

4.3 任务三：建立随机森林分类模型进行预测

4.3.1 符号说明

 

4.3.2 模型准备

购买预测问题本质上是个二分类问题，因此我们将下单用户标记为 1 ，未下单用户

标记为 0 。将数据洗牌后选取 75% 的数据作为训练集并构建特征训练集模型。最终训

练好模型后，使用模型对剩余 25% 的数据进行预测，将预测输出的结果与原本数据进

行比对。

基于上文的数据探索并结合实际 APP 使用情况，我们利用现有字段数据类型构建

五大基础特征指标，即登录信息统计指标、用户指标、课程指标、基本信息渠道指标以

及消费指标（如图 11 所示）。特征的具体设计说明如下：

1. 登录基础特征指标主要描述用户与 APP 的触点、使用活跃程度、用户流失情况

等相关信息，例如登录天数（ login_day ）、登录间隔（ login_diff_time ）、最后登

录距期末天数（ distance_day ）、登录时长（ login_time ）等。

2. 用户指标主要用于表示用户自身情况、社交互动情况以及用户与 APP 其他渠道

的关注关系。如用户 ID （ user_id ）是用户的基本主键，添加销售好友（ add_friend ）、

进群（ add_group ）等表示用户与 APP 其他渠道的关联性、点击分享访问数（ share ）

表示用户针对 APP 进行的社群互动行为等。

3. 课程指标描述了用户在 APP 中的核心功能板块——在线课程的各方面情况，例

如课程计划访问数（ mainPage ）、课程访问数（ schoolReportPage ）等从宏观角度

统计用户的课程安排； ppt 下一步访问数（ ppt ）、视频跟读访问数（ video_play ）、

界面继续访问数（ video_Read ）等描述用户的上课互动行为。

4. 基本信息渠道指标主要指 APP 中各种与在线课程内容非直接相关的基础信息

及营销信息渠道的互动情况。例如首页访问数（ main_home ）、测评中心访问数

（ evaulationCenter ）、小屋首页访问数（ partnerGameBarriersPage ）等。

5. 消费指标主要描述的是用户在 APP 使用过程中的任何付费意向、付费结果等。例

如体验课下单时间（first_order_time）、体验课价格（ first_order_price ）、购买

按钮点击访问数（ click_buy ）等。

4.3.3 预测模型的选择

可用于购买行为预测的方法有许多，具体包括时间序列分析、面板数据模型、基于

机器学习的模型和随机模型。随着数据可获得性的提高，越来越多研究基于机器学习的

预测模型来预测用户的未来购买行为。这些基于机器学习的预测方法主要包括逻辑回

归、支持向量机、人工神经网络、梯度提升决策树等。

随机森林（ Random Forest ）是指利用多棵决策树对样本进行样本并训练和预测的

一种算法。随机森林算法是一个包含多个决策树的算法，其输出的类别是由单独的方法

树输出类别的众树来决定的。

它的优点在于对于大部分的数据，它的分类效果比较好；它能处理高维特征，不容

易产生过度拟合，模型训练速度比较快，特别是对于大数据而言；在决定类别时，它可

以评估变数的重要性；它对数据集的适应能力强，既能处理离散型数据，也能处理连续

型数据，数据集无需特意规范化。

本文进行了用户未来是否购买预测问题的研究，因此分别使用机器学习中常用的

分类问题来评估预测模型的性能。

为了使模型具有一定的可解释性，还分析了预测性能较优的若干个模型的特征重

要性结果。经过特征分析、数据清洗整理得到原始数据集，然后度量各个特征变量的重

要性，选择重要性较高的特征生成新的数据集，在原始数据集和新数据集基础上分别

训练了用于预测用户是否购买的随机森林分类模型、逻辑回归模型和决策树回归模型，

实验对比的结果表明，在随机森林预测模型综合性能更好。也验证了随机森林的优点。

预测用户未来是否购买是一个典型的二分类问题，因此我们使用二分类问题中常

用的评估指标，包括召回率、精确率、 F1 值、 ROC 值以及误判率来评估模型性能。在

测试集上的评估结果如表 2 所示。

如表2所示，逻辑回归算法的表现最差，原因是逻辑回归这样的线性分类模型不适

用于本研究中的非线性问题，它无法处理复杂的非线性分类问题。决策树分类可以找到

非线性分割，更加接近人的思维方式，可以产生可视化的分类规则，产生的模型具有可

解释性（可以抽取规则）。树模型拟合出来的函数其实是分区间的阶梯函数，但对比于

随机森林分类，决策树的泛化能力弱。随机森林分类算法在以决策树为基学习器的基础

上，进一步在决策树的训练过程中引入了随机特征选择，减小方差，而且方差的减小补

偿了偏差的增大，在构建决策树的时候，随机森林的每棵决策树都最大可能的进行生长

而不进行剪枝，在对预测输出进行结合时，随机森林通常对回归任务使用简单平均法。

随机森林在数据集上表现良好，能够处理很高维的数据，不用特征选择且在训练完后能

给出特征的重要性，基于本身特性一一训练时采用并行化方法，与其他算法相比其训练

速度快很多。总体而言，随机森林是一个在精确率、稳定性以及训练速度上都有良好表

现的模型。

通过表格数据可以轻易发现，随机森林分类的所有评价指标均为最优，这说明使用

该方法对于预测用户购买行为具有很好的预测性能。

4.3.4 随机森林分类模型

同一批数据，用同样的算法只能产生一棵树，而 Bagging 策略可以产生不同的数

据集。 Bagging 策略来源于 bootstrap aggregation ：从样本集（假设样本集 N 个数据

点）中重采样选出 N b 个样本（有放回的采样，样本数据点个数仍然不变为 N ），在所

有样本上，对这 n 个样本建立分类器，重复以上两步 m 次，获得 m 个分类器，最后

根据这 m 个分类器的投票结果，决定数据属于哪一类。

2. 边缘函数是正确分类结果大于最大错误分类结果的表征方式，即边缘函数越大，

分类结果可信度就越高，就所有训练集分别应用决策树可形成随机森林。具体步

骤如下 :

采用 Bagging 算法在原始数据中进行 N 次随机抽样，将其数据整理为训练样本

集合。

依次针对训练样本建立决策树，在树的节点处随机选取 d 个参数，应用 Gini 系

数选取最优参数进行决策树分支，其中， Gini 系数可表示为:

 

4.3.5 特征重要性分析

经过数据预处理，得到 37 维的特征构建，并使用随机森林算法对训练集样本进行

建模。当模型建立完毕后，输出所有特征的重要性。并利用该模型对测试集进行预测，

并与原本结果进行比较。输入数据参数如表 3 所示。

特征重要性分析可以用来评估构建的特征的预测能力或对预测模型的重要性。通

过特征重要性分析，可以很直接地观测到所构建的特征的预测能力，从而在一定程度上

解释模型或进一步调整模型结构。

用户最终是否会下单购买随机森林分类模型特征重要性前 10 名如表 4 所示。

 从随机森林算法做出的特征重要性排序可以发现：

4.3.6 预测实验

数据洗牌后，将 75% 的是否购买数据作为测试集，使用模型剩余 25% 的数据进行

通过对比新测试集预测数据及原是否购买数据可以发现，该模型的精确率达到

98.3% ，模型效果好。

4.4 任务四：用户消费行为价值分析与建议

对于任务四，需要分别从用户行为分析与用户价值分析入手，并结合前述任务中的

分析，为企业提出建议。

4.4.1 用户行为分析

一般情况下，用户进行线上教育消费往往有以下行为：点击浏览、关注、收藏、领

券以及支付。因此，通过分析附件中所给的数据，首先将非课程相关访问量视为用户消

费第一行为，其中包含的数据是：首页访问数 1 、首页访问数 2 、我的访问数、轻课访

问数、学习乐园访问数、小屋首页访问数、测评中心访问数、是否领券访问数、宝宝访

明确用户消费行为后，需从不同维度对这些行为进行分析，通过观察数据，合理选

数处理，绘制出年龄维度-消费行为图，如图 16 所示：

4.4.2 用户行为转化分析

4.4.3 用户价值分析——RFM

流失情况的衡量；将学习课节数作为 F 维度作为用户参与互动情况的衡量以及将体验

对于该平台大量的一般保持用户，推测为相关免费课程体验使用后就不再继续登

录，企业可以通过推送新一轮有竞争力价格的体验课，进一步转换用户。

对于一般挽留用户，企业的重心可以放在新媒体、社群口碑等方式，扩大课程曝光

度，来提升用户对该 APP 的印象。

4.4.4 给企业的建议

结合上述消费者行为价值分析，以及前述任务中建立的用户下单模型，现从 4P 角

度，即产品（ Product ）、价格（ Price ）、渠道（ Place ）和促销（ Promotion ），为该企业

提供一些建议：

1. 产品：明确早教产品定位，综合提升课程有用性和用户体验。

由于该款在线教育产品的用户年龄以 3 至 12 岁为主，均为 K12 教育中的学前教

育或小学阶段教育。结合政策在 2021 年 3 月 31 日教育部印发的《关于大力推进幼儿

园与小学科学衔接的指导意见》的要求，建议企业针对低龄阶段的在线教育应注重课程

内容的质量与吸引力。因此建议企业明确早教产品的定位，以学科启蒙结合娱乐导向的

教育，注重产品 UI 设计以适应儿童审美，来达到吸引用户的目的。

另外建议企业注意课程互动性和课程质量的提升，来完善用户体验。在购买决策模

型中课程对于用户购买的影响因素权重偏小，结合实际情况，由于课程参与者为儿童，

而购买决策的执行者为家长，他们之间的信息不对称一定程度上也会影响用户购买的

行为。建议企业一方面提高课程的趣味程度，来吸引儿童用户，同时要完善家长的用户

体验，以完善整个购买决策的推进。

2. 价格：体验课程采用渗透定价策略，同时结合产品生命周期。

通过上述消费者行为价值分析，可以得知绝大多数用户对价格较为敏感，对产品的

感知价格较低。因此可以通过体验课程的渗透定价来进一步刺激市场需求。又由于课程

边际成本几乎可以忽略，因此采用渗透定价能够更好地吸引大量顾客，来提高该款产品

的市场占有率。

参考文献

 代码实现

数据预处理部分代码展示

import pandas as pd
data1 = pd.read_csv(’../../user_info.csv’)
data2 = pd.read_csv(’../../login_day.csv’)
data3 = pd.read_csv(’../../ visit_info .csv’)
data4 = pd.read_csv(’../../ result .csv’)
print(data1. isnull () .any())
print(data2. isnull () .any())
print(data3. isnull () .any())
print(data4. isnull () .any())
# display result
# user_id False
# first_order_time False
# first_order_price False
# age_month False
# city_num True
# platform_num False
# model_num False
# app_num False
# dtype: bool
# user_id False
# login_day False
# login_diff_time False
# distance_day False
# login_time False
# launch_time False
# chinese_subscribe_num False
# math_subscribe_num False
# add_friend False
# add_group False
# camp_num False
# learn_num False
# finish_num False
# study_num False
# coupon False
 
# course_order_num False
# dtype: bool
# user_id False
# main_home False
# main_home2 False
# mainpage False
# schoolreportpage False
# main_mime False
# lightcoursetab False
# main_learnpark False
# partnergamebarrierspage False
# evaulationcenter False
# coupon_visit False
# click_buy False
# progress_bar False
# ppt False
# task False
# video_play False
# video_read False
# next_nize False
# answer_task False
# chapter_module False
# course_tab False
# slide_subscribe False
# baby_info False
# click_notunlocked False
# share False
# click_dialog False
# dtype: bool
# user_id False
# result False
# dtype: bool

# -*-coding:utf-8-*-
import pandas as pd
data1 = pd.read_csv(’../user_info.csv’)
print(data1[’user_id’ ]. count())
wp1 = data1.drop_duplicates(subset=’user_id’,keep=False)
 
print(wp1[’user_id’].count())
wp1.to_csv(’../user_infoPretreatment.csv’)
data2 = pd.read_csv(’../login_day.csv’)
print(data2[’user_id’ ]. count())
wp2 = data2.drop_duplicates(subset=’user_id’,keep=False)
print(wp2[’user_id’].count())
wp2.to_csv(’../login_dayPretreatment.csv’)
data3 = pd.read_csv(’../visit_info.csv’)
print(data3[’user_id’ ]. count())
wp3 = data3.drop_duplicates(subset=’user_id’,keep=False)
print(wp3[’user_id’].count())
wp3.to_csv(’../visit_infoPretreatment.csv’)
data4 = pd.read_csv(’../result.csv’)
print(data4[’user_id’ ]. count())
wp4 = data4.drop_duplicates(subset=[’user_id’],keep=False)
print(wp4[’user_id’].count())
wp4.to_csv(’../resultPretreatment.csv’)
# display result
# 135968
# 116703
# 135617
# 116416
# 135617
# 116416
# 4639
# 4613

# -*-coding:utf-8-*-
import pandas as pd
data1 = pd.read_csv(’../user_info_tobemerged.csv’)
data2 = pd.read_csv(’../login_day_tobemerged.csv’)
data3 = pd.read_csv(’../visit_info_tobemerged.csv’)
data4 = pd.read_csv(’../result_tobemerged.csv’)
 
result23 = pd.merge(data2, data3, on=[’user_id’])
result23 .to_csv(’../merge23.csv’, encoding=’gbk’)
result234 = pd.merge(result23, data4, on=[’user_id’], how=’left’)
result234 = result234. fillna (0)
result234.to_csv(’../merge234.csv’, encoding=’gbk’)
result1234 = pd.merge(data1, result234, on=[’user_id’], how=’right’)
result1234.to_csv(’../merge1234.csv’, encoding=’gbk’)

import pandas as pd
import numpy as np
from sklearn. cluster import KMeans
import matplotlib.pyplot as plt
# ------ 1.导入数据 ------
df = pd.read_csv(’china.csv’) # 此处注意换成自己的数据集路径
#print(df.head()) # 展示前5行数据
# ------ 2.提取经纬度数据 ------
x = df
x_np = np.array(x) # 将x转化为numpy数组
# ------ 3.构造K-Means聚类器 ------
n_clusters = 5 # 类簇的数量
estimator = KMeans(n_clusters) # 构建聚类器
# ------ 4.训练K-Means聚类器 ------
estimator. fit (x)
# ------ 5.数据可视化 ------
markers = [’*’, ’v’, ’+’, ’^’, ’s’ , ’x’, ’o’ ] # 标记样式列表
colors = [’r’ , ’g’ , ’m’, ’c’ , ’y’, ’b’, ’orange’] # 标记颜色列表
labels = estimator.labels_ # 获取聚类标签
plt . figure ( figsize =(9, 6))
plt .xlabel(’East Longitude’, fontsize =18)
plt .ylabel(’North Latitude’, fontsize =18)
 
for i in range(n_clusters): # 遍历所有城市，绘制散点图
members = labels == i # members是一个布尔型数组
plt . scatter(
x_np[members, 1], # 城市经度数组
x_np[members, 0], # 城市纬度数组
marker = markers[i], # 标记样式
c = colors[ i ] # 标记颜色
) # 绘制散点图
plt .grid()
plt .show()