A22 大数据挖掘之Modeler工具入门与提高培训(2-3天)

A22 大数据挖掘之Modeler工具入门与提高培训(2-3天)
    马上咨询

    傅一航  华为系大数据专家,计算机软件与理论硕士研究生(研究方向:数据挖掘、搜索引擎) 

    在华为工作十年,五项国家专利,在华为工作期间获得华为数项奖项,曾在英国、日本、荷兰和比利时等海外市场做项目,对大数据有深入的研究,傅老师专注于大数据分析与挖掘等应用技术,以及大数据系统部署解决方案,旨在将大数据的数据分析、数据挖掘、数据建模应用于行业及商业领域,解决行业实际的问题,傅老师目前致力于将大数据技术应用于通信、金融、航空、电商、互联网、政府等领域,傅老师的课程最大特色:实战性强!“围绕业务问题+搭建分析框架+运用分析方法+建立分析模型+熟悉分析工具+形成业务策略”,以商业问题为起点,基于实际的业务应用场景(明确目的),搭建全面系统的业务框架和分析维度(分析思路),选择最合适的方法(分析方法),深入浅出的理论讲解(分析模型),使用简单实用的工具操作(分析工具),对分析结果进行有效的解读(数据可视化),最终形成具体的业务建议,实现业务分析/数据分析的闭环。

    课程目标

    随着大数据分析的需求越来越旺盛,大数据分析工具也越来越琳琅满目,然而,绝大多数的分析工具都只具有单一用途,无法满足企业的复杂的多样化的全面的业务分析需求,因此分析工具的选择成为了一个挑战。一个良好的分析工具必须满足如下要求:

    • 易学易用易操作。
    • 分析效率要高。
    • 满足业务分析需求。

    如果要说前两个要求,显然类似于Excel/PowerBI/Tableau等工具都是满足要求的,但此类工具却无法解决更复杂的业务问题,比如影响因素分析、客户行为预测/精准营销、客户群划分、产品交叉销售、产品销量预测等等,这些需求用Excel/PBI等工具就难以胜任了,需要用到更高级的数据挖掘工具,比如IBMSPSS工具。IBM SPSS工具是面向非专业人士的高级的分析工具(挖掘工具),它提供大量的分析方法和分析模型,能够解决的业务问题更丰富,提供了更加强大的业务数据分析功能,并且它封装了具体的分析算法,即使你没有深厚的技能能力,也能够胜任复杂的数据分析和挖掘。IBM SPPS Modeler是一个数据流处理工具,适用于数据探索与数据挖掘,包括数据预处理、数据探索、数据可视化、数据建模、数据模型优化。

    本课程面向数据分析部等专门负责数据分析与挖掘的人士,专注大数据挖掘工具SPSSModeler的培训。本课程从实际的业务需求出发,对数据分析及数据挖掘技术进行了全面的介绍,将数据挖掘标准流程、分析思路、分析方法、分析模型,全部落地在SPSS工具中,通过大量的工具操作和演练,帮助学员熟练掌握SPSS工具的使用,并能够将SPSS工具在实际的业务数据分析中满地,实现“知行合一”。通过本课程的学习,达到如下目的:

    • 了解大数据挖掘的标准过程和挖掘步骤。
    • 掌握基本的统计分析,常用的影响因素分析。
    • 理解数据挖掘的常见模型,原理及适用场景。
    • 熟练掌握SPSS基本操作,能利用SPSS解决实际的商业问题。

    授课时间

    2~3天时间,或根据客户需求选择

    知识点2天3天
    数据挖掘标准流程
    数据流预处理
    数据可视化
    影响因素分析
    数值预测模型√回归时序季节模型
    分类预测模型√仅决策树ANN/SVM/…
    市场客户划分
    客户价值评估
    实战

    授课对象

    市场部、业务支撑部、数据分析部、运营分析部等对业务数据分析有较高要求的相关人员。

    学员要求

    • 每个学员自备一台便携机(必须)。
    • 便携机中事先安装好MicrosoftOffice Excel 2013版本及以上。
    • 便携机中事先安装好SPSSStatistics v24版本及以上。

    注:讲师可以提供试用版本软件及分析数据源。

    授课方式

    基础知识精讲+案例演练+ 实际业务问题分析 + 工具实际操作,本课程突出数据挖掘的实际应用,结合行业的典型应用特点,从实际问题入手,引出相关知识,进行大数据的收集与处理;探索数据之间的规律及关联性,帮助学员掌握系统的数据预处理方法;介绍常用的模型,训练模型,并优化模型,以达到最优分析结果。

    课程大纲

    数据挖掘标准流程
    1. 数据挖掘概述
    2. 数据挖掘的标准流程(CRISP-DM)
    3. 商业理解
    4. 数据准备
    5. 数据理解
    6. 模型建立
    7. 模型评估
    8. 模型应用
    案例:客户流失预测及客户挽留
    1. 数据集的基本知识
      1. 存储类型
      2. 统计类型
      3. 角度
    2. SPSS工具简介
    数据挖掘标准流程
    1. 数据预处理的基本步骤
    2. 数据读取、数据理解、数据处理、变量处理、探索分析
    3. 数据预处理的主要任务
    4. 数据集成:多个数据集的合并
    5. 数据清理:异常值的处理
    6. 数据处理:数据筛选、数据精简、数据平衡
    7. 变量处理:变量变换、变量派生、变量精简
    8. 数据归约:实现降维,避免维灾难
    9. 数据集成
    10. 外部数据读入:Txt/Excel/SPSS/Database
    11. 数据追加(添加数据)
    12. 变量合并(添加变量)
    13. 数据理解(异常数据处理)
    14. 取值范围限定
    15. 重复值处理
    16. 无效值/错误值处理
    17. 缺失值处理
    18. 离群值/极端值处理
    19. 数据质量评估
    20. 数据准备:数据处理
    21. 数据筛选:数据抽样/选择(减少样本数量)
    22. 数据精简:数据分段/离散化(减少变量的取值个数)
    23. 数据平衡:正反样本比例均衡
    24. 数据准备:变量处理
    25. 变量变换:原变量取值更新,比如标准化
    26. 变量派生:根据旧变量生成新的变量
    27. 变量精简:降维,减少变量个数
    28. 数据降维
    29. 常用降维方法
    30. 如何确定变量个数
    31. 特征选择:选择重要变量,剔除不重要的变量
      • 从变量本身考虑
      • 从输入变量与目标变量的相关性考虑
      • 对输入变量进行合并
    • 因子分析(主成分分析)
      • 因子分析的原理
      • 因子个数如何选择
      • 如何解读因子含义
    案例:提取影响电信客户流失的主成分分析
    1. 数据探索性分析
    2. 常用统计指标分析
    3. 单变量:数值变量/分类变量
    4. 双变量:交叉分析/相关性分析
    5. 多变量:特征选择、因子分析
    演练:描述性分析(频数、描述、探索、分类汇总)
    数据可视化篇
    1. 数据可视化的原则
    2. 常用可视化工具
    3. 常用可视化图形
    4. 柱状图、条形图、饼图、折线图、箱图、散点图等
    5. 图形的表达及适用场景
    演练:各种图形绘制
    影响因素分析篇
    问题:如何判断一个因素对另一个因素有影响?比如营销费用是否会影响销售额?产品价格是否会影响销量?产品的陈列位置是否会影响销量?
    风险控制的关键因素有哪些?如何判断?
    1. 影响因素分析的常见方法
    2. 相关分析(衡量变量间的的相关性)
    问题:这两个属性是否会相互影响?影响程度大吗?营销费用会影响销售额吗? 
    • 什么是相关关系
    • 相关系数:衡量相关程度的指标
    • 相关系数的三个计算公式
    • 相关分析的假设检验
    • 相关分析的基本步骤
    • 相关分析应用场景
    演练:体重与腰围的关系
    演练:营销费用会影响销售额吗
    演练:哪些因素与汽车销量有相关性
    演练:通信费用与开通月数的相关分析
    案例:酒楼生意好坏与报纸销量的相关分析
    1. 方差分析
    问题:哪些才是影响销量的关键因素?
    • 方差分析解决什么问题
    • 方差分析种类:单因素/双因素可重复/双因素无重复
    • 方差分析的应用场景
    • 方差分析的原理与步骤
    • 如何解决方差分析结果
    演练:终端摆放位置与终端销量有关吗?
    演练:开通月数驿客户流失的影响分析
    演练:客户学历对消费水平的影响分析
    演练:广告和价格是影响终端销量的关键因素吗
    演练:营业员的性别、技能级别产品销量有影响吗?
    案例:2015年大学生工资与父母职业的关系
    案例:医生洗手与婴儿存活率的关系
    演练:寻找影响产品销量的关键因素
    1. 列联分析(两类别变量的相关性分析)
    2. 交叉表与列联表
    3. 卡方检验的原理
    4. 卡方检验的几个计算公式
    5. 列联表分析的适用场景
    案例:套餐类型对客户流失的影响分析
    案例:学历对业务套餐偏好的影响分析
    案例:行业/规模对风控的影响分析
    数据建模过程篇
    1. 预测建模六步法
    2. 选择模型:基于业务选择恰当的数据模型
    3. 属性筛选:选择对目标变量有显著影响的属性来建模
    4. 训练模型:采用合适的算法对模型进行训练,寻找到最合适的模型参数
    5. 评估模型:进行评估模型的质量,判断模型是否可用
    6. 优化模型:如果评估结果不理想,则需要对模型进行优化
    7. 应用模型:如果评估结果满足要求,则可应用模型于业务场景
    8. 数据挖掘常用的模型
    9. 数值预测模型:回归预测、时序预测等
    10. 分类预测模型:逻辑回归、决策树、神经网络、支持向量机等
    11. 市场细分:聚类、RFM、PCA等
    12. 产品推荐:关联分析、协同过滤等
    13. 产品优化:回归、随机效用等
    14. 产品定价:定价策略/最优定价等
    15. 属性筛选/特征选择/变量降维
    16. 基于变量本身特征
    17. 基于相关性判断
    18. 因子合并(PCA等)
    19. IV值筛选(评分卡使用)
    20. 基于信息增益判断(决策树使用)
    21. 模型评估
    22. 模型质量评估指标:R^2、正确率/查全率/查准率/特异性等
    23. 预测值评估指标:MAD、MSE/RMSE、MAPE、概率等
    24. 模型评估方法:留出法、K拆交叉验证、自助法等
    25. 其它评估:过拟合评估
    26. 模型优化
    27. 优化模型:选择新模型/修改模型
    28. 优化数据:新增显著自变量
    29. 优化公式:采用新的计算公式
    30. 模型实现算法(暂略)
    31. 好模型是优化出来的
    案例:通信客户流失分析及预警模型
    数值预测模型篇
    问题:如何预测产品的销量/销售金额?如果产品跟随季节性变动,该如何预测?新产品上市,如果评估销量上限及销售增速?
    1. 销量预测与市场预测——让你看得更远
    2. 回归预测/回归分析
    问题:如何预测未来的销售量(定量分析)?
    • 回归分析的基本原理和应用场景
    • 回归分析的种类(一元/多元、线性/曲线)
    • 得到回归方程的几种常用方法
    • 回归分析的五个步骤与结果解读
    • 回归预测结果评估(如何评估预测质量,如何选择最佳回归模型)
    演练:散点图找推广费用与销售额的关系(一元线性回归)
    演练:推广费用、办公费用与销售额的关系(多元线性回归)
    演练:让你的营销费用预算更准确
    演练:如何选择最佳的回归预测模型(曲线回归)
    • 带分类变量的回归预测
    演练:汽车季度销量预测
    演练:工龄、性别与终端销量的关系
    演练:如何评估销售目标与资源配置(营业厅)
    1. 时序预测
    问题:随着时间变化,未来的销量变化趋势如何?
    • 时序分析的应用场景(基于时间的变化规律)
    • 移动平均MA的预测原理
    • 指数平滑ES的预测原理
    • 自回归移动平均ARIMA模型
    • 如何评估预测值的准确性?
    案例:销售额的时序预测及评估
    演练:汽车销量预测及评估
    演练:电视机销量预测分析
    演练:上海证券交易所综合指数收益率序列分析
    演练:服装销售数据季节性趋势预测分析
    1. 自定义模型(如何利用规划求解进行自定义模型)
    案例:如何对餐厅客流量进行建模及模型优化
    分类预测模型篇
    问题:如何评估客户购买产品的可能性?如何预测客户的购买行为?如何提取某类客户的典型特征?如何向客户精准推荐产品或业务?
    1. 分类模型概述
    2. 常见分类预测模型
    3. 评估分类模型的常用指标
    4. 正确率、查全率/查准率、特异性等
    5. 逻辑回归模型(LR)
    6. 逻辑回归模型原理及适用场景
    7. 逻辑回归种类:二项/多项逻辑回归
    8. 如何解读逻辑回归方程
    案例:如何评估用户是否会购买某产品(二项逻辑回归)
    • 消费者品牌选择模型分析
    案例:多品牌选择模型分析(多项逻辑回归)
    1. 分类决策树(DT)
    问题:如何预测客户行为?如何识别潜在客户?
    风控:如何识别欠贷者的特征,以及预测欠贷概率?
    客户保有:如何识别流失客户特征,以及预测客户流失概率?
    • 决策树分类简介
    • 如何评估分类性能?
    案例:美国零售商(Target)如何预测少女怀孕
    演练:识别银行欠货风险,提取欠贷者的特征
    • 构建决策树的三个关键问题
      • 如何选择最佳属性来构建节点
      • 如何分裂变量
      • 修剪决策树
    • 选择最优属性
      • 熵、基尼索引、分类错误
      • 属性划分增益
    • 如何分裂变量
      • 多元划分与二元划分
      • 连续变量离散化(最优划分点)
    • 修剪决策树
      • 剪枝原则
      • 预剪枝与后剪枝
    • 构建决策树的四个算法
      • C5.0、CHAID、CART、QUEST
      • 各种算法的比较
    • 如何选择最优分类模型?
    案例:商场酸奶购买用户特征提取
    案例:电信运营商客户流失预警与客户挽留
    案例:识别拖欠银行货款者的特征,避免不良货款
    案例:识别电信诈骗者嘴脸,让通信更安全
    1. 人工神经网络(ANN)
    2. 神经网络概述
    3. 神经网络基本原理
    4. 神经网络的结构
    5. 神经网络的建立步骤
    6. 神经网络的关键问题
    7. BP反向传播网络(MLP)
    8. 径向基网络(RBF)
    案例:评估银行用户拖欠货款的概率
    1. 判别分析(DA)
    2. 判别分析原理
    3. 距离判别法
    4. 典型判别法
    5. 贝叶斯判别法
    案例:MBA学生录取判别分析
    案例:上市公司类别评估
    1. K近邻分类(KNN)
    2. 基本原理
    3. 关键问题
    4. 贝叶斯分类(NBN)
    5. 贝叶斯分类原理
    6. 计算类别属性的条件概率
    7. 估计连续属性的条件概率
    8. 贝叶斯网络种类:TAN/马尔科夫毯
    9. 预测分类概率(计算概率)
    案例:评估银行用户拖欠货款的概率
    1. 支持向量机(SVM)
    2. SVM基本原理
    3. 线性可分问题:最大边界超平面
    4. 线性不可分问题:特征空间的转换
    5. 维空难与核函数
    市场细分模型篇
    问题:我们的客户有几类?各类特征是什么?如何实现客户细分,开发符合细分市场的新产品?如何提取客户特征,从而对产品进行市场定位?
    1. 市场细分的常用方法
    2. 有指导细分
    3. 无指导细分
    4. 聚类分析
    5. 如何更好的了解客户群体和市场细分?
    6. 如何识别客户群体特征?
    7. 如何确定客户要分成多少适当的类别?
    8. 聚类方法原理介绍
    9. 聚类方法作用及其适用场景
    10. 聚类分析的种类
    11. K均值聚类(快速聚类)
    案例:移动三大品牌细分市场合适吗?
    演练:宝洁公司如何选择新产品试销区域?
    演练:如何评选优秀员工?
    演练:中国各省份发达程度分析,让数据自动聚类
    • 层次聚类(系统聚类):发现多个类别
    • R型聚类与Q型聚类的区别
    案例:中移动如何实现客户细分及营销策略
    演练:中国省市经济发展情况分析(Q型聚类)
    演练:裁判评分的标准衡量,避免“黑哨”(R型聚类)
    • 两步聚类
    • 主成分分析PCA分析
    • 主成分分析原理
    • 主成分分析基本步骤
    • 主成分分析结果解读
    演练:PCA探索汽车购买者的细分市场
    1. RFM模型客户细分框架

    客户价值评估
    客户价值评估与RFM模型
    问题:如何评估客户的价值?如何针对不同客户采取不同的营销策略?
    • RFM模型,更深入了解你的客户价值
    • RFM的客户细分框架理解
    • RFM模型与市场策略
    • RFM模型与活跃度
    演练:“双11”淘宝商家如何选择客户进行促销
    演练:结合响应模型,宜家IKE实现最大化营销利润
    演练:重购用户特征分析
    实战-数据挖掘项目
    实战1:客户流失预警与客户挽留之真实数据分析实践
    实战2:银行信用风险分析
    结束:课程总结与问题答疑。