C02 大数据分析与挖掘工具之Python开发实战

大数据_云计算 / 2020-04-26 15:10:13
C02 大数据分析与挖掘工具之Python开发实战
    马上咨询

    傅一航  华为系大数据专家，计算机软件与理论硕士研究生（研究方向：数据挖掘、搜索引擎） 

    在华为工作十年，五项国家专利，在华为工作期间获得华为数项奖项，曾在英国、日本、荷兰和比利时等海外市场做项目，对大数据有深入的研究，傅老师专注于大数据分析与挖掘等应用技术，以及大数据系统部署解决方案，旨在将大数据的数据分析、数据挖掘、数据建模应用于行业及商业领域，解决行业实际的问题，傅老师目前致力于将大数据技术应用于通信、金融、航空、电商、互联网、政府等领域，傅老师的课程最大特色：实战性强！“围绕业务问题+搭建分析框架+运用分析方法+建立分析模型+熟悉分析工具+形成业务策略”，以商业问题为起点，基于实际的业务应用场景（明确目的），搭建全面系统的业务框架和分析维度（分析思路），选择最合适的方法（分析方法），深入浅出的理论讲解（分析模型），使用简单实用的工具操作（分析工具），对分析结果进行有效的解读（数据可视化），最终形成具体的业务建议，实现业务分析/数据分析的闭环。

    课程目标

    Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#外最受欢迎的语言。本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。通过本课程的学习，达到如下目的：

    • 全面掌握Python语言以及其编程思想。
    • 掌握常用扩展库的使用，特别是数据挖掘相关库的使用。
    • 学会使用Python完成数据挖掘项目整个过程。
    • 掌握利用Python实现可视化呈现。
    • 掌握数据挖掘常见算法在Python中的实现。

    授课对象

    业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员。

    学员要求

    课程为实战课程，要求：

    • 每个学员自备一台便携机(必须)。
    • 便携机中事先安装好Python3.6版本及以上。

    注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。

    授课方式

    语言基础 +挖掘模型+案例演练+开发实践+可视化呈现，用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

    课程大纲

    主题内容

    • Python语言基础

    目的：掌握基本的Python编程思想与编程语句，熟悉常用数据结构的操作


    1. Python简介
    2. 开发环境搭建
      1. Python的安装
      2. 扩展库的安装
    3. 掌握Python的简单数据类型
      1. 字符串的使用及操作
      2. 整数、浮点数
    4. 掌握基本语句：
      1. if、while、for、print等
      2. 基本运算：
      3. 函数定义、参数传递、返回值
    5. 掌握复杂的数据类型：列表/元组
      1. 列表操作：访问、添加、修改、删除、排序
      2. 列表切片、复制等
      3. 列表相关的函数、方法
      4. 元组的应用
    6. 复杂数据类型：字典
      1. 创建、访问、修改、删除、遍历
      2. 字典函数和方法
    7. 复杂数据类型：集合
    8. 掌握面向对象编程思想
      1. 创建类、继承类
      2. 模块
    9. 函数定义、参数传递、返回值
    10. 标准库与扩展库的导入
    11. 异常处理:try-except块

    演练：基本的Python编程语句

    • Python扩展库

    目的：掌握数据集结构及基本处理方法，进一步巩固Python语言


    1. 数据挖掘常用扩展库介绍
      1. Numpy数组处理支持
      2. Scipy矩阵计算模块
      3. Matplotlib数据可视化工具库
      4. Pandas数据分析和探索工具
      5. StatsModels统计建模库
      6. Scikit-Learn机器学习库
      7. Keras深度学习（神经网络）库
      8. Gensim文本挖掘库
    2. 数据集读取与操作：读取、写入
      1. 读写文本文件
      2. 读写CSV文件
      3. 读写Excel文件
      4. 从数据库获取数据集
    3. 数据集的核心数据结构（Pandas数据结构）
      1. DataFrame对象及处理方法
      2. Series对象及处理方法

    演练：用Python实现数据的基本统计分析功能

    • 数据可视化处理

    目的：掌握作图扩展库，实现数据可视化


    1. 常用的Python作图库
      1. Matplotlib库
      2. Pygal库
    2. 实现分类汇总

    演练：按性别统计用户人数

    演练：按产品+日期统计各产品销售金额

    3.各种图形的画法

    1. 直方图
    2. 饼图
    3. 折线图
    4. 散点图

    4.绘图的美化技巧

    演练：用Python库作图来实现产品销量分析，并可视化

    • 数据理解和数据准备

    目的：掌握数据预处理的基本环节，以及Python的实现


    1. 数据预处理
      1. 异常值处理：3σ准则，IQR准则
      2. 缺失值插补：均值、拉格朗日插补
      3. 数据筛选/抽样
      4. 数据的离散化处理
      5. 变量变换、变量派生
    2. 数据的基本分析
      1. 相关分析：原理、公式、应用
      2. 方差分析：原理、公式、应用
      3. 卡方分析：原理、公式、应用
      4. 主成分分析：降维

    案例：用Python实现数据预处理及数据准备

    • 分类预测模型实战


    1. 常见分类预测的模型与算法
    2. 如何评估分类预测模型的质量
      1. 查准率
      2. 查全率
      3. ROC曲线
    3. 逻辑回归分析模型
      1. 逻辑回归的原理
      2. 逻辑回归建模的步骤
      3. 逻辑回归结果解读

    案例：用sklearn库实现银行贷款违约预测

    4.决策树模型

    1. 决策树分类的原理
    2. 决策树的三个关键问题
    3. 决策树算法与实现

    案例：电力窃漏用户自动识别

    5.决策树算法

    1. 最优属性选择算法：ID3、ID4.0、ID5.0
    2. 连续变量分割算法
    3. 树剪枝：预剪枝、后剪枝

    6.人工神经网络模型（ANN）

    • 神经网络概述
    • 神经元工作原理
    • 常见神经网络算法（BP、LM、RBF、FNN等

    案例：神经网络预测产品销量

    7.支持向量机（SVM）

    1. SVM基本原理
    2. 维灾难与核心函数

    案例：基于水质图像的水质评价

    8.贝叶斯分析

    1. 条件概率
    2. 常见贝叶斯网络

    • 数值预测模型实战


    1. 常用数值预测的模型
      1. 通用预测模型：回归模型
      2. 季节性预测模型：相加、相乘模型
      3. 新产品预测模型：珀尔曲线与龚铂兹曲线
    2. 回归分析概念
    3. 常见回归分析类别
    4. 回归分析常见算法
      1. 梯度上升/下降法
      2. 普通最小二乘法OLS
      3. 局部加权线性回归LWLR
      4. 岭回归（RR）
      5. 套索回归Lasso
      6. ElasticNet回归

    • 聚类分析（客户细分）实战


    1. 客户细分常用方法
    2. 聚类分析（Clustering）
      1. 聚类方法原理介绍及适用场景
      2. 常用聚类分析算法
      3. 聚类算法的评价

    案例：使用SKLearn实现K均值聚类

    案例：使用TSNE实现聚类可视化

    3.RFM模型分析

    1. RFM模型，更深入了解你的客户价值
    2. RFM模型与市场策略

    案例：航空公司客户价值分析

    • 关联规则分析实战


    1. 关联规则概述
    2. 常用关联规则算法
      • Apriori算法
        • 发现频繁集
        • 生成关联规则
    • FP-Growth算法
      • 构建FP树
      • 提取规则

    3. 时间序列分析

    案例：使用apriori库实现关联分析

    案例：中医证型关联规则挖掘

    • 案例实战

    1. 客户流失预测和客户挽留模型
    2. 银行欠贷风险预测模型
    结束：课程总结与问题答疑。

    最新动态

    点击阅读更多内容
    返回顶部