Python 大数据实战-大规模爬取分析与可视化

Python 大数据实战-大规模爬取分析与可视化
    马上咨询

    Lynn  高级技术经理、架构师(授课老师)

    美国纳斯达克上市的顶级大数据技术平台公司的高级技术经理、架构师,历任 EMC首席工程师、趋势科技技术经理等,从业超过 10 年,熟悉大数据平台构建技术、大数据分析可视化技术,安全领域技术等。Python 领域公认专家,擅长 Python、C++、JS 与 Scala。在大数据处理与安全领域,拥有 6 项美国专利,PyCon 首席讲师,TDI 讲师,曾经在 PyCon2015、PyCon2016 分享过 6 场与多达 5 个议题覆盖大数据分析可视化与工作流调度、函数式、设计模式与 Python 核心语言等方面,听众赞誉极高。

    课程简介

    内容涵盖三个大的方面:

    核心语法与设计模式

    • 并发技术包括多线程多进程与并发同步模式
    • 测试、调试与排错技术

    目标:

    掌握 Python 核心语法并灵活使用

    • 掌握 Python3 核心变化并灵活使用
    • 掌握 Python 设计的常见模式并灵活应用
    • 掌握 Python 并发技术与模式,并灵活应用
    • 掌握测试、调试与排错技巧和场景,并灵活应用

    课程亮点

    顶级大数据平台公司的资深架构师、最权威 Python 大会 PyCon 首席讲师讲授,实战与 10 年+经验与技巧结合,掌握数据分析与可视化以及在 Python 中应用的最佳捷径。

    • 全真案例,借助案例与数据分析的知识与原理,借助最佳实践,帮助您提高数据爬取、处理分析与可视化能力,从而获取大数据带来的价值。
    • 关注业界流行工具包与最佳实践,以实战训练驱动对数据获取、处理、分析与可视化进行理解与运用。

    在课程中要逐一解决的问题:

    爬虫难以编写,执行效率低下

    • 爬虫不够灵活,过于简单,容易被识别,容易出错,自适应差
    • 数据规整耗时耗力,效果不佳
    • 分析方法缺乏,难以快速有效地提取信息与要素
    • 可视化效率低下,无法满足需求
    • 分析可视化架构不够健全,适应性差

    实施方法:讲原理(不玩理论)、讲方法、讲技巧、讲干货;经验分享;教训总结。

    目 的:原理清晰,打牢地基,保证上层建筑质量。

    课程大纲 

    课程-03.jpg