大数据处理行业应用分析与项目提案最佳实践

前沿技术 / 2023-11-21 17:34:55
大数据处理行业应用分析与项目提案最佳实践
    马上咨询

    讲师介绍

    杜威老师  高级研发管理顾问，资深系统架构师

    曾在多个全球500强研发中心研发中心服务近17年时间，参与多个全球协作的大型研发过程，积累了丰富的研发设计及管理的实战经验。

    国内最早接触大数据实时分析平台的一批架构师，曾在某全球500强研发中心设计大数据平台的应用架构，及海量实时数据分析平台的架构。在Hadoop、Spark、私有云计算架构体系具有丰富的设计、原型、性能调优的实践经验。参与对Hadoop、Spark体系的源码深入分析及研究工作。

    近17年从事研发管理、产品管理及高端架构设计方面的工作。杜先生同时是微软企业护航专家。具有10多款大中型产品的研发管理、设计、实施及质量管理经验，包括可口可乐GKPMS，Schlumberger Horizon（全球下一代能源勘探开发平台）Viewers，RTPM（全球实时油藏分析与管理平台），Dolphin（面向全球的中间件开发平台），中国移动BI个性化客户沟通项目， CCM-Customer Communication Management（全球最大个性化客户沟通产品），Sagent（全球著名BI产品）。

    近17年的产品及项目的研发过程中，在多个全球协作开发的大型项目上实践过，如：大数据分析体系架构设计， 基于大数据体系下的高并发架构设计，大型分布式应用系统的核心架构设计，基于领域模型的软件架构设计，大型海量数据处理系统架构设计，大型可扩展性系统架构设计，通用解耦系统架构方案设计， 大型高并发系统架构设计， 大型高可靠系统架构设计，大型高性能系统架构设计，基于用例的需求分析，基于功能点的项目管理过程实践，敏捷开发， 单元测试， TDD(测试驱动的开发)， 持续集成， 高质量代码管理，等多种先进的软件架构

    课程介绍

    本次课程以实际的大数据应用场景分析与大数据项目提案为主，并分享大数据处理与实际大规模Hadoop/Spark应用的一线经验，实践与理论相结合，让学员能够对大数据处理技术有一个清晰明了的认识，理解大数据系统系统适用的场景，帮助学员更加有效的与甲方单位进行大数据项目的交流与提案。

    课程实施

    课程通过4种方式实施：

    • 实践经验分享
    • 大型实例案例分析
    • 深入探讨
    • 系统性理论知识梳理

    课程特色

    本课程方案注重课程的实战过程，去掉了一定量的理论，把实战的比重增大到总课时数的60%。其余40%为理论以及指导性的流程。


    课程安排（2天）

    时间

    主题

    内容见要

    第一天

    大数据应用综述及其前瞻分析分析

    • 海量数据的时代正在到来
    • 什么应用适合大数据产品方案
    • 数据量激增的原因及其场景分析
    • 大数据与传统关系型数据库的系统综合构建-统一与差异
    • 案例分析：一个典型大数据处理平台的架构分析
    • 大数据需要解决哪些问题
    • 关系数据库的瓶颈
    • NoSQL的优势
    • 数据处理的CAP原则

    海量数据处理系统

    的架构设计的解决方案分析


    这个部分主要讲解海量数据处理的架构设计，针对海量数据的问题设计海量数据的架构解决方案。

    • 海量数据处理的系统场景
    • 大数据时代的数据架构解决方案
    • 海量数据处理的架构汇总
    • 8种海量数据处理的架构设计比较
    • 分布式系统架构的海量数据处理设计
    • 海量数据处理设计

    典型案例分析：结合一个500强实时数据系统的实例案例进行分析，详细分析海量数据处理的架构设计

    大数据应用的行业特点及其价值分析

    • 在线旅游行业的大数据应用特点及其架构分析
    • 移动数据行业的大数据应用特点及其架构分析
    • 电子商务行业的大数据应用特点及其架构分析
    • 能源发现行业的大数据应用特点及其架构分析
    • 能源节省行业的大数据应用特点及其架构分析
    • 基础设施管理行业的大数据应用特点及其架构分析
    • 图像处理行业的大数据应用特点及其架构分析
    • 欺诈检测行业的大数据应用特点及其架构分析
    • IT安全行业的大数据应用特点及其架构分析
    • 医疗保健行业的大数据应用特点及其架构分析

    大数据行业解决方案的需求分析

    • 承接大数据项目的主要关键技术点
    • 甲方企业所需要构建的大数据环境要求
    • 甲方企业对大数据的应用场景要求
    • 甲方企业对大数据的应用需求要求
    • 大数据行业解决方案的主要应用模块分析
    • 大数据行业解决方案的主要功能点分析
    • 大数据应用中的关键数据分析模型的建立
    • 甲方客户中的关键角色-业务专家
    • 如何与业务专家确认大数据分析的核心算法模型
    • 如何更加有效的促进大数据项目的承接与立项
    • 典型案例分析：结合多个大数据提案的实例案例进行分析，详细分析大数据在行业的提案设计




    大数据行业解决方案的项目管理与实施

    • 大数据应用的开发流程
    • 大数据应用的团队构成及其工作过程：需求团队，实现团队，算法建模团队，实施团队
    • 大数据应用的项目管理与项目实现的关键点管理
    • 大数据应用的需求分析阶段的项目管理过程
    • 大数据应用的架构设计阶段的项目管理过程
    • 大数据应用的代码实现阶段的项目管理过程
    • 大数据应用的测试阶段的项目管理过程
    • 大数据应用的实施过程管理

    典型案例分析：分析一个大数据的实例项目， 其项目管理过程与实施过程

    综合性架构综述及其应用场景分析-帮助进行大数据中NoSQL体系的认知及提案设计

    典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析NoSQL的综合开源架构应用多种NoSQL的产品集合应用

    大数据下的数据挖掘体系与智能分析-帮助进行大数据中数据挖掘的提案设计


    • 大数据中数据挖掘体系综述
    • 大数据系统的数据挖掘的核心架构
    • 找到大数据中关键数据关系-形成数据挖掘链
    • 使用Hive进行数据分析
    • 通过Pig进行关系型数据库的数据ETL过程
    • 大数据统计分析
    • 优秀的大数据挖掘-R语言
    • 大数据挖掘可视化
    • 典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析HBase的开源架构应用及其使用场景与整体系统架构的结合及其架构提案过程

    基于大数据的项目提案设计与撰写

    • 大数据方案的主体结构
    • 大数据方案中的应用需求部分撰写
    • 大数据方案中的业务体系设计部分撰写
    • 大数据方案中的数据采集体系设计与撰写
    • 大数据方案中的数据传输体系设计与撰写
    • 大数据方案中的数据存储体系设计与撰写
    • 大数据方案中的数据分析与核心算法建模设计与撰写
    • 大数据方案中的分析结果展示设计与撰写
    • 大数据方案的整体架构设计与撰写
    • 大数据整体架构图建模
    • 大数据提案的撰写与评审

    典型案例分析：结合多个大数据提案的实例案例进行分析，详细分析大数据在能源行业的提案设计

    大数据营销方案撰写-大数据系统白皮书

    • 大数据技术白皮书的文档结构
    • 白皮书中的行业分析
    • 解决方案部分的文档撰写
    • 白皮书中的行业特性功能分析

    典型案例分析：分析一个全球100强研发中心的大数据项目， 其中技术白皮书的主要文档结构及其撰写的关键点

    咨询、建议及深入探讨

    • 基于大数据的项目如何立项
    • 基于大数据的项目如何与甲方单位更有效的沟通
    • 基于大数据的项目如何进行销售及服务、运维
    • 基于大数据的项目如何进行提案设计


    最新动态

    点击阅读更多内容
    返回顶部