曾在多个全球500强研发中心研发中心服务近17年时间,参与多个全球协作的大型研发过程,积累了丰富的研发设计及管理的实战经验,国内最早接触大数据实时分析平台的一批架构师,曾在某全球500强研发中心设计大数据平台的应用架构,及海量实时数据分析平台的架构,在Hadoop、Spark、私有云计算架构体系具有丰富的设计、原型、性能调优的实践经验。参与对Hadoop、Spark体系的源码深入分析及研究工作。
近17年从事研发管理、产品管理及高端架构设计方面的工作。具有10多款大中型产品的研发管理、设计、实施及质量管理经验,包括可口可乐GKPMS,Schlumberger Horizon(全球下一代能源勘探开发平台)Viewers,RTPM(全球实时油藏分析与管理平台),Dolphin(面向全球的中间件开发平台),中国移动BI个性化客户沟通项目, CCM- Customer CommunicationManagement(全球最大个性化客户沟通产品),Sagent(全球著名BI产品)。近17年的产品及项目的研发过程中,在多个全球协作开发的大型项目上实践过,如:大数据分析体系架构设计,基于大数据体系下的高并发架构设计,大型分布式应用系统的核心架构设计,基于领域模型的软件架构设计,大型海量数据处理系统架构设计,大型可扩展性系统架构设计,通用解耦系统架构方案设计,大型高并发系统架构设计,大型高可靠系统架构设计,大型高性能系统架构设计,基于用例的需求分析,基于功能点的项目管理过程实践,敏捷开发, 单元测试, TDD(测试驱动的开发), 持续集成,高质量代码管理,等多种先进的软件架构
课程介绍
本次课程以实际的大数据应用场景分析与大数据项目提案为主,并分享大数据处理与实际大规模Hadoop/Spark应用的一线经验,实践与理论相结合,让学员能够对大数据处理技术有一个清晰明了的认识,理解大数据系统系统适用的场景,帮助学员更加有效的与甲方单位进行大数据项目的交流与提案。
课程实施
课程通过4种方式实施:
课程特色
本课程方案注重课程的实战过程,去掉了一定量的理论,把实战的比重增大到总课时数的60%。其余40%为理论以及指导性的流程。
课程内容
第一天 |
大数据应用综述及其前瞻分析分析 Ø 海量数据的时代正在到来 Ø 什么应用适合大数据产品方案 Ø 数据量激增的原因及其场景分析 Ø 大数据与传统关系型数据库的系统综合构建-统一与差异 Ø 案例分析:一个典型大数据处理平台的架构分析 Ø 大数据需要解决哪些问题 Ø 关系数据库的瓶颈 Ø NoSQL的优势 Ø 数据处理的CAP原则 |
海量数据处理系统的架构设计的解决方案分析 这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。 Ø 海量数据处理的系统场景 Ø 大数据时代的数据架构解决方案 Ø 海量数据处理的架构汇总 Ø 8种海量数据处理的架构设计比较 Ø 分布式系统架构的海量数据处理设计 Ø 海量数据处理设计 典型案例分析:结合一个500强实时数据系统的实例案例进行分析,详细分析海量数据处理的架构设计 |
大数据应用的行业特点及其价值分析 Ø 在线旅游行业的大数据应用特点及其架构分析 Ø 移动数据行业的大数据应用特点及其架构分析 Ø 电子商务行业的大数据应用特点及其架构分析 Ø 能源发现行业的大数据应用特点及其架构分析 Ø 能源节省行业的大数据应用特点及其架构分析 Ø 基础设施管理行业的大数据应用特点及其架构分析 Ø 图像处理行业的大数据应用特点及其架构分析 Ø 欺诈检测行业的大数据应用特点及其架构分析 Ø IT安全行业的大数据应用特点及其架构分析 Ø 医疗保健行业的大数据应用特点及其架构分析 |
大数据行业解决方案的需求分析 Ø 承接大数据项目的主要关键技术点 Ø 甲方企业所需要构建的大数据环境要求 Ø 甲方企业对大数据的应用场景要求 Ø 甲方企业对大数据的应用需求要求 Ø 大数据行业解决方案的主要应用模块分析 Ø 大数据行业解决方案的主要功能点分析 Ø 大数据应用中的关键数据分析模型的建立 Ø 甲方客户中的关键角色-业务专家 Ø 如何与业务专家确认大数据分析的核心算法模型 Ø 如何更加有效的促进大数据项目的承接与立项 Ø 典型案例分析:结合多个大数据提案的实例案例进行分析,详细分析大数据在行业的提案设计 |
大数据行业解决方案的项目管理与实施 Ø 大数据应用的开发流程 Ø 大数据应用的团队构成及其工作过程:需求团队,实现团队,算法建模团队,实施团队 Ø 大数据应用的项目管理与项目实现的关键点管理 Ø 大数据应用的需求分析阶段的项目管理过程 Ø 大数据应用的架构设计阶段的项目管理过程 Ø 大数据应用的代码实现阶段的项目管理过程 Ø 大数据应用的测试阶段的项目管理过程 Ø 大数据应用的实施过程管理 典型案例分析:分析一个大数据的实例项目, 其项目管理过程与实施过程 |
NoSQL的综合性架构综述及其应用场景分析-帮助进行大数据中NoSQL体系的认知及提案设计 Ø NoSQL综述解决的实际问题 Ø 关系数据库暴露的问题 n High performance并发要求 n Huge Storage的存取 n High Scalability的服务器分布要求 n High Availability的服务器健壮要求 Ø 关系型数据库失效的场景 Ø NoSQL与关系型数据库设计理念比较 Ø NoSQL设计模型分析 n K-V模型的Column设计 n Document模型的B Tree设计 n Object模型的基于Object数据访问设计 Ø NoSQL实例分析 n Apache Hbase架构解析 n Facebook Cassandra架构解析 n Google BigTable架构解析 典型案例分析:结合一个500强实时数据采集系统的实例案例进行分析,详细分析NoSQL的综合开源架构应用多种NoSQL的产品集合应用 |
NoSQL中K-V Value型数据库Memcache与Redis的架构分析及其开发实施过程-帮助进行大数据中内存缓存的提案设计 Ø 内存缓存架构对于大数据处理的重大意义 Ø Memcache核心架构分析 Ø Memcache在大数据中的架构适用场景 Ø Redis核心架构分析 Ø Redis在大数据中的架构适用场景 Ø Memcache与Redis的差异及其优劣 Ø 基于Memcache与Redis的大数据应用的架构图设计 Ø 基于Memcache与Redis的大数据提案设计 Ø 基于Memcache与Redis的应用开发 Ø 基于Memcache与Redis的实施过程 典型案例分析:结合多个内存缓存架构的实例案例进行分析,详细分析Memcahe与Redis在大数据处理用的综合应用 |
NoSQL中文档型数据库MongoDB与CouchDB架构分析-帮助进行大数据中全文检索的提案设计 Ø 全文检索架构在大数据处理中的应用 Ø MongoDB的核心架构分析 Ø MongoDB在大数据中的架构适用场景 Ø MongoDB与关系型数据库的结合 Ø MongoDB强大的查询语言 Ø 基于MongoDB的大数据应用的架构图设计 Ø 基于MongoDB的大数据提案设计 Ø 基于MongoDB的应用开发 Ø 基于MongoDB的实施过程 典型案例分析:结合多个MongoDB架构的实例案例进行分析,详细分析MongoDB在大数据处理用的综合应用 |
大数据核心应用Hadoop/Spark体系的架构分析-帮助进行大数据中Hadoop的提案设计 Ø 文件存储-HDFS Ø HDFS-工作原理 Ø 数据计算MapReduce Ø MapReduce工作原理 Ø 基于Hadoop的大数据分析架构 Ø SQL分析-Hive Ø 基于Spark的大数据分析架构 Ø 分布式协调系统—Zookeeper Ø 基于Hadoop/Spark的大数据应用的架构图设计 Ø 基于于Hadoop/Spark的大数据提案设计 Ø 基于于Hadoop/Spark的应用开发 Ø 基于于Hadoop/Spark的实施过程 典型案例分析:结合多个Hadoop/Spark架构的实例案例进行分析,详细分析Hadoop/Spark在大数据处理用的综合应用 |
第二天 |
NoSQL中列存储型数据库Hbase架构分析-帮助进行大数据中列存储的提案设计 Ø 为什么使用列数据库 Ø 为什么使用HBase Ø Hadoop的架构体系与HBase的应用关系 Ø HBase的核心设计机制 Ø HBase的使用场景?什么情况下使用HBase,为什么使用HBase,HBase使用带来的实践价值 Ø 关系型数据库与HBase Ø HBase架构分析 Ø 基于HBase项目架构设计 Ø 案例演练HBase的主体特性 n Features:Scalability实现 n HBaseFeatures:Column-Oriented实现 n High Performance Random R/W实现 n HBase Features: Scan Search实现 n HBase Features: High‐Availability实现 Ø 基于HBase项目的解决方案设计 Ø 基于Hbase的大数据提案设计 Ø 基于Hbase的应用开发 Ø 基于Hbase的实施过程 Ø 典型案例分析:结合一个500强实时数据采集系统的实例案例进行分析,详细分析HBase的开源架构应用及其使用场景与整体系统架构的结合及其架构提案过程 |
大数据下的数据挖掘体系与智能分析-帮助进行大数据中数据挖掘的提案设计 Ø 大数据中数据挖掘体系综述 Ø 大数据系统的数据挖掘的核心架构 Ø 找到大数据中关键数据关系-形成数据挖掘链 Ø 使用Hive进行数据分析 Ø 通过Pig进行关系型数据库的数据ETL过程 Ø 大数据统计分析 Ø 优秀的大数据挖掘-R语言 Ø 大数据挖掘可视化 Ø 典型案例分析:结合一个500强实时数据采集系统的实例案例进行分析,详细分析HBase的开源架构应用及其使用场景与整体系统架构的结合及其架构提案过程 |
Ø 大数据方案的主体结构 Ø 大数据方案中的应用需求部分撰写 Ø 大数据方案中的业务体系设计部分撰写 Ø 大数据方案中的数据采集体系设计与撰写 Ø 大数据方案中的数据传输体系设计与撰写 Ø 大数据方案中的数据存储体系设计与撰写 Ø 大数据方案中的数据分析与核心算法建模设计与撰写 Ø 大数据方案中的分析结果展示设计与撰写 Ø 大数据方案的整体架构设计与撰写 Ø 大数据整体架构图建模 Ø 大数据提案的撰写与评审 典型案例分析:结合多个大数据提案的实例案例进行分析,详细分析大数据在能源行业的提案设计 |
大数据营销方案撰写-大数据系统白皮书 Ø 大数据技术白皮书的文档结构 Ø 白皮书中的行业分析 Ø 解决方案部分的文档撰写 Ø 白皮书中的行业特性功能分析 典型案例分析:分析一个全球100强研发中心的大数据项目, 其中技术白皮书的主要文档结构及其撰写的关键点 |
咨询、建议及深入探讨 Ø 基于大数据的项目如何立项 Ø 基于大数据的项目如何与甲方单位更有效的沟通 Ø 基于大数据的项目如何进行销售及服务、运维 Ø 基于大数据的项目如何进行提案设计 |