大数据（Hadoop、Spark、NOSQL）案例分析与实践

大数据_云计算 / 2020-04-26 15:18:04
大数据（Hadoop、Spark、NOSQL）案例分析与实践
    马上咨询

    刘刚  云平台架构中心，系统架构设计师　 

    毕业于大连理工大学，本科，有多年大数据分析类大型项目的架构实施经验，目前任职TD,先后服务于北京大学软件研究所、高德软件、阿里巴巴和Teradata，实施过基于Hadoop平台PageRank算法的实现、高德大数据中心的建设(300+的Hadoop集群开发、优化、运维和提供服务)、阿里巴巴OPDS大数据平台维护、内蒙移动大数据平台试点(Hadoop)、台湾远传Hadoop平台开发和优化、兰州银行大数据平台的架构和开发(Hadoop)、招商银行的大数据咨询规划和设施。在大数据架构、数据集成、数据挖掘/机器学习、实时推荐和营销方面有丰富经验，了解大数据在互联网的使用场景。

    • 编写并出版《Hadoop应用开发技术详解》图书，销售10000+册——机械工业出版社(2014-01)
    • 专利《海量数据基于记录级别的容错》
    • 在infoQ和CSDN等技术论坛都有采访和发表过文章
    • 2015 Chinahadoop summit 的特约演讲嘉宾

    课程收益

    本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoop系统基础知识，概念及架构， Spark、Hadoo实战技巧，Spark、Hadoo经典案例等。通过本课程实践，帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识；理解Spark、Hadoo系统适用的场景；掌握Spark、Hadoo等初中级应用开发技能；搭建稳定可靠的Spar、Hadook集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。

    培训对象

    各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。

    学员基础

    了解Linux系统及相关语言环境。

    课程大纲

    主题

    内容

    大数据在国内的运用

    大数据在国内的使用介绍
    离线计算框架介绍
    流式计算框架介绍
    内存计算框架介绍
    内存流式计算介绍

    大数据的整体技术架构

    开源大数据技术架构
    开源大数据常用组件之间的依赖关系
    离线计算框架介绍
    —Mapreduce、Hive、Tez、Presto、Kylin
    实时查询框架介绍
    —NoSQL、Hbase
    实时计算框架介绍
    —Kafka、Strom、Spark Streaming
    内存计算框架介绍
    —Spark、SparkSQL、SparkMllib、SparkR
    前沿大数据技术介绍
    —Flink、Drill、Druid、KUDU等
    海量日志快速检索架构
    —ELK（Elasticsearch、Logstash、Kibana）等

    Hadoop平台优化点

    Linux系统的优化
    最佳硬件的选择和建议
    HDFS架构和原理
    HDFS的优化、维护和经常出现的问题
    MapReduce架构和原理
    MapReduce的优化、维护和经常出现的问题
    Yarn的内存、CPU和IO的优化
    Hbase的优化和生产环境常见的问题
    Hive的优化和Hive的改进工具介绍
    Impala、Kylin、Presto工具介绍
    RCFile、ORC和parquet格式介绍

    Hadoop核心组件的运维和配置

    HDFS的元数据管理
    FSimage和Edit文件解析
    手动修改FSimage和Edit文件
    HDFS HA的架构运维解析
    Yarn服务运维详解
    Yarn核心配置参数的详解
    Hbase服务运维详解
    手动设置Split和Compaction操作
    RS宕机的运维处理
    Hbase 超大表的优化实践

    Yarn实战

    Yarn架构和原理
    ResourceManager工作原理
    NodeManager工作原理
    ApplicationMaster工作原理
    Yarn的资源控制机制
    基于内存的控制设置
    基于CPU的控制设置
    基于IO的控制这是
    Yarn为某个运用独立分配资
    基于队列的资源管理配置
    基于底层硬件的SLA资源配置
    不同部门或者用户的资源配置

    NoSQL和Hbase使用

    NoSQL介绍
    NoSQL应用场景
    Hbase原理
    Hmaster详解
    RegionServer详解
    Zookeeper介绍
    Hbase安装
    Hbase逻辑视图介绍
    Hbase物理视图介绍
    Hbase的二级索引介绍
    Hbase 的DDL和DML
    Hbase表的设计案例
    Hbase的import功能介绍
    MapReduce操作Hbase
    Hbase的 thrift Server介绍
    Hbase 的API介绍
    Hbase使用场景介绍
    Hbase案例分析
     实战：
    MapReduce操作Hbase实战
    Hbase的API实战
    Hbase表结构设计实战
    银行信用卡刷卡记录的查询

    Spark Streaming原理和实践

    Spark Streaming原理
     1．Spark流式处理架构
     2．DStream的特点
     3．Dstream的操作和RDD的区别
     4．SatefulRDD和windowRDD实战
     5．Kafka+Spark Steaming实战
     6．Spark Streaming的优化
     Kafka+Spark Streaming实例
     -文本实例
     网络数据处理

    Spark SQL原理和实践

    Spark SQL原理
     1．Spark SQL的Catalyst优化器
     2．Spark SQL内核
     3．Spark SQL和Hive
     DataFrame和DataSet架构
     Fataframe、DataSet和Spark SQL的比较
     SparkSQL parquet格式实战
     Spark SQL的实例和编程
     -Spark SQL的实例操作demo
     Spark SQL的编程

    Spark优化

    Spark SQL的优化
     基于Spark计算的文件格式选择
     Spark on Yarn的优化
     Spark SQL执行计划的优化
     Spark 内存管理的机制

    互联网大数据案例分享

    金融大数据应用案例介绍
    某银行基于大数据平台风险监控案例
    某银行基于大数据数据湖的案例
    SAP的HANA实时计算平台案例分析


    最新动态

    点击阅读更多内容
    返回顶部