分布式内存数据库技术与应用

数据库 / 2020-04-26 16:51:55
分布式内存数据库技术与应用
    马上咨询

    蒋老师  毕业学校清华大学/荷兰Vrije大学博士

    对大数据关键技术有深刻了解和实践经验，如大数据处理、Hadoop、Hive、HBase、Spark、NoSQL数据库、键值存储系统、流数据处理、数据挖掘等，有多年存储系统研发经验，对本地与分布式存储系统有深刻了解和项目开发经验，包括 IO栈优化，基于SSD的存储系统性能优化，集群文件系统研发，云存储等，对云计算关键技术有深刻了解和实践经验，如分布式系统、虚拟化、分布式文件系统、 云存储等，熟悉主流的云计算平台，有商业（AmazonEC2）与开源云计算平台（OpenStack） 的实践经验，熟悉虚拟化关键技术，包括CPU虚拟化，IO虚拟化和内存虚拟化；熟悉主流虚拟化产 品，包括VMWare，Xen，KVM等；熟悉OpenStack云管理平台

    主讲课程：大数据系统与架构；高可伸缩Web应用架构；云计算平台、架构与技术；虚拟化；云 存储等相关课程

    研究及项目经历

    • 基于Hadoop的海量时间序列数据分析系统
    • 掌握Hadoop框架核心技术，HDFS部署，MapReduce开发，以及Hadoop调优
    • 基于列存储的Hadoop海量数据分析系统开发，支持列存储，支持数据段内快速索 引查询，支持SQL接口查询，支持兼容Hive
    • 掌握Hadoop框架外延系统HBase，Hive等；设计与优化Hive SQL分析引擎，支持Join查询；面向时间序列数据分析，优化Hive存储引擎，支持高效Hive SQL查询
    • 面向实时网络数据包分析的Spark流处理系统
    • 掌握流处理系统核心技术和基于内存的大数据分析技术，包括Kafka，DistributedLog， Storm 和SparkStreaming
    • 面向海量网络包数据实时处理与分析，基于Kafka，HDFS和SparkStreaming开发网 络包流处理系统，支持快速范围与扫描查询
    • 面向智能家电物联网的高并发数据存取与分析系统
    • 掌握NoSQL数据库核心技术与架构，包括HBase，Redis，MongoDB和Cassandra
    • 面向高并发读写的物联网小粒度数据，基于HBase和Redis设计与开发分布式海量 数据存取系统，并与Spark对接，支持快速的字段查询与分析
    • 基于OpenStack的云计算平台开发项目
    • 基于OpenStack开发定制化云计算平台，提供虚拟机、虚拟集群和集群自动伸缩功 能；支持主流虚拟化软件包括VMWare，Xen和KVM
    • 负责云计算平台总体架构设计；负责大规模虚拟机操作性能调优，网络虚拟化和存储虚拟化实现和性能优化
    • 基于AmazonEC2云计算平台的Web应用动态资源分配与调度
    • 针对云计算平台虚拟机性能异构特性，测试不同虚拟化产品性能差异，包括 VMWare，Xen，KVM，并提出利用在线Profiling技术对虚拟机进行性能建模，并进 行性能预测的动态资源分配机制
    • 在AmazonEC2虚拟机平台上开发实现上述动态资源分配机制
    • 高可伸缩性Web应用系统开发
    • 深入了解提高Web应用可伸缩性的主流技术，深入了解主流的Key-Value数据存储 和NoSQL数据库，如GoogleBigtable,AmazonDynamo等
    • 根据数据库事务处理、写操作和读操作的不同特点，对Web应用数据按属性和语 义进行垂直和水平分解，并对数据进行重新聚合，提高应用可伸缩性

    授课经历

    ◇   中国移动　 ◇   中国石油　 ◇   新华社　 ◇   中国电信　 ◇   中国烟草　 ◇   中国银行

    课程简介

    本课程主要介绍Geode，Redis，VoltDB，MemSQL，Mongodb，JIMDB，Gorilla 等主流的分布式内存数据库的原理机制，系统架构，数据模型，功能特征，性能 特性，可扩展性，读写路径，以及各种分布式内存数据库的选型和应用场景。   

    课程内容

    第一天
    分布式内存数据库基础理论
    l 单点数据库处理大数据的瓶颈
    l CAP原理
    l 强一致性和最终一致性
    l 高可扩展性
    Geode/Gemfire技术架构与应用
    l Geode功能与性能特征，及适用场景
    l Geode分布式架构
        Geode分布式消息通信系统
        Geode分区机制与策略
        Geode客户端缓存机制
        Geode分布式事务机制
        Geode分布式锁机制
        集群扩容与数据重分布机制
        数据一致性维护
    l Geode查询与索引
    l Geode持久化机制
    l   VoltDB技术架构与应用
    l   VoltDB数据模型与适用场景
    l VoltDB核心技术机制
        索引管理
        日志操作与WAL机制
        无锁机制
        VoltDB分区表与复制表，及数据放置
    l VoltDB副本机制，及一致性级别与保证机
    第二天
    MemSQL技术架构与应用
    l MemSQL基本组件与性能特征
    l MemSQL双层集群架构
    l MemSQL行、列存储模式
    l MemSQL数据分布机制
    l MemSQL高可用组
    Redis数据库与集群
    l Redis功能、性能特点，及适用场景
    l Redis数据类型
    l Redis pipeline机制与性能提升
    l Redis集群模式
        主从复制模式与实现原理，Redis哨兵机制
        多实例模式与数据分片
        edis数据一致性问题
        基于Jedis的Redis集群
        基于Codis的Redis集群
        Redis原生态集群
    l   Mongodb数据库与集群
    l   MongoDB性能特征与适用场景
    l MongoDB数据模型
    l   MongoDB存储引擎与读写机制
    l MongoDB内存数据库机制
    l MongoDB集群模式
        MongoDB复制集
        MongoDB数据分片与mongos路由
    互联网厂商自建分布式数据库
    l 京东JIMDB
        基于Redis的JIMDB架构
        JIMDB存储引擎
        JIMDB复制协议
        JIMDB sharding机制与策略
        JIMDB部署情况
    l Facebook Gorilla数据库
        内存数据结构
        故障处理
        数据压缩机制
    l 阿里OceanBase架构与关键机制
    l PingCAPTiDB架构与关键机制

    最新动态

    点击阅读更多内容
    返回顶部