蒋老师

蒋老师　毕业学校清华大学/荷兰Vrije大学博士

对大数据关键技术有深刻了解和实践经验，如大数据处理、Hadoop、Hive、HBase、Spark、NoSQL数据库、键值存储系统、流数据处理、数据挖掘等，有多年存储系统研发经验，对本地与分布式存储系统有深刻了解和项目开发经验，包括 IO栈优化，基于SSD的存储系统性能优化，集群文件系统研发，云存储等，对云计算关键技术有深刻了解和实践经验，如分布式系统、虚拟化、分布式文件系统、 云存储等，熟悉主流的云计算平台，有商业（AmazonEC2）与开源云计算平台（OpenStack） 的实践经验，熟悉虚拟化关键技术，包括CPU虚拟化，IO虚拟化和内存虚拟化；熟悉主流虚拟化产 品，包括VMWare，Xen，KVM等；熟悉OpenStack云管理平台

主讲课程：大数据系统与架构；高可伸缩Web应用架构；云计算平台、架构与技术；虚拟化；云 存储等相关课程

研究及项目经历

• 基于Hadoop的海量时间序列数据分析系统

• 掌握Hadoop框架核心技术，HDFS部署，MapReduce开发，以及Hadoop调优

• 基于列存储的Hadoop海量数据分析系统开发，支持列存储，支持数据段内快速索 引查询，支持SQL接口查询，支持兼容Hive

• 掌握Hadoop框架外延系统HBase，Hive等；设计与优化Hive SQL分析引擎，支持Join查询；面向时间序列数据分析，优化Hive存储引擎，支持高效Hive SQL查询

  
  

• 面向实时网络数据包分析的Spark流处理系统

• 掌握流处理系统核心技术和基于内存的大数据分析技术，包括Kafka，DistributedLog， Storm 和SparkStreaming

• 面向海量网络包数据实时处理与分析，基于Kafka，HDFS和SparkStreaming开发网 络包流处理系统，支持快速范围与扫描查询

• 面向智能家电物联网的高并发数据存取与分析系统

• 掌握NoSQL数据库核心技术与架构，包括HBase，Redis，MongoDB和Cassandra

• 面向高并发读写的物联网小粒度数据，基于HBase和Redis设计与开发分布式海量 数据存取系统，并与Spark对接，支持快速的字段查询与分析

• 基于OpenStack的云计算平台开发项目

• 基于OpenStack开发定制化云计算平台，提供虚拟机、虚拟集群和集群自动伸缩功 能；支持主流虚拟化软件包括VMWare，Xen和KVM

• 负责云计算平台总体架构设计；负责大规模虚拟机操作性能调优，网络虚拟化和存储虚拟化实现和性能优化

• 基于AmazonEC2云计算平台的Web应用动态资源分配与调度

• 针对云计算平台虚拟机性能异构特性，测试不同虚拟化产品性能差异，包括 VMWare，Xen，KVM，并提出利用在线Profiling技术对虚拟机进行性能建模，并进 行性能预测的动态资源分配机制

• 在AmazonEC2虚拟机平台上开发实现上述动态资源分配机制

  
  

  
  

• 高可伸缩性Web应用系统开发

• 深入了解提高Web应用可伸缩性的主流技术，深入了解主流的Key-Value数据存储 和NoSQL数据库，如GoogleBigtable,AmazonDynamo等

• 根据数据库事务处理、写操作和读操作的不同特点，对Web应用数据按属性和语 义进行垂直和水平分解，并对数据进行重新聚合，提高应用可伸缩性

授课经历

◇   中国移动　 ◇   中国石油　 ◇   新华社　 ◇   中国电信　 ◇   中国烟草　 ◇   中国银行