简介
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。
目标
掌握ELK架构运维和优化、常见的ELK中常见的Kibana常用插件等;深度理解Kafka应用监控、部署、配置调优等;了解到当下开源实时日志分析ELK平台相应的热点工具使用,如ELK的ElasticSearch、Logstash和Kiabana
受众人群
大数据开发人员、大数据运维人员、运维工程师、大数据科学家、算法研究者及系统架构师等
课程时长
2天(12H)
分享提纲
1.ELK的实际业务应用场景介绍 ·ELK的应用场景 ·ELK并发性能 | |
2.ELK架构详解 ·ELK的一整套解决方案介绍 ·ELK的部署方案详解 | |
3.基于ELK二次开发和重构-ES ·ES的java API详解 ·elasticsearch.yml配置介绍 ·head插件的使用实战 ·bigdesk插件的使用实战 ·marvel插件的使用实战 | |
4.基于ELK二次开发和重构-logstash&Kibana ·Logstash的java API详解 ·Logstash input plugin介绍 —Http插件 —log4j插件 ·fliter plugin介绍 ·output plugin介绍 ·logstash操作syslog apache log、mysql log日志实战 ·Kibana常用插件介绍 | |
5.基于ELK开发实战-(Hand-on) ·apache日志 ·日志采集到logstash ·ES创建索引和优化 ·Kibana的结果展现 | |
6.ELK架构运维和优化 ·ES的容错以及灾难恢复 ·Logstash的容错 ·ES集群健康检测和集群优化配置 ·ES的索引优化 ·ES的内存优化 ·ES与Hadoop的集成 | |
Kafka实战培训 | 1.kafka开发实战 ·Kafka核心的API介绍 ·producer接口开发 ·Consumer接口开发 ·Tomcat日志实战 |
2.Kafka的二次开发 ·自定义分区详解 ·实现自己的PartitionKey实战 | |
3.Kafka的安全方面 ·SSL&Kerberos认证 ·安全审计 ·类UNIX用户、权限和ACL的授权机制 ·通信加密 ·API友好的使用方式 | |
4.Kafka应用监控 ·KafkaOffsetMonitor监控 介绍和实战 ·Kafka Web Console监控介绍和实战 | |
5.部署调优 ·网络和io操作线程配置优化 ·log数据文件刷新策略 ·日志保留策略配置 ·配置jmx服务 ·数据压缩格式 partition和replication值的设置 ·感知机柜 ·Topic的分区公平地分发到Broker上 |
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员