【目录】
第1章 日志
1.1 什么是日志
1.1.1 日志的概念
1.1.2 日志生态系统
1.1.3 日志的作用
1.2 日志数据
1.2.1 日志环境与日志类型
1.2.2 日志语法
1.2.3 日志管理规范
1.2.4 日志使用误区
1.3 云日志
1.4 日志使用场景
1.4.1 运维监控
1.4.2 审计
1.4.3 业务分析
1.4.4 物联网
1.5 日志未来展望
第2章 日志管理
2.1 概述
2.2 日志管理相关法律
2.3 日志管理要求
2.4 日志管理中存在的问题
2.5 日志管理的好处
2.6 日志归档
第3章 日志管理与分析系统
3.1 日志管理与分析系统的基能
3.1.1 日志采集
3.1.2 数据清洗
3.1.3 日志存储
3.1.4 日志告警
3.1.5 日志分析
3.1.6 日志可视化
3.1.7 日志智能分析
3.1.8 用户与权限管理
3.1.9 系统管理
3.2 日志管理与分析系统技术选型
3.2.1 日志分析的基本工具
3.2.2 开源+自研
3.2.3 商业产品
3.3 小结
第4章 日志采集
4.1 日志采集方式
4.1.1 Agent采集
4.1.2 Syslog
4.1.3
4.1.4 接口采集
4.1.5 业务埋点采集
4.1.6 Docker日志采集
4.2 日志采集常见问题
4.2.1 事件合并
4.2.2 高并发日志采集
4.2.3 深层次目录采集
4.2.4 大量小文件日志采集
4.2.5 其他日志采集问题
4.3 小结
第5章 字段解析
5.1 字段的概念
5.2 通用字段
5.2.1 时间戳
5.2.2 日志来源
5.2.3 执行结果
5.2.4 日志优先级
5.3 字段抽取
5.3.1 日志语法
5.3.2 字段抽取方法
5.3.3 常用日志类型的字段抽取
5.4 schema on write与schema on read
5.5 字段解析常见问题
5.5.1 字段存在别名
5.5.2 多个时间戳
5.5.3 特殊字符
5.5.4 封装成标准日志
5.5.5 类型转换
5.5.6 敏感信息替换
5.5.7 HEX转换
5.6 小结
第6章 日志存储
6.1 概述
6.2 日志存储形式
6.2.1 普通文本
6.2.2 制文本
6.2.3 压缩文本
6.2.4 加密文本
6.3 日志存储方式
6.3.1 数据库存储
6.3.2 分布式存储
6.3.3 文件检索系统存储
6.3.4 云存储
6.4 日志物理存储
6.5 日志留存策略
6.5.1 空间策略维度
6.5.2 时间策略维度
6.5.3 起始位移策略维度
6.6 日志搜索引擎
6.6.1 日志搜索概述
6.6.2 实时搜索引擎
6.7 小结
第7章 日志分析
7.1 概述
7.2 日志分析现状
7.2.1 对日志的必要认识不足
7.2.2 缺乏日志分析专业人才
7.2.3 日志体量大且分散，问题定位难
7.2.4 数据外泄
7.2.5 忽略日志本身的价值
7.3 日志分析解决方案
7.3.1 数据集中管理
7.3.2 日志分析维度
7.4 常用分析方法
7.4.1 基线
7.4.2 聚类
7.4.3 阈值
7.4.4 异常检测
7.4.5 机器学
7.5 日志分析案例
7.5.1 Linux系统日志分析案例
7.5.2 运营分析案例
7.5.3 交易监控案例
7.5.4 VPN异常用户行为监控案例
7.5.5 运维案例
7.6 SPL简介
7.7 小结
第8章 日志告警
8.1 概述
8.2 监控设置
8.3 告警监控分类
8.3.1 命中数统计类型的告警监控
8.3.2 字段统计类型的告警监控
8.3.3 连续统计类型的告警监控
8.3.4 基线对比类型的告警监控
8.3.5 自定义统计类型的告警监控
8.3.6 智能告警
8.4 告警方式
8.4.1 告警发送方式
8.4.2 告警和恢复
8.4.3 告警的插件化管理
8.5 小结
第9章 日志可视化
9.1 概述
9.2 可视化分析
9.2.1 初识可视化
9.2.2 图表与数据
9.3 图表详解
9.3.1 序列类图表
9.3.2 维度类图表
9.3.3 关系类图表
9.3.4 复合类图表
9.3.5 地图类图表
9.3.6 其他图表
9.4 日志可视化案例
9.4.1 MySQL能日志可视化
9.4.2 金融业务日志可视化
9.5 小结
第10章 日台兼容与扩展
10.1 RESTful API
10.1.1 RESTful API概述
10.1.2 常见日志管理API类型
10.1.3 API设计案例
10.2 日志App
10.2.1 日志App 概述
10.2.2 日志App的作用和特点
10.2.3 常见日志App类型
10.2.4 典型日志App案例
10.2.5 日志App的发展
第11章 智能运维
11.1 概述
11.2 异常检测
11.2.1 单指标异常检测
11.2.2 多指标异常检测
11.3 根因分析
11.3.1 相关分析
11.3.2 事件关联关系挖掘
11.4 日志分析
11.4.1 日志预处理
11.4.2 日志模式识别
11.4.3 日志异常检测
11.5 告警收敛
11.6 趋势预测
11.7 智能运维面临的挑战
第12章 SIEM
12.1 概述
12.2 信息建设中存在的问题
12.3 日志分析在SIEM中的作用
12.4 日志分析与设备分析的异同
12.5 SIE能架构
12.6 SIEM适用场景
12.7 用户行为分析
12.8 小结
参考文献
1.1 什么是日志
1.1.1 日志的概念
1.1.2 日志生态系统
1.1.3 日志的作用
1.2 日志数据
1.2.1 日志环境与日志类型
1.2.2 日志语法
1.2.3 日志管理规范
1.2.4 日志使用误区
1.3 云日志
1.4 日志使用场景
1.4.1 运维监控
1.4.2 审计
1.4.3 业务分析
1.4.4 物联网
1.5 日志未来展望
第2章 日志管理
2.1 概述
2.2 日志管理相关法律
2.3 日志管理要求
2.4 日志管理中存在的问题
2.5 日志管理的好处
2.6 日志归档
第3章 日志管理与分析系统
3.1 日志管理与分析系统的基能
3.1.1 日志采集
3.1.2 数据清洗
3.1.3 日志存储
3.1.4 日志告警
3.1.5 日志分析
3.1.6 日志可视化
3.1.7 日志智能分析
3.1.8 用户与权限管理
3.1.9 系统管理
3.2 日志管理与分析系统技术选型
3.2.1 日志分析的基本工具
3.2.2 开源+自研
3.2.3 商业产品
3.3 小结
第4章 日志采集
4.1 日志采集方式
4.1.1 Agent采集
4.1.2 Syslog
4.1.3
4.1.4 接口采集
4.1.5 业务埋点采集
4.1.6 Docker日志采集
4.2 日志采集常见问题
4.2.1 事件合并
4.2.2 高并发日志采集
4.2.3 深层次目录采集
4.2.4 大量小文件日志采集
4.2.5 其他日志采集问题
4.3 小结
第5章 字段解析
5.1 字段的概念
5.2 通用字段
5.2.1 时间戳
5.2.2 日志来源
5.2.3 执行结果
5.2.4 日志优先级
5.3 字段抽取
5.3.1 日志语法
5.3.2 字段抽取方法
5.3.3 常用日志类型的字段抽取
5.4 schema on write与schema on read
5.5 字段解析常见问题
5.5.1 字段存在别名
5.5.2 多个时间戳
5.5.3 特殊字符
5.5.4 封装成标准日志
5.5.5 类型转换
5.5.6 敏感信息替换
5.5.7 HEX转换
5.6 小结
第6章 日志存储
6.1 概述
6.2 日志存储形式
6.2.1 普通文本
6.2.2 制文本
6.2.3 压缩文本
6.2.4 加密文本
6.3 日志存储方式
6.3.1 数据库存储
6.3.2 分布式存储
6.3.3 文件检索系统存储
6.3.4 云存储
6.4 日志物理存储
6.5 日志留存策略
6.5.1 空间策略维度
6.5.2 时间策略维度
6.5.3 起始位移策略维度
6.6 日志搜索引擎
6.6.1 日志搜索概述
6.6.2 实时搜索引擎
6.7 小结
第7章 日志分析
7.1 概述
7.2 日志分析现状
7.2.1 对日志的必要认识不足
7.2.2 缺乏日志分析专业人才
7.2.3 日志体量大且分散，问题定位难
7.2.4 数据外泄
7.2.5 忽略日志本身的价值
7.3 日志分析解决方案
7.3.1 数据集中管理
7.3.2 日志分析维度
7.4 常用分析方法
7.4.1 基线
7.4.2 聚类
7.4.3 阈值
7.4.4 异常检测
7.4.5 机器学
7.5 日志分析案例
7.5.1 Linux系统日志分析案例
7.5.2 运营分析案例
7.5.3 交易监控案例
7.5.4 VPN异常用户行为监控案例
7.5.5 运维案例
7.6 SPL简介
7.7 小结
第8章 日志告警
8.1 概述
8.2 监控设置
8.3 告警监控分类
8.3.1 命中数统计类型的告警监控
8.3.2 字段统计类型的告警监控
8.3.3 连续统计类型的告警监控
8.3.4 基线对比类型的告警监控
8.3.5 自定义统计类型的告警监控
8.3.6 智能告警
8.4 告警方式
8.4.1 告警发送方式
8.4.2 告警和恢复
8.4.3 告警的插件化管理
8.5 小结
第9章 日志可视化
9.1 概述
9.2 可视化分析
9.2.1 初识可视化
9.2.2 图表与数据
9.3 图表详解
9.3.1 序列类图表
9.3.2 维度类图表
9.3.3 关系类图表
9.3.4 复合类图表
9.3.5 地图类图表
9.3.6 其他图表
9.4 日志可视化案例
9.4.1 MySQL能日志可视化
9.4.2 金融业务日志可视化
9.5 小结
第10章 日台兼容与扩展
10.1 RESTful API
10.1.1 RESTful API概述
10.1.2 常见日志管理API类型
10.1.3 API设计案例
10.2 日志App
10.2.1 日志App 概述
10.2.2 日志App的作用和特点
10.2.3 常见日志App类型
10.2.4 典型日志App案例
10.2.5 日志App的发展
第11章 智能运维
11.1 概述
11.2 异常检测
11.2.1 单指标异常检测
11.2.2 多指标异常检测
11.3 根因分析
11.3.1 相关分析
11.3.2 事件关联关系挖掘
11.4 日志分析
11.4.1 日志预处理
11.4.2 日志模式识别
11.4.3 日志异常检测
11.5 告警收敛
11.6 趋势预测
11.7 智能运维面临的挑战
第12章 SIEM
12.1 概述
12.2 信息建设中存在的问题
12.3 日志分析在SIEM中的作用
12.4 日志分析与设备分析的异同
12.5 SIE能架构
12.6 SIEM适用场景
12.7 用户行为分析
12.8 小结
参考文献
