CODE大全
版权声明:本文为博主原创文章,未经博主允许不得转载。

ELK(Elasticsearch+ Logstash+Kibana)

发布时间:『 2017-07-21 15:36』  博客类别:架构设计  阅读(948) 评论(0)

随着大数据和云计算平台的日渐成熟,ELK(Elastic)作为开源的分布式日志查询分析系统, 也已经逐步占据了领先地位。ELK 在各个平台上的支持也就更加广泛了,从而牵扯到了在 Power Linux Server 和 IBM JAVA 平台上的集成。作者在较早之前(ELK 在当时发布的版本是 elasticsearch1.4.4 和 logstash1.4.2 的时候)就已经开始了将 ELK 集成于 IBM Power Linux Server 和 IBM JAVA 之上, 一直到今天 ELK 版本迭代更新至 5.x,期间遇到过很多问题,但也逐个击破并且相对比较稳定的一直运行着。本文将 ELK 集成到 Power linux server 和 IBM JAVA 环境中遇到的主要问题和解决思路进行了汇总和记录,在文档中摘录下来进行表述。


ELK 作为一套分布式日志查询系统是由三大核心组件组成: Elasticsearch, Logstash, Kibana。 它们都属于开源的 Apache 2.0 License。也就是说大家可以免费使用这些组件,并可以应用到自己的项目中去。但 Elastic 官方也开发一系列商业软件,作为 plugin 销售,本文不涉及这些商业软件的使用和描述。


随着性能需求等方面原因,ELK 的其它开源组件作为整体解决方案不可或缺的组件也被开发了出来,如 Logstash-forwarder, Beats family: Filebeat, Packetbeat, Topbeat,Winlogbeat。 其中 Topbeat 被随后的 Metricbeat 所替代。业界也有人在 ELK 系统中使用了 Redis 或 Kafka, 本文在这里不做过多的针对 Redis 和 Kafka 的发散性描述。

基础 ELK 架构

目前,ELK 系统已经发展到了 5.3 版本,相对来说,性能更加稳定,功能更加的齐全。但是在集成各个公司的产品上,还具有很多挑战。为了更好的将 ELK 应用到各个产品中,尚需解决诸多问题,作出适当的调整。


笔者将 ELK 系统应用到 IBM POWER 系统上和 IBM JAVA 集成的时候,就遇到了一些问题。本文会对一些主要问题逐一阐述,并提供有效的解决方案。

既然提到 IBM POWER 系统,那么,什么是 POWER 系统呢?

Power 系统 是 RISC 处理器架构的一种,由 IBM 设计,POWER 是"Performance Optimization With Enhanced RISC"的缩写,翻译过来是"增强 RISC 性能优化"。Linux 市场快速发展的势头已经持续了二十多年。Linux 平台不仅成为越来越多企业运行关键性业务的新选择,还为企业大数据、云计算等新兴工作负载注入了强大生命力。然而,传统 x86 架构在安全性、稳定性及大规模处理等方面的不足,使得企业亟需一个更为领先的基础架构选择,以最大限度地挖掘开源应用的潜力。关键业务 POWER 平台选择开源 Linux 就成为一个理想选择。这一发展模式成功的关键是能否铸就一个开放的创新生态,激活合作伙伴的力量。毫无疑问,这一生态的诞生是历史发展的产物。这一生态的核心是 POWER 平台和 Linux 系统。POWER 微处理器应用在不少 IBM 服务器,超级电脑,小型电脑及工作站中,广泛作为主 CPU 使用。为了加速 POWER 的快速发展,IBM 发起了 OpenPOWER 基金会,基金会成员可以围绕 POWER 各个层面来展开合作和共同开发。目前已经吸纳了 24 个国家 200 多家成员,市场中主流产品有 Power7 和 Power8 系列服务器。

本文针对 Power Linux Server 包含有 IBM Power Linux Server 和 Open Power Server,从 Architecture 角度又分为 ppc64 和 ppc64le 平台,在 Server 上运行"uname -m"可以查询出相对应平台。其中 ppc64le 是 ppc64-little-endian 的缩写,即纯小端模式,试图使基于 x86 的 Linux 软件的移植工作以最小的工作量模式工作,POWER8 是 ppc64le 的首要应用代表。

elastic 官网所描述的 JVM 兼容矩阵

这是由于 Elasticsearch 和 logstash 均 是通过 jvm 启动的,在 ELK 官方中,是以 Oracle jdk 为测试平台的,我们可以看到,在早期版本的官方文档里,并不支持 IBM JAVA, 即使在后期的版本中,也仅仅的支持了部分 IBM JAVA 的版本。当作者将 ELK 系统和 IBM JAVA 集成过程中,也确实遇到了一些问题,所以本文将此类问题集合起来一并说明。希望对大家相关方面的工作有一些帮助。

限于篇幅,我们下章继续!


——— 全文完 ———
如有版权问题,请联系532009913@qq.com。
关键字:   ELK     Elasticsearch     Logstash     Kibana     大数据  
评论信息
暂无评论
发表评论
验证码: 
Powered by CODE大全 | 鄂ICP备14009759号-2 | 网站留言 Copyright © 2014-2016 CODE大全 版权所有