日志易饶琛琳:极客邦科技CNUTCon日志处理技术前瞻

极客邦科技(InfoQ)主办的第四届CNUTCon全球运维技术大会,邀请了Twitter、RIOT Games、BAT、华为等国内外一线大厂,全方位、多角度分享运维领域50+最佳实践案例!会议第二日,“日志处理”与您相约!

2018  11 16 日,极客邦科技举办的CNUTCon 全球运维技术大会将于上海如期举行。会议第二日,由日志易共同协办的“日志处理”专题论坛亮相。针对该专题内的四大选题,小编对大会“日志处理”专题出品人饶琛琳做出了采访。

 

大数据时代的到来,不断刷新着人们对数据价值的认知。利用数据更好的为业务服务,则能带来更充足的客源,利用数据反馈于生产,则能指明研发的方向。

对于运维来说,最重要的数据,莫过于日志了。然而,各个集群的日志格式不一,数据量又那么庞大,怎样才能充分又省力的挖掘日志的价值呢?甚至有人会产生疑问,日志真的有那么大的价值吗?

在即将举行的 CNUTCon 全球运维技术大会中,围绕日志处理专题,各大互联网集团的四位大咖将会对此问题做出不同角度的解读。这里面会有什么有意思的分享呢,让我们自本次采访中探探底吧。


选题是如何确定的


此次的选题是以普及日志处理更大范围的运用为目的,日志不单单表现在访问日志及错误日志上的查看上,在其他方面,日志同样能够为运维的工作大幅赋值。选题从应用场景和性能管理方面分别进行阐述,旨在让观众知道日志处理可以用于何处,也知道为什么和怎么做。

从传统的运维层面来讲,日志运用的领域较为狭窄。本次选题从多个层面,会针对日志可能用到的方向去做普及。日志可以运用到服务器、网络端、移动端,也可以和测试等功能结合。而这些维度的运用,会给运维人员,或整个 IT 团队,以及业务部门,带来更大价值。这是选择移动端和 QA Ops 通力合作议题的原因。

另一个方面,日志处理运用的范围广了,数据量也会激增,这对日志处理要求的难度就会增高。大规模的海量日志该怎么维护?围绕这点,于是有了日志平台化的选题。而仅仅有平台化还不够,高性能才是目标。这也是运维关注的热点。专题中把高性能放首位,也算不负各位同行的期待!


日志处理的未来发展方向是什么


互联网发展的趋势是用数据分析去驱动 IT 工作。而在日志处理方面,饶琛琳认为未来的发展方向有三个步骤,即集中化,AI 驱动,然后由此调动任务编排。

目前很多企业在日志处理上的常态是,各个部门有单独的日志系统,比如运维、测试、研发,这些部门的日志是分开处理的。这样,日志所起到的作用就相当有限。

数据集中化则能让数据发挥出 1+1>2 的价值。日志统一集中管理,就能获取到更全面细致的信息。在此基础上,利用人工智能的技术,能够让集中化的日志分析过程,更加的高效和准确。日志集中化也就是平台化,平台化能够将各个部门的工作紧密联系在一起,然后就可以做联动性,或者是调用服务编排。这样便能大大提升工作效率。

运维人员可以通过了解日志处理的新兴技术框架,更好地把握技术发展的趋势。在流处理上,目前比较火的框架有 Flink 。对于 Schema 比较固定的需求,可以使用诸如 KylinClickhouse 这些框架。


日志易在上述发展方向上做出了什么规划


就集中化而言,日志易致力于做一个大平台的管理系统。现在很多公司的 ES 集群如果大于二三十个节点之后,再要管理就相当麻烦,一般情况下,会采取拆集群的方式。这样会造成日志管理的诸多不便。而在用单集群去集中化处理更大量的日志数据的研究方面,日志易已经做了很多性能优化工作。单集群管理日志,会大大减轻运维工作的复杂度。这一点在 CNUTCon 运维大会上日志易技术副总裁黎吾平会有比较具体的介绍。

另外一点是,日志易也会引入 AI 赋能。如性能指标的智能基线告警,日志的异常模式自动发现。

attachments-2018-11-xQNtM9n45bdaa42578e07.png

日志易:AIOps智能运维技术领先者

 

DevOpsAIOps 不断刷新运维概念的今天,我们有理由相信,日志处理将会迎来更高性能、更便捷的明天。你若不信,且看日志易好了!


极客邦科技(InfoQ)主办的第四届CNUTCon全球运维技术大会,邀请了TwitterRIOT GamesBAT、华为等国内外一线大厂,全方位、多角度分享运维领域50+最佳实践案例!会议第二日,“日志处理”与您相约!

 

附“日志处理”专题暂定议程:
1.日志分析场景下的搜索引擎改进 黎吾平 / 日志易技术副总裁
2.新思路打造移动端个案综合日志分析系统 周辉 / 美团点评资深移动架构师
3.QAOps通力合作打造反脆弱的软件系统 林冰玉 / ThoughtWorks 高级软件质量分析师
4.沪江网日志平台化之路 曹林华 / 沪江资深架构师
  • 发表于 2018-11-01 15:05
  • 阅读 ( 2263 )
  • 分类:其它类型

你可能感兴趣的文章

相关问题

1 条评论

请先 登录 后评论
不写代码的码农
日志易小A

运维最好用的日志处理小可爱~

2 篇文章

作家榜 »

  1. 日志易 24 文章
  2. admin 15 文章
  3. 日志易小A 2 文章
  4. 疯狂的馒头 2 文章
  5. 腾龙国际娱乐 1 文章
  6. rizhiyi509 1 文章
  7. Xiaoyu 1 文章
  8. 陈晨 0 文章