日志易“日志关联搜索”解决方案——银行业务串联分析(一)

通过“关联搜索”功能实现逐步查询传递及展示。

e289e1d86f534098a2099ffa9a136757.jpg

随着银行业务的不断发展,各类交易增多,建立综合的、一体化的业务运维监控及数据分析系统的重要性逐渐凸显。一体化的业务运维监控及数据分析系统使得各个业务系统、各个业务团队间的数据共享成为可能。各业务系统间的数据打通,还能实现整体数据的综合分析,从而提高银行交易的工作效率。


要实现数据的综合分析,各业务系统的串联必不可少。只有在各业务系统串联后,才能清晰地了解到各类业务在各个系统间的流向和交易详情,且能通过日志数据中的反馈信息,在系统出现异常时准确及时地进行异常定位。业务串联分析综合了整体业务系统的数据,还能避免单个系统数据分析的片面性。


实现业务串联分析,需要对海量的数据进行统一分析和计算。如何将海量数据集中处理,是困扰银行的一大难题。日志易系统通过统一收集各业务系统的日志,实现业务串联分析,解决了这一难题。


现状分析


现阶段各银行仅能做到单个业务系统内部模块间的关联,无法对业务流涉及的各个系统进行整体串联。针对业务串联分析,银行业迫切需要实现的需求如下:


1. 运维排障过程中,对于整个业务流中各业务系统的执行情况进行查看分析,在业务出现异常时,快速定位异常业务系统;

2. 数据分析及业务展现中,呈现整体业务流的交互情况,方便各个业务团队及运维团队对业务流程的理解,同时易于整体数据的综合分析。


实现前提


各个业务系统间的日志格式错综复杂,对其建立关联关系,首先需要确立一种能够识别所有业务系统日志的机制。例如一笔业务从开始到完成,在各个业务系统均存在统一且唯一可识别的流水号;或者一笔业务需要经过 A、B、C 三个业务系统,A 与 B 之间存在唯一且统一的交易流水号,B 和 C 之间也存在唯一且统一的交易流水号。


一笔业务从开始到结束称之为一个事件,则该事件在所有业务系统中的日志均应具有统一的全局流水号。同时,单个业务系统中同一事件相关的日志应具有相同的系统流水号。


解决方案


日志易产品对于业务串联分析问题提供了以下两种解决方案:


1. 通过“关联搜索”功能实现逐步查询传递及展示;

2. 通过“定时任务+统计表”功能,在仪表盘上全面展示并自动更新某条交易在各个业务系统中的执行结果及关注点。


本次推送将着重介绍“关联搜索”解决方案。由于篇幅所限,“定时任务+统计表”方案将在下次推送时详述。


业务串联分析方案之“关联搜索”


配置关联搜索,即通过日志中的关键字、过滤字段、分区等信息,对日志逐步进行关联搜索。关联搜索需将上一步搜索结果中的值传递给下一步搜索使用,并能对日志中的字段进行展示和重命名,且可以选择一个或者多个字段进行动态展示,方便对搜索结果进行筛选。


Step 1. 确认串联关系


以用户进行身份实名认证操作为例,用户实名认证需经电子渠道(web 端)搜集用户信息并发送到数字银行系统,再由数字银行向 ESB 系统验证用户个人信息。

某银行的用户实名认证业务流涉及的系统如下:


14d4b3efc4854781b70d3300a74e30ed.jpg


与该操作涉及的各个业务团队进行沟通,确认交易的整体流程及各个业务系统进行串联的关键字段。


电子渠道系统中的日志有 G 类和 MA 类两种,数字银行和 ESB 系统各有其内部统一的日志类型。要实现业务串联分析,应有以下关系:


1. 电子渠道 G 类日志和 MA 类日志间有唯一且统一的系统流水号(systemNum);

2. 电子渠道 G 类日志和数字银行日志间有唯一且统一的全局流水号(orgNum) ;

3. ESB 日志和数字银行日志间有唯一且统一的全局流水号(orgNum)。


Step 2. 串联的实现


串联完成后,可用 SPL 语言搜索并对交易整体流程进行展现:


1. 使用 SPL 搜索电子渠道系统 G 类日志中用户身份认证操作所涉及的日志条目;

2. 通过“关联搜索”的“传递”功能,将第一步获取到的电子渠道 G 类日志的系统流水号和全局流水号分别传递给电子渠道 MA 类日志和数字银行日志,并展现其在各个业务系统中的交易“返回信息”及“响应类型”;

3. 将全局流水号传递给 ESB 系统,并展现其在 ESB 系统中的“返回信息”及“响应类型”。


46b85301e9fb460ba77e240fcbbae7af.jpg

09f268cb7f954ab197f2e6a864aa13bd.jpg

7e15303449a84c39af123357144e5667.jpg


Step 3. 方案效果


通过以上方式实现的业务串联分析,对解决已有问题有如下效果:


1. 逐步展现一笔交易在各个业务系统中的交易结果,在业务出现异常时,无需登录各个系统逐个查看,便能逐步分析各个业务系统的执行情况,便于确认交易异常点或中断点;

2. 逐步展现一笔交易在各个业务系统中的交易执行状态,清晰展现交易整体流程,既方便了运维团队对业务流的理解,又便于对数据进行整体分析展现。

 

精彩未完,下周同一时间“定时任务+统计表”放送!

更便捷的解决方案尽在日志易,登录日志易官网部署版试用走起!

  • 发表于 2019-03-25 16:47
  • 阅读 ( 172 )
  • 分类:技术分享

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
不写代码的码农
日志易

日志分析工具

24 篇文章

作家榜 »

  1. 日志易 24 文章
  2. admin 10 文章
  3. www.ruy01.com 3 文章
  4. 日志易小A 2 文章
  5. rizhiyi509 1 文章
  6. Xiaoyu 1 文章
  7. 疯狂的馒头 1 文章
  8. 黄盼洪 0 文章