日志易告警功能使用

本文通过对日志易告警功能介绍,实现告警功能配置

一.告警功能介绍

1.告警监控概述

  监控告警是日志管理系统的重要功能,您可以让日志易轻松替您监控数据,我们可以把您的已存搜索按预设计划周期性执行,当满足触发条件时我们将通过指定的告警方式及时通知您。

  通常的告警方式是电子邮件,不过日志易也支持syslog和HTTP转发等的其他灵活方式。

二.告警配置

1.配置方法

  告警有两种配置方法:

一种是在搜索页面搜索完成保存为告警,然后进入告警配置页面进行告警相关配置。

一种在搜索页面搜索完成保存为新搜索,后面可以到告警模块新建告警选择已保存搜索。

(注:告警配置搜索语句中不可包含%)

2.告警类型

  目前日志易提供事件数告警、字段统计告警、连续统计告警、基线对比告警和spl告警五种告警模式。

1)事件数告警

  您可以创建基于搜索结果的告警触发条件,在一个给定的时间范围内触发告警的阈值数。例如,您可以设置告警条件为5分钟内搜索结果计数超过10次(基于时间戳)。

2)字段统计告警

  字段统计告警为您提供针对字段内容的告警设置,在触发条件中您需要填写字段名,统计方式可以在下拉框中选择,cardinality(独立计数)、sum (求和)、avg(平均值)、max(最大值)、min(最小值)。例如,告警触发条件为:clientip在5分钟之内某个ip的计数值超过10。

3)连续统计告警

  连续告警为您提供连续触发告警功能,即当某个告警条件在某个时间内连续触发次数达到阀值,才触发告警。例如,告警触发条件为:apache.status在1小时之内超过404的次数超过50,则触发告警。

4)基线对比告警

  基线告警是将阈值设定为一个统计的基线值(随时间变动),您需要选择基线生成的时间范围,同时,基线对比告警给您提供了更灵活的触发范围设定方式——您可以在下拉框中选择大于、小于、在区间内、在区间外。例如,resp_len如果与上周的统计平均值相比,小于基线值50%或者超过基线值150%即触发告警。

5)spl告警

  用户可以针对通过spl语句建立的新字段建立告警,只需要在空格处填写正确的字段名称即可。

3.监控配置

  1. 名称:告警的名称,可自己定义
  2. 描述:告警名称的描述
  3. 执行计划:告警的执行时间,可选择预定义选项,也可自定义crontab
  4. 已保存搜索选择已保存的搜索语句
  5. 告警分组:选择告警分组
  6. 告警类型:选择告警类型,告警类型不同,触发条件配置也同
  7. 触发条件:根据选择的告警类型,配置触发条件

4.高级配置

  1. 可针对告警进行扩展配置,支持在告警触发时发起另一个搜索,将其搜索结果附加在告警信息内
  2. 告警抑制:可以针对告警进行告警抑制配置,防止您在短时间内遭遇告警邮件轰炸,您可以自由设定告警抑制方案(默认不对告警进行抑制)

告警抑制:您可以设定一个固定时间段,在该时间段内触发告警之后则系统不再重复发送同类告警信息 。
倍增式时间段抑制:第一次触发告警后不再发送告警信息的时间段长度每次翻倍,直到设置的最大时长后重置 。
例如:设置为10分钟内只发送一次告警。同时选择抑制间隔时间翻倍,直到60分钟后取消抑制

5.告警方式

  您可以配置收到告警的方式,日志易支持rsyslog告警、邮件告警和告警转发三种模式。配置时可以测试运行,点击可以实际运行一次告警推送,验证推送配置。

同时你也可以按照告警插件开发规范进行自定义的告警接口开发。

1)rsyslog告警

  选择添加rsyslog告警,用户可以根据实际情况自由更改Rsyslog地址、协议标准等内容。syslog内容可参考页面右侧说明。

2)邮件告警

  您可以自行设定邮件标题、通知的邮箱地址以及告警邮件内容。系统提供默认的标准告警模板,屏幕右侧是所有可选择模板变量名称,选择对应的变量名称复制到左侧的内容模板即可,设定完成后勾选“启用该告警”,点击保存完成操作。

邮件告警采用django模板语言渲染。您可以查看日志易内置的邮件告警内容默认模板进行酌情修改。

3)告警转发

  添加能接受请求的地址,系统会发送JSON格式的告警内容到该地址。JSON的具体结构与模板基本相同,请参照下述模板。三种模式都为使用一种模板进行内容的渲染,模板可用的变量:

{

"send_time": Number, //往接收服务发送的时间点,unix时间戳。模板内是python的datetime对象
 "is_alert_recovery": false // 默认不是告警恢复邮件结果
 "exec_time": Number, //搜索的执行时间点,unix时间戳。模板内是python的diatomite对象。
 "name": String, // 对应Web页面上告警名
 "description": String, // 对应Web页面上告警的描述
 "check_interval": Number, // 检测时间间隔
 "search": {
"name": String, // 对应Web上已存搜索的名字
"source_group": String, // 日志分组
"query": String, // query内容
"filter": String // filter内容
"extend_search_name": String, // 告警扩展搜索(可以没有)对应Web上已存搜索的名字
"extend_source_group": String, // 告警扩展搜索(可以没有)的日志分组
"extend_query": String, // 告警扩展搜索(可以没有)的query内容
"extend_filter": String // 告警扩展搜索(可以没有)的filter内容
},
"result": {
"total": Number, //命中了多少条日志
"hits": [
 {
"appname": String,
"tag": String,
"hostname": String,
"raw_message": String
 }// 一个hit只包含这四项
 {// 或者当是spl的统计型的结果的时候
     // hit的字段是key:value分别为用户
 // eval的值
 }
 .....
], // 命中的日志的内容,只有count统计和spl统计才有命中的具体日志
"terms": [
  {
 "key": String,
 "doc_count": Number
   },
], // 字段统计告警中的独立数统计才有的结果
"columns": [
{
 "name": String, // 当spl时候列名的顺序是有意义的
 "type": String,
   }
   ], // 当时spl统计才有的结果
"value": Number // 连续统计告警,基线告警的结果。字段统计告警里的最大最小平均值统计的结果。
"extend_total": Number, //告警扩展搜索(可以没有)命中了多少条日志,当为spell的transaction和stats型结果时候是transaction的group和stats结果有多少行,而不是与之关联的事件数。
"extend_hits": [// (可以没有)
{// 普通事件结果
  "appname": String,
  "tag": String,
  "raw_message": String,
  "hostname": String
}// 当扩展搜索是spl搜索的stats结果时候,是在spl中eval出来的字段的值
], //告警扩展搜索(可以没有)搜索出来的内容
    },
 "strategy": {
"name": "count|field_stat|sequence_stat|baseline_cmp|spl_query",// 五种告警策略方式
"description": "事件数告警|字段统计告警|连续统计告警|基线对比告警|spl告警", // 策略中文描述,对应网页上
"trigger":  {
 "field": String, // 字段,策略count没有此字段
  "start_time": Number, // 这次告警查询的开始时间。
  "end_time": Number, // 这次告警查询的结束时间。
  "method": "count|cardinality|sum|avg|max|min", //统计方法,count策略的method是count
  "method_as_string": String,
  "threshold": Number, //只有连续告警统计有阈值
  "baseline_base_value": Number, //只有基线告警才有,基线的百分比的100%代表的数值。
  "baseline_start_time": Number, // 对照基线的时间范围开始时间
  "baseline_end_time": Number, // 对照基线的时间范围结束时间
  "compare": ">|<|in|ex", // 大于或小于,基线告警专有的还有in和ex
  "compare_style": String, // 合法值为fixed或者relative
  "compare_value": [
Number
  ] // Array[Number]比较的值,除了基线告警都是一个值比较,基线告警因为有in和ex这里会是两个值
 } // 触发条件
 }
}

6.告警记录

  在启用状态的告警,一旦触发,会将触发告警的即时状态单独记录,供事后查询。在告警列表上点击运行趋势图,即可进入该告警的历史记录页

每条历史记录,可以有查看详情和搜索操作。告警详情浮层展现这条记录在触发时刻的触发值。点击搜索按钮,则跳转到搜索页面,打开该告警关联的已存搜索语句,并自动调整过滤时段为告警触发的开始、结束时间,您可以直接查看异常时段的事件列表或统计。

三.告警插件开发

1.插件部署

  只需将插件对应的python脚本拷贝到所有yottaweb模块的/opt/rizhiyi/parcels/yottaweb/yottaweb/app/alert/plugins/ 目录.然后重启所有yottaweb服务.即可在添加告警界面看到对应可选告警类型。

2.插件约定

  插件是一个python2.7版本的脚本,由YottaWeb模块负责调用。其可import的库只有django和python标准库。日志易约定告警插件需要有一个字典变量和两个函数。

1)META变量

  告警插件中需定义python字典变量META。是插件与Web界面配置的接口。用户在配置界面看到的配置项列表,输入的配置项内容的格式,还有最终保存在数据库中的配置项结果,都由此定义,结构为:

name: 插件名。注意不可与其他插件有重复
alias: 展示名,在Web界面上下拉菜单选择告警方式时显示的名字
configs: 配置项列表。界面上的所有配置项都是由这个configs数组指定的,显示的顺序也是这个数组里的顺序。
    name: 配置项名字,不可重名
    alias: 展示名,在Web界面告警配置处显示的此配置项的名字
    presence: Boolean型,是否必填。将用于Web前端操作保存告警配置时候的检查项。
    value_type: 此配置项值的类型,当前只支持String。
    value: 配置项的值。默认无需填写,在Web界面保存配置后,会自动填写此值。
    default_value: 默认值。默认值也会显示在界面上。
    input_type: 输入方式类型,用于指定前端在此配置项输入时候采用何种处理。当前只支持值为email:含义是带有数据提示的用户信息中email的输入其最终结果会保存为逗号分隔的邮箱地址。
    style: 配置Web界面上此配置项输入框的大小
        cols: 几个字符的宽度
        rows: 几个字符的高度

2)handle和content函数

  告警插件中可以定义两个函数handle和content来指定当告警被触发了之后的两类操作。它们的参数是一样的:

meta: 第一个参数meta的含义是不同告警经过用户配置后的META信息,是一个python的字典,字典的结构与上述的插件要求的常量词典META一致。用户写插件时,使用此信息进行自己需要的处理。
alert: 第二个参数alert的含义是告警信息本身,是一个python的字典。其结构见2.4.3节中的说明。用户使用他来获取当次告警所需的所有信息。
handle函数里实现此告警的执行操作,在告警被从frontend发送给Web执行的时候,执行的就是handle函数。函数的返回值约定如下:
返回值: 空,无返回值。可抛出异常,在外围调用处有处理会记录一条错误信息,但当异常发生时,并不会重试执行。有重试等其他可靠性需求,需在handle内自行处理。
content:函数实现在告警预览和告警历史中,对应告警如何显示告警内容。函数可抛出异常,在外部调用处有处理会记录一条错误信息,当异常发生时,告警预览和历史内看到的告警内容就为一条错误信息。函数的返回值约定如下:
返回值:String类型

3.插件开发样例

  以http_forwarder插件为例。

  http_forwarder插件是将告警信息再次POST到一个用户配置的地址,用户需启动自己的服务,随后可用完整的告警信息对告警进行再处理。

META就是一个python的字典,并无特殊之处。只要按照上述的META格式要求写就可。
内容如下:

# -*- coding: utf-8 -*-
# wu.ranbo@yottabyte.cn
# 2016-05-19
# Copyright 2016 Yottabyte
# filename: yottaweb/apps/alert/plugins/simple_email.py
# file description: 最简单的告警,所有客户都会带着
__author__ = 'wu.ranbo'

import logging
import requests
import json
import copy
req_logger = logging.getLogger("django.request")

META = {
"name": "http_forwarder",
"version": 1,
"alias": "告警转发",
"configs": [
    {
        "name": "address",
        "alias": "http转发地址",
        "presence": True,
        "value_type": "string",
        "default_value": "",
        "style": {
            "rows": 1,
            "cols": 30
        }
    }
    ]
}

  content 

content方法就是普通的python方法。插件接口只要求此方法的入参形式和返回值为String。此插件的content是将初始的告警信息用json格式显示出来。

def content(params, alert):
    return json.dumps(alert, ensure_ascii=False, indent=4).encode("utf-8", "ignore")

  handle 

handle内容为按照用户配置的http地址,将告警信息原文发送出去。

def handle(params, alert):
try:
    address = params['configs'][0]['value']
    requests.post(address, data=json.dumps(alert))
    req_logger.debug("alert.plugs.htt_forwarder send to %s, data:%s.", address, alert)
except Exception, e:
    req_logger.error("alert.plugins.http_forwarder got exception %s", e)
    raise e

四.短信告警定制

  为对接客户短信平台,通过客户提供的短信接口进行开发,选取http接口方式,通过httpget方式将告警信息发送至客户短信平台,由短信平台来发送短信。

1.短信告警测试

1)事件数告警

【吴江农商行】2017-10-27 15:40:00apache事件数超阈值需关注,5分钟内计数92>10告警级别低,针对此告警的描述

2)字段统计告警

【吴江农商行】2017-10-27 15:40:00apache.resp_len值总和超阈值需关注,apache.resp_len15分钟内总计7266000.0>10000.0告警级别低,针对此告警的描述

3)连续统计告警

【吴江农商行】2017-10-27 15:40:00apache_resp_len连续超阈值需关注,apache.resp_len5分钟内达到阈值10.0次数20>10.0告警级别低,针对此告警的描述

4)基线对比告警

【吴江农商行】2017-10-27 15:40:03apache_resp_len超过基线值90%需关注,apache.resp_len搜索结果10019.5170362>90.0%基线值9853.8243199告警级别低,针对此告警的描述

4)spl告警

【吴江农商行】2017-10-27 15:40:00核心业务系统总交易成功率-业务成功率低于阈值需关注,5分钟内p_t_sucess的值96<99.0告警级别低,针对此告警的描述

2.短信告警插件

#/usr/bin/env python
# -*- coding: utf-8 -*-
# Copyright 2016 Yottabyte
# filename: yottaweb/apps/alert/plugins/sendsms-http-wjrcb.py
import logging
import requests
import json
import copy
import httplib
import urllib2
import sys
import urllib
import suds
import codecs
import datetime
import time

defaultencoding = 'utf-8'
if sys.getdefaultencoding() != defaultencoding:
reload(sys)
sys.setdefaultencoding(defaultencoding)

req_logger = logging.getLogger("django.request")
META = {
"name": "sendsms-http-wjrcb",
"version": 1,
"alias": "短信告警",
"configs": [
    {
        "mobile": "手机号",
        "alias": "手机号码,多个号码使用英文逗号作为分隔符",
        "presence": True,
        "value_type": "string",
        "default_value": "",
        "style": {
            "rows": 1,
            "cols": 30
        }
    }

    ]
}
#日志记录器
logger=logging.getLogger()
file=logging.FileHandler("/data/rizhiyi/logs/sms-http.log")
logger.addHandler(file)
formatter=logging.Formatter("%(asctime)s %(levelname)s %(message)s")
file.setFormatter(formatter)
logger.setLevel(logging.NOTSET)
logger.info("begin to log")

def datetime_to_timestamp(dt):
return int(dt.strftime("%s"))*1000 + dt.microsecond/1000
def deparse_alert_post(out_alert_post):
alert_post = copy.deepcopy(out_alert_post)
alert_post['send_time'] = datetime_to_timestamp(alert_post['send_time'])
alert_post['exec_time'] = datetime_to_timestamp(alert_post['exec_time'])
trigger = alert_post['strategy']['trigger']
if 'start_time' in trigger:
    trigger['start_time'] = datetime_to_timestamp(trigger['start_time'])
if 'end_time' in trigger:
    trigger['end_time'] = datetime_to_timestamp(trigger['end_time'])
if 'baseline_start_time' in trigger:
    trigger['baseline_start_time'] = datetime_to_timestamp(trigger['baseline_start_time'])
if 'baseline_end_time' in trigger:
    trigger['baseline_end_time'] = datetime_to_timestamp(trigger['baseline_end_time'])
if 'compare_desc_text' in trigger:
    del trigger['compare_desc_text']
alert_post['strategy']['trigger'] = trigger
del alert_post['_alert_meta']
return alert_post

def sendsms(params,mobile,content):
url='http://192.168.77.5:8080/cgi-bin/sendsms'
msgtype='1'
password='123456'
username='rzy'

logger.info('##############################################################')
logger.info('发送短信内容:'+ content)
#content编码调整,由utf-8转为unicode再转为gb2312
if(isinstance(content, str)):
    content = content.encode('gb2312')
else:
    content = content.decode('utf8').encode('gb2312')
#发送http get请求
payload = {'username':username, 'password':password,'to':mobile,'text':content,'msgtype':msgtype}
custome = requests.get(url, params=payload)
logger.info('短信发送返回状态值:' + custome.text)
code = int(custome.text)
#记录返回状态码到log文件中
if code == 0:
    logger.info('短信发送结果:正常发送')
elif code == -2:
    logger.error('短信发送结果:发送参数填定不正确')
elif code == -3:
    logger.error('短信发送结果:用户载入延迟')
elif code == -6:
    logger.error('短信发送结果:密码错误')![]()
elif code == -7:
    logger.error('短信发送结果:用户不存在')
elif code == -11:
    logger.error('短信发送结果:发送号码数理大于最大发送数量')
elif code == -12:
    logger.error('短信发送结果:余额不足')
elif code == -99:
    logger.error('短信发送结果:内部处理错误')
else:
    logger.warning('短信发送结果:未知错误')

#requests.post(url, data=json.dumps(payload))
def content(params, alert):
origin_alert = deparse_alert_post(alert)
return json.dumps(origin_alert, ensure_ascii=False, indent=4).encode("utf-8", "ignore")
def handle(params, alert):
try:
    #logger.debug("alert:%s"%alert)
    #logger.debug("address:%s"%address)
    #logger.debug("alert.name:%s"%alert['name'])
    address = params['configs'][0]['value']
    addressList = address.split(",")

    now_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')

    alertsendtime = alert['send_time']
    alertsendtime = datetime.datetime.strftime(alertsendtime,'%Y-%m-%d %H:%M:%S')
    alertstarttime = alert['strategy']['trigger']['start_time']
    alertstarttime = datetime.datetime.strftime(alertstarttime,'%Y-%m-%d %H:%M:%S')
    timestamp_starttime = time.mktime(time.strptime(alertstarttime, "%Y-%m-%d %H:%M:%S"))
    alertendtime = alert['strategy']['trigger']['end_time']
    alertendtime = datetime.datetime.strftime(alertendtime,'%Y-%m-%d %H:%M:%S')
    timestamp_endtime = time.mktime(time.strptime(alertendtime, "%Y-%m-%d %H:%M:%S"))
    alerttimerange = int(timestamp_endtime) - int(timestamp_starttime)
    alerttype = alert['strategy']['name']
    alertcompare = alert['strategy']['trigger']['compare']
    alertcomparevalue = alert['strategy']['trigger']['compare_value']
    alertlevel = alert['strategy']['trigger']['level']
    if alertlevel == 'low':
        alertlevelname = '低'
    elif alertlevel == 'mid':
        alertlevelname = '中'
    elif alertlevel == 'high':
        alertlevelname = '高'

    if alerttype == 'count':
        eventnumber = alert['result']['total']
        alertmethod = alert['strategy']['trigger']['method']
        content = str(alertsendtime) + alert['name'] + "," + str(alerttimerange/60) + "分钟内计数" + str(eventnumber) + alertcompare  + str(int(alertcomparevalue[0])) + "告警级别" + alertlevelname + ","  + alert['description']

        for mobile in addressList:
            sendsms(params,mobile.strip(" "),content)

    elif alerttype == 'field_stat':
        alertfield = alert['strategy']['trigger']['field']
        alertmethod = alert['strategy']['trigger']['method']
        if alertmethod == 'cardinality':
            alertmethodname = '事件数'
            alettresultterms = alert['result']['terms']
            #alertresultlist = alettresultterms.keys()
            alertresultlistcount = len(alettresultterms)
        elif alertmethod == 'sum':
            alertmethodname = '总计'
            alertresultvalue = alert['result']['value']
        elif alertmethod == 'avg':
            alertmethodname = '平均数'
            alertresultvalue = alert['result']['value']
        elif alertmethod == 'max':
            alertmethodname = '最大数'
            alertresultvalue = alert['result']['value']
        elif alertmethod == 'min':
            alertmethodname = '最小数'
            alertresultvalue = alert['result']['value']
        if alertmethod == 'cardinality':
            content = str(alertsendtime) + alert['name'] + "," + alertfield + str(alerttimerange/60) + "分钟内"  + str(alertmethodname) + str(alertresultlistcount)+ alertcompare + str(alertcomparevalue[0]) + "告警级别" + alertlevelname + ","  + alert['description']

            for mobile in addressList:
                sendsms(params,mobile.strip(" "),content)

        elif alertmethod == 'sum' or alertmethod == 'avg' or alertmethod == 'max' or alertmethod == 'min':
            content = str(alertsendtime) + alert['name'] + "," + alertfield + str(alerttimerange/60) + "分钟内"  + str(alertmethodname)  + str(alertresultvalue) + alertcompare + str(alertcomparevalue[0]) + "告警级别" + alertlevelname + ","  + alert['description']

            for mobile in addressList:
                sendsms(params,mobile.strip(" "),content)


    elif alerttype == 'sequence_stat':
        alertresultvalue = alert['result']['value']
        alertfield = alert['strategy']['trigger']['field']
        alertthreshold = alert['strategy']['trigger']['threshold']
        content = str(alertsendtime) + alert['name'] + "," + alertfield + str(alerttimerange/60) + "分钟内达到阈值" + str(alertthreshold) + "次数" + str(alertresultvalue) + alertcompare + str(alertcomparevalue[0]) + "告警级别" + alertlevelname + ","  + alert['description']

        for mobile in addressList:
            sendsms(params,mobile.strip(" "),content)


    elif alerttype == 'baseline_cmp':
        alertresultvalue = alert['result']['value']
        alertfield = alert['strategy']['trigger']['field']
        alertbaseline_base_value = alert['strategy']['trigger']['baseline_base_value']          
        if alertcompare == '>' or alertcompare == '<':
            #content = str(alertsendtime) + alert['name'] + "," + alertfield + str(alerttimerange/60)  + "分钟内搜索结果"  + str(alertresultvalue) + alertcompare  + str((alertcomparevalue[0])*100) + "%基线值" + str(alertbaseline_base_value)  + "告警级别" + alertlevelname + ","  + alert['description']
            content = str(alertsendtime) + alert['name'] + "," + alertfield +  "搜索结果"  + str(alertresultvalue) + alertcompare  + str((alertcomparevalue[0])*100) + "%基线值" + str(alertbaseline_base_value)  + "告警级别" + alertlevelname + ","  + alert['description']

            for mobile in addressList:
                sendsms(params,mobile.strip(" "),content)
        elif alertcompare == 'in' or alertcompare == 'ex':
            #content = str(alertsendtime) + alert['name'] + "," + alertfield + str(alerttimerange/60)  + "分钟内搜索结果" + str(alertresultvalue) + "在区间" + alertcompare  + "(" + str((alertcomparevalue[0])*100) + "-"  + str((alertcomparevalue[1])*100) + ")%基线值" + str(alertbaseline_base_value) + "告警级别" + alertlevelname + ","  + alert['description']
            content = str(alertsendtime) + alert['name'] + "," + alertfield  + "搜索结果" + str(alertresultvalue) + "在区间" + alertcompare  + "(" + str((alertcomparevalue[0])*100) + "-"  + str((alertcomparevalue[1])*100) + ")%基线值" + str(alertbaseline_base_value) + "告警级别" + alertlevelname + ","  + alert['description']

            for mobile in addressList:
                sendsms(params,mobile.strip(" "),content)


    elif alerttype == 'spl_query':
        alertfield = alert['strategy']['trigger']['field']
        for temphit in alert['result']['hits']:
            if temphit.has_key(alertfield):
                tempvalue = temphit[alertfield]
                content = str(alertsendtime) + alert['name'] + "," + str(alerttimerange/60)  + "分钟内" + alertfield + "的值" + str(tempvalue) + alertcompare + str(alertcomparevalue[0])  + "告警级别" + alertlevelname + ","  + alert['description']

                for mobile in addressList:
                    sendsms(params,mobile.strip(" "),content)
except Exception, e:
    req_logger.error("alert.plugins.sendsms-http-wjrcb got exception %s", e)
    raise e

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
不写代码的码农
admin

10 篇文章

作家榜 »

  1. 日志易 24 文章
  2. admin 10 文章
  3. www.ruy01.com 3 文章
  4. 日志易小A 2 文章
  5. rizhiyi509 1 文章
  6. Xiaoyu 1 文章
  7. 疯狂的馒头 1 文章
  8. 黄盼洪 0 文章