基于Skywalking开发分布式监控（一）

接手为微服务系统搞链路监控项目一年多，也和skywalking打了一年多的交道，也应该有个总结，主要谈一下搭建监控系统遇到的难点和解决方案。
说明： 本文的代码均由本地演示代码替代，非实际代码

为啥选skywalking，因为由于微服务分成多个团队在开发，有平台，有应用，日志分析已经力不从心，下决心引入分布式监控，skywalking对我们来说有两个基本好处，1） 代码入侵非常低（最后仅仅在多线程跟踪，加了几处装饰器），监控基本可以独立安排版本或者变更，这对管理友好 2） Agent+插件模式对应用性能影响不大，预估不太会出幺蛾子…

开发过程中，我们遇到一些问题，本篇先聚焦第一个问题：
Agent插件二次开发，分两类
1） 修改，例如对dubbo-plugin，把DubboInstrumentation.java中

public class DubboInstrumentation extends ClassInstanceMethodsEnhancePluginDefine {

    // add logger
    private static final ILog LOGGER = LogManager.getLogger(DubboInstrumentation.class);

    private static final String ENHANCE_CLASS = "com.alibaba.dubbo.monitor.support.MonitorFilter";  //需修改
    private static final String INTERCEPT_CLASS = "org.apache.skywalking.apm.plugin.dubbo.DubboInterceptor";

    @Override
    protected ClassMatch enhanceClass() {
        return NameMatch.byName(ENHANCE_CLASS);
    }

    @Override
    public ConstructorInterceptPoint[] getConstructorsInterceptPoints() {
        return null;
    }

    @Override
    public InstanceMethodsInterceptPoint[] getInstanceMethodsInterceptPoints() {
        return new InstanceMethodsInterceptPoint[] {
            new InstanceMethodsInterceptPoint() {
                @Override
                public ElementMatcher<MethodDescription> getMethodsMatcher() {

                    //LOGGER.info("Dubbo Class is {}", ENHANCE_CLASS);
                    return named("invoke");
                }

                @Override
                public String getMethodsInterceptor() {
                    return INTERCEPT_CLASS;
                }

                @Override
                public boolean isOverrideArgs() {
                    return false;
                }
            }
        };
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

新增一个DubboProviderInstrumentation，根据本地应用改成 ENHANCE_CLASS = “com.comstar.cnp.common.infrastructure.DubboProviderFilter”;
以及 DubboComsumerInstrumentation，根据本地应用改成 ENHANCE_CLASS = “com.comstar.cnp.common.infrastructure.DubboConSumerFilter”;

并修改skyworking-plugin.def文件
dubbo=org.apache.skywalking.apm.plugin.dubbo.DubboInstrumentation
dubbo=org.apache.skywalking.apm.plugin.dubbo.DubboProviderInstrumentation
dubbo=org.apache.skywalking.apm.plugin.dubbo.DubboComsumerInstrumentation

保证dubbo跟踪链正常

2 ） 另外如基于netty的非标应用，就需要开发自定义Agent
按SkyWalking Agent的开发规范，需要开发Instrumentation，定义拦截点的位置（类和方法），并开发拦截器Interceptor，在beforeMethod创建 Span 并把需要的参数，塞到上下文Tag（标签）中，

ublic class seckillwithPoolAndMQInterceptor implements InstanceMethodsAroundInterceptor {
    @Override
    public void beforeMethod(EnhancedInstance objInst, Method method, Object[] allArguments, Class<?>[] classes, MethodInterceptResult methodInterceptResult) throws Throwable {
        String methodName = method.getName();
        System.out.println("before..."+methodName);
        String operationName ="seckillwithPoolAndMQ";

        ContextCarrier contextCarrier = new ContextCarrier();
        CarrierItem carrierItem = contextCarrier.items();

        Object pid= allArguments[0];
        Object uid= allArguments[1];

        //carrierItem.setHeadValue(ctxName.name());

        //创建一个EntrySpan

        //AbstractSpan span= ContextManager.createEntrySpan(operationName, contextCarrier);
        AbstractSpan span= ContextManager.createLocalSpan(operationName);
        span.setComponent(ComponentsDefine.TOMCAT);
        span.tag(new StringTag(10, "method"), methodName);
        span.tag(new StringTag(20, "pid"), pid.toString());
        span.tag(new StringTag(30, "uid"), uid.toString());
        span.setLayer(SpanLayer.CACHE);

        //缓存上下文
        objInst.setSkyWalkingDynamicField(ContextManager.capture());
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

最后修改skyworking-plugin.def文件，保证插件正常运行
testdemo2-0.1=org.apache.skywalking.apm.plugin.demo2.define1.Demo2Instrumentation

解决插件的问题后，我们进一步发现Skywalking原生提供100多种插件，监控数据项多达数万项，但是这些数据，并不是全部都需要重点关注，冗余的监控数据，一方面会影响正常监控，另一方面，我们也发现过多的监控数据甚至会影响 OAP的性能，最夸张的问题可能是云服务和大量监控导致 SW sgementId产生重复，者迫使我们要采取适当的措施，后续，我们将聚焦对SkyWalking 监控数据分类筛选和展示