Neo4j+D3展现的应用实例_neo4jd3

作者：不正经 | 2024-06-16 17:51:23

踩

neo4jd3

之前已经写过一篇文章简要介绍了图数据库Neo4j的概念，没看过的读者可以在此点链接《图数据库Neo4j简介》。本文主要讲解图数据库在真实项目中的实践应用，取自于我参与的真实项目代码。

后端用的是图数据库Neo4j来存节点和关系，前端用的是D3来画图。前后端交互是通过json数据来完成的，即Neo4j查出的结果组装成json后，传递给D3来画图。

1 Neo4j

首先看一下pom文件相关代码，如下：


<dependency>
    <groupId>org.neo4j.driver</groupId>
    <artifactId>neo4j-java-driver</artifactId>
    <version>1.5.0</version>
</dependency>

如图所示，我用的是neo4j-java-driver连接的Neo4j，当然也可以选择其他方式。例如Spring-Data-Neo4j等连接方式（只不过我所在项目中的spring版本和Spring-Data-Neo4j版本冲突，所以不能使用）。

然后是加载驱动的代码如下：


private static void driverConnect() {
    InputStream in = GraphDriverManager.class.getClassLoader().getResourceAsStream(LOCAL);
    Properties p = new Properties();
    try {
        p.load(in);
    } catch (IOException e) {
        e.printStackTrace();
    }
    String url = p.getProperty("neo4j.url");
    String userName = p.getProperty("neo4j.username");
    String passWord = p.getProperty("neo4j.password");
    // 使用 basic authentication方式创建连接
    try {
        driver = GraphDatabase.driver(url, AuthTokens.basic(userName, passWord), Config.build().withMaxConnectionLifetime(30, TimeUnit.MINUTES).withMaxConnectionPoolSize(50).withConnectionAcquisitionTimeout(2, TimeUnit.MINUTES).toConfig());
        resetFlag();
    } catch (Exception e) {
        logger.error("图数据库连接异常",e);
        //当数据库连接异常时，把标志位写进文件,做提示用。
        ErrorConnectPut();
    }
}

java连接Neo4j的方式有三种：bolt、http和https，我选用的是bolt协议。同时为了方便，将Neo4j的url、用户名和密码做成properties文件来读取。

最后就是具体的调用代码了。如下所示：


@Override
public Map<Set<String>, Set<String>> searchAllPathsOfTwoNodes(String firstLabel, String firstName, String secondLabel, String secondName) {
    Map<Set<String>, Set<String>> searchResults = null;
    Driver driver = driverManager.getDriver();
    try (Session session = driver.session()) {
        searchResults = session.readTransaction(tx -> {
            return standardGraphDao.searchAllPathsOfTwoNodes(tx, firstLabel, firstName, secondLabel, secondName);
        });
    } catch (Exception e) {
        throw new RuntimeException(e);
    }
    return searchResults;
}

用内部类和lambda表达式的方式调用DAO层的代码。正如在之前文章中所提，应避免写出循环开闭事务的代码，应将循环放进DAO层里。

但是该种写法只是示例写法，用在实际的项目中会有很大的效率问题。假如在该方法中还需要调用test方法，那么不可避免的是test方法中仍然需要获取事务，这就会有嵌套事务的情况出现，在一些方法比较复杂和大数据量的执行下，效率会直线下降。解决办法是统一使用写事务（用写事务来代替读事务用以实现统一的事务获取，目前我还没有发现相关的bug），只有在最外面的方法才获取事务，里面如果有方法调用，则将事务tx一同作为参数传递过去，这样在整个方法中只有一次获取事务的情况出现。

但这样虽然解决了效率问题，在整个service层的开发却变得异常糟糕：充斥着大量的try...catch...业务无关语句。很自然的想到，可以用AOP进行改造，改造结果如下：


@Around("pointCut()")
public Object around(ProceedingJoinPoint jp) {
    MethodSignature msig = (MethodSignature) jp.getSignature();
    Method method = msig.getMethod();
    Object returnType = method.getReturnType();
    try {
        Field txField = StandardGraphDao.class.getDeclaredField("tx");
        txField.setAccessible(true);
        Driver driver = driverManager.getDriver();
        try (Session session = driver.session()) {
            returnType = session.writeTransaction(tx -> {
                try {
                    txField.set(StandardGraphDao.class.newInstance(), tx);
                    return jp.proceed();
                } catch (Throwable e) {
                    throw new RuntimeException(e);
                }
            });
        } catch (Exception e) {
            if (LOGGER.isErrorEnabled()) {
                LOGGER.error(e.toString());
            }
            checkSynchronize();
        }
        txField.set(StandardGraphDao.class.newInstance(), null);
    } catch (NoSuchFieldException | IllegalAccessException | InstantiationException e) {
        throw new RuntimeException(e);
    }
    return returnType;
}

在切面类中加入上述的环绕通知，用注解来驱动，其中return jp.proceed();是真正调用的service层方法代码。同时利用反射来对方法返回值和事务tx赋值。改造完成后service层的代码如下：


@Override
@Neo4jTransactional
public void saveInfoSubject(List<StandardVO> standardVOList) {
    if (standardVOList == null) {
        throw new NullArgumentException("standardVOList为空");
    }
    for (StandardVO standardVO : standardVOList) {
        standardGraphDao.saveInfoSubjectNode(standardVO, StandardGraphConstant.NODE_LABEL_INFOSUBJECT);
    }
}

@Neo4jTransactional是我自定义的注解，有了它就可以启动之前设定好的AOP。由上可以看到，service层的代码去掉了try...catch...语句，变得很清爽，和普通方法调用无异。DAO层相关代码如下：


/**
 * 
 * <p>Title: searchAllPathsOfTwoNodes </p>
 * <p>Description: 查找某两个节点是否有关系（全部路径） </p>
 * @param firstLabel
 * @param firstName
 * @param secondLabel
 * @param secondName
 * @return    参数说明
 * @author houyishuang
 * @date 2018年1月21日
 */
public Map<Set<String>, Set<String>> searchAllPathsOfTwoNodes(String firstLabel, String firstName, String secondLabel, String secondName) {
    Map<Set<String>, Set<String>> returnMap = new HashMap<>(16);
    String cypher = "MATCH (a:" + firstLabel + "{name:$firstName}), (b:" + secondLabel + "{name:$secondName}), p = allShortestPaths((a)-[*]-(b)) RETURN p";
    List<Record> records = tx.run(cypher, parameters("firstName", firstName, "secondName", secondName)).list();
    if (!records.isEmpty()) {
        for (Record searchResult : records) {
            Map<Set<String>, Set<String>> map = StandardGraphUtils.getIdsFromPath(searchResult.values().get(0).toString());
            returnMap = StandardGraphUtils.pathMapMerge(returnMap, map);
        }
    }
    return returnMap;
}

该方法实现的功能是查询两个节点之间的全部路径。可以看到，直接用传过来的参数拼装成cypher语句，到Neo4j中查询出结果，然后组装成想要的格式返回即可。

其中StandardGraphUtils工具类的部分代码如下所示，仅供参考：


import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
 
/**
 * 
 * <p>Classname: StandardGraphUtils </p>
 * <p>Description: 知识图谱工具类;</p>
 * @author houyishuang
 * @date 2018年1月12日
 */
public class StandardGraphUtils {
 
    /**
     * 节点匹配
     */
    private static final String NODE     = "node<(.*)>";
    /**
     * 节点匹配
     */
    private static final String NODES    = "\\[node<(.*)>, node<(.*)>\\]";
    /**
     * 路径匹配
     */
    private static final String PATH     = "path\\[(.*)\\]";
    /**
     * 路径匹配
     */
    private static final String SUB_PATH = "\\((.*)\\).?-\\[(.*):.*\\]-.?\\((.*)\\)";
 
    //...
    
    private StandardGraphUtils() {}
 
    /**
     * 
    * <p>Title: getIdFromNode </p>
    * <p>Description: 节点匹配 </p>
    * @param node
    * @return    参数说明
    * @author houyishuang
    * @date 2018年1月18日
     */
    public static String getIdFromNode(String node) {
        String result = null;
        Pattern r = Pattern.compile(NODE);
        Matcher m = r.matcher(node);
        if (m.find()) {
            result = m.group(1);
        }
        return result;
    }
 
    /**
     * 
    * <p>Title: getIdsFromNode </p>
    * <p>Description: 节点匹配 </p>
    * @param node
    * @return    参数说明
    * @author houyishuang
    * @date 2018年1月19日
     */
    public static Map<String, String> getIdsFromNode(String node) {
        Map<String, String> results = new HashMap<>(16);
        String result1 = null;
        String result2 = null;
        Pattern r = Pattern.compile(NODES);
        Matcher m = r.matcher(node);
        if (m.find()) {
            result1 = m.group(1);
            result2 = m.group(2);
        }
        results.put(result1, result2);
        return results;
    }
 
    /**
     * 
    * <p>Title: getIdsFromPath </p>
    * <p>Description: 路径匹配 </p>
    * @param path
    * @return    参数说明
    * @author houyishuang
    * @date 2018年1月21日
     */
    public static Map<Set<String>, Set<String>> getIdsFromPath(String path) {
        Map<Set<String>, Set<String>> returnMap = new HashMap<>(16);
        Set<String> nodeIdList = new HashSet<>();
        Set<String> relIdList = new HashSet<>();
        String result = null;
        Pattern r = Pattern.compile(PATH);
        Matcher m = r.matcher(path);
        if (m.find()) {
            result = m.group(1);
        }
        String[] resultArray = result.split(", ");
        for (String rs : resultArray) {
            Pattern r1 = Pattern.compile(SUB_PATH);
            Matcher m1 = r1.matcher(rs);
            if (m1.find()) {
                String result1 = m1.group(1);
                String result2 = m1.group(2);
                String result3 = m1.group(3);
                nodeIdList.add(result1);
                relIdList.add(result2);
                nodeIdList.add(result3);
            }
        }
        returnMap.put(nodeIdList, relIdList);
        return returnMap;
    }
 
    /**
     * 
    * <p>Title: pathMapMerge </p>
    * <p>Description: 路径map合并 </p>
    * @param returnMap
    * @param map
    * @return    参数说明
    * @author houyishuang
    * @date 2018年2月5日
     */
    public static Map<Set<String>, Set<String>> pathMapMerge(Map<Set<String>, Set<String>> returnMap, Map<Set<String>, Set<String>> map) {
        Set<String> returnNodeIdList = null;
        Set<String> returnRelIdList = null;
        Set<String> nodeIdList = null;
        Set<String> relIdList = null;
        if (returnMap.isEmpty() && map.isEmpty()) {
            return null;
        }
        if (returnMap.isEmpty()) {
            return map;
        }
        if (map.isEmpty()) {
            return returnMap;
        }
        for (Map.Entry<Set<String>, Set<String>> entry : returnMap.entrySet()) {
            returnNodeIdList = entry.getKey();
            returnRelIdList = entry.getValue();
        }
        for (Map.Entry<Set<String>, Set<String>> entry : map.entrySet()) {
            nodeIdList = entry.getKey();
            relIdList = entry.getValue();
        }
        returnMap.clear();
        map.clear();
        returnNodeIdList.addAll(nodeIdList);
        returnRelIdList.addAll(relIdList);
        returnMap.put(returnNodeIdList, returnRelIdList);
        return returnMap;
    }
    
    //...
}

同时之前在切面类中对事务tx赋值就是对下面DAO层的tx属性赋值，这样就可以像上述searchAllPathsOfTwoNodes方法中那样，用事务去执行cypher了。


@Component
public class StandardGraphDao {
 
    /**
     * Neo4j事务 
     */
    private static Transaction tx;
 
    //do something...
 
}

在之后的学习工作中知道，上述的tx静态变量写法还是存在着线程安全的问题的。解决办法是将tx用ThreadLocal包装起来。但使用ThreadLocal时必须确保get和set方法在同一次请求中才行。

2 D3

之所以决定要用D3而不是ECharts，主要是觉得D3的灵活性更大一些，可以做一些定制化的需求。而ECharts的功能都已经给你提供了，想要定制化比较困难一些。当然，D3相对于来说更难上手，所以这里先普及一些D3的基本概念。

D3是一个JavaScript的函数库，是用来做数据可视化的。D3的全称是Data-Driven Document，数据驱动的文档。D3的核心是数据和元素之间的绑定，这点需要读者多进行理解消化。下面讲解一个核心概念：update、enter和exit。

既然D3做的是数据和元素之间的绑定，那如果数组长度和元素数量不一致，就会带来三个选择集：update、enter和exit，如下图所示：

由图可知，没有被元素绑定的多余数据叫做enter；没有数据对应、多余的元素叫做exit；元素和数据一一对应的部分叫做update。

enter代表没有足够的元素，因此处理方法是添加元素；如果存在多余的元素，没有数据与之对应，那么就需要删除元素。所以可以看到，在D3中，数据是最为重要的。可以删元素，但是不能删除数据。

但是如果不知道数组的长度，如何为update、enter、exit提供处理方案呢？其实，数组长度和元素数量的大小并不重要。在多数可视化中，无论哪一边大，

update所代表的元素都该“更新”。
enter所代表的元素都该“添加”。
exit所代表的元素都该“删除”。

因此，这种数据绑定（Data-Join）允许开发者在不知道新数据长度的情况下更新图形。将这种类似的处理方案总结为一个模板，代码如下：


var dataset = [ 10, 20, 30 ];
var p = d3.select("body").selectAll("p");
// 绑定数据后，分别返回update、enter、exit部分
var update = p.data(dataset);
var enter = update.enter();
var exit = update.exit();
 
// 1.update部分的处理方法
update.text(function(d) {
    return d;
});
 
// 2.enter部分的处理方法
enter.append("p").text(function(d) {
    return d;
});
 
// 3.exit部分的处理方法
exit.remove();

需要注意的是exit.remove方法。D3中将数据和元素进行绑定，默认采用的是从上到下的顺序。也就是说来一个数据，就和一个元素绑定。这在没有exit.remove出现的场景中是没有问题的。但当有删除元素的情况出现的话，默认的绑定规则可能会出错。比如说原来是a对1、b对2、c对3，我删除了数据2，理论上应该变成a对1、c对3、b没有数据对应，所以是exit。但是，如前所说，默认绑定规则是从上到下，所以实际上变成了a对1、b对3、c没有数据与之对应。结果c变成了exit，导致了错误。解决办法就是不采用默认的绑定规则，改用按照某种规律进行绑定，如下：


nodes = nodes.data(force.nodes(),function(d) {
    return d.inst_cd;
});

如上所示nodes是按照inst_cd进行绑定，这样再删除数据的时候，就不会出现删除元素错误的情况出现了。

明白了update、enter和exit这三个概念，再来理解D3就容易多了。本例用的是D3的力导向图（Force-Directed Graph）。力导向图是绘图的一种算法，在二维或三维空间里配置节点，节点之间用线连接，称为连线。各连线的长度几乎相等，且尽可能不相交。节点和连线都被施加了力的作用，力是根据节点和连线的相对位置计算的。根据力的作用，来计算节点和连线的运动轨迹，并不断降低它们能量，最终达到一种能量很低的安定状态。


function showInfo(metaID,analyseType){  
    var height = 1500;
    var width = 1500;
    nodes_data =[];
    edges_data =[];
    edgeWidth = 2;
    r1 = 40;
    r2 = 20;
    color = d3.scale.category20();
    $.ajax({
        type:"post",
        url:__contextPath+"/standard/standardGraph/initGraph.d",
        async:true,
        cache:false,
        success:function(result){
            if(result==null || result==""){
                return "";
            }else{
                arr=eval('('+result+')');
            }
 
            nodes_data=arr.nodes;
            edges_data=arr.links;
            edges_data.forEach(function (link) {
                nodes_data.forEach(function(node){
                    if(link.source==node.inst_cd){
                        link.source=node;
                    }
                    if(link.target==node.inst_cd){
                        link.target=node;
                    }
                })
            });
            svg = d3.select("#standardgraph").append("svg")
                    .attr("width", width)
                    .attr("height", height);
 
            force = d3.layout.force()
            .nodes(nodes_data)
            .links(edges_data)
            .size([width, height])
            .linkDistance(function(d){
                if(d.target.model =="CommonCodeRoot" || d.target.model =="InfoSubject"){
                    return 300;
                }else{
                    return 100;
                }
            })
            // .friction(0.8)
            .charge(-1000)
            .on("start",forceStart)
            .on("tick", tick)
            .start();
            // 箭头
            drawMarker();
            drawLinks();
            drawNodes();
            // 标签
            drawNodes_lables();
            drawLinks_text();
            
            
            function zoomed(){  
                // svg.attr("transform","translate("+d3.event.translate+")scale("+d3.event.scale+")")
                svg.attr("transform","translate("+d3.event.translate+")")  
            } // d3.event.translate 是平移的坐标值，d3.event.scale 是缩放的值
            
            var zoom = d3.behavior.zoom()
            .scaleExtent([-10,10])// 用于设置最小和最大的缩放比例
            .on("zoom",zoomed);
            
            // svg.call(zoom);
        }
    })
}

上图所示是我在实际项目中参与完成的、用D3力导向图画出图形的部分代码。后台向前台传进json数据，前台拿到json数据进行处理画图。

3 展示

最后的成果如下：

注：即使经过了上述的优化，最终的执行速度依然算不上快。以上方案仅适用于没有使用Spring Boot的项目，在Spring Boot的项目中会有Neo4j的相关依赖，可以考虑使用相关API来进行开发。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/727627