devbox
运维做开发
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

2019年不可错过的45个AI开源工具，你想要的都在这里

作者：运维做开发 | 2024-08-11 16:02:45

赞

踩

ai开源
640?wx_fmt=png

整理 | Jane

出品 | AI科技大本营（ID：rgznai100)

 

一个好工具，能提高开发效率，优化项目研发过程，无论是企业还是开发者个人都在寻求适合自己的开发工具。但是，选择正确的工具并不容易，有时这甚至是一项艰巨的任务。
 
 

Google
 

 
 
640?wx_fmt=png
 
开源地址：
https://github.com/google/jax
 
2、AdaNet【Stars：2.9k】

AdaNet 是一款基于TensorFlow 的轻量型框架。可以使用最少的专家干预来自动学习高质量模型，AdaNet提供的通用框架，不仅可以用于学习神经网络架构，还可以学习集成，从而获得更好的模型。
 
开源地址：
https://github.com/tensorflow/adanet
 

 
 
640?wx_fmt=png
 
开源地址：
https://github.com/tensorflow/tfx
 

 
 
开源地址：
https://github.com/tensorflow/federated
 

 
 
640?wx_fmt=png
 
开源地址：
https://github.com/google/mediapipe
 

 
 
640?wx_fmt=png
 
开源地址：
https://github.com/google/tensornetwork
 

7、GPipe
 
GPipe 是一个分布式机器学习库，使用同步随机梯度下降和流水线并行技术进行训练，适用于任何由多个序列层组成的 DNN。重要的是，GPipe 让研究人员无需调整超参数，即可轻松部署更多加速器，从而训练更大的模型并扩展性能。
 
开源地址：
https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.py
 

8、 MLIR【Stars：1.5k】
 
MLIR 通过定义一个通用的中间表示，将在TensorFlow和类似的ML框架中执行高性能机器学习模型所需的基础设施进行统一，包括高性能计算技术应用或强化学习这类搜索算法的集成。MLIR旨在降低开发新硬件的成本，并提高现有TensorFlow用户的可用性。
 
开源地址：
https://github.com/tensorflow/mlir
 

DeepMind
 

 
 
核心的 OpenSpiel 实现基于 C ++ 和 Python 绑定，这有助于在不同的深度学习框架中采用。该框架包含一系列游戏，允许 DRL agent 学会合作和竞争行为。同时，OpenSpiel 还包括搜索、优化和单一 agent 等多种 DRL 算法组合。
 
开源地址：
https://github.com/deepmind/open_spiel
 

 
 

开源地址：

https://github.com/deepmind/spriteworld

 

 
 
640?wx_fmt=png
 

开源地址：

https://github.com/deepmind/bsuite

 

Facebook
 

全部开源：

https://ai.facebook.com/results/open-source/?content_types%5B0%5D=blog

 

 
 

开源地址：

https://github.com/facebookresearch/LASER

 

 
 
Detectron2已经包含了众多保质量实现的目标检测算法，包括：DensePose, panoptic feature pyramid networks和Mask RCNN的各种变种。，其模块化特性也使其能够有效帮助研究人员探索最先进的算法设计。
 

开源地址：

https://github.com/facebookresearch/detectron2

 

3、Habitat-Sim【Stars：549】
 
Habitat-Sim 是一个仿真的、灵活、高性能的3D模拟器，可配置代理、多个传感器和通用3D数据集处理，让我们可以在其中训练和评估 AI智能体。
 
640?wx_fmt=png
 

开源地址：

https://github.com/facebookresearch/habitat-sim

 

 
PyText 是一个基于 PyTorch 构建的 NLP 建模（基于深度学习）框架，核心功能可以支持文本分类、序列标注等神经网络模型。PyText 可以简化工作流程，加速试验，同时还能促进大规模部署。
 
开源地址：
https://github.com/facebookresearch/pytext
 

5、Nevergrad【Stars：2.1k】
 
Nevergrad 是Facebook 内部也在使用的一个无梯度优化 Python工具箱。除了内部项目中使用，还可以广泛运用在机器学习的多种问题中，比如多模态问题、可分离或旋转问题、部分可分离问题、离散、连续或混合等问题。
 
640?wx_fmt=png
 

开源地址：

https://github.com/facebookresearch/nevergrad

 

6、QNNPACK【Stars：1.2k】
 
QNNPACK（量化神经网络包）是一个针对低精度高性能神经网络推理的移动端优化库。据官方公布，QNNPACK可以成倍提升神经网络的推理效率，已经成为 PyTorch 1.0 的一部分， 也已经被集成到 Facebook 的应用程序中，部署到数十亿台设备上。
 

开源地址：

https://github.com/pytorch/QNNPACK

 

 
 
PBG 比常用的嵌入软件更快，并在标准基准上生成与最先进模型质量相当的嵌入。有了这个新工具，任何人都可以用一台机器或多台机器并行地读取一个大图并快速生成高质量的嵌入。
 
640?wx_fmt=png

 

开源地址：

https://github.com/facebookresearch/PyTorch-BigGraph

 

8、 CrypTen【Stars：274】
 
CrypTen是一个基于PyTorch的隐私保护机器学习框架 。它的目标是让机器学习的实践者能够使用安全地进行计算。
 
640?wx_fmt=png
 

开源地址：

https://github.com/facebookresearch/crypten

 

 
 
640?wx_fmt=png
 

开源地址：

https://www.captum.ai/

 

10、DLRM【Stars：1.5k】
 
Facebook 开源的深度学习推荐模型DLRM 是基于 PyTorch 和 Caffe2 平台实现。这也是一个在生产环境中提供个性化结果的模型，通过结合协同过滤算法和预测分析方法，使模型获得进一步效果的提升。
 

开源地址：

https://github.com/facebookresearch/dlrm

 

11、Pythia【Stars：2.9k】
 
Pythia 是一个模块化的深度学习框架。它可以支持视觉和语言领域的多任务处理，内置各种数据集，同时还支持数据并行和分布式数据并行的分布式训练，满足用户对损失、度量、调度和优化器的定制需求。  

640?wx_fmt=png
 

开源地址：

https://github.com/facebookresearch/pythia


亚马逊

 

 
 
开源地址：
http://dgl.ai
https://github.com/dmlc/dgl
 

2、Neo-AI
 
Neo-AI 是 AWS 开源一个AI模型优化框架，包含了对 TVM、Treelite、DLR 所做多一些改进与创新。Neo-AI 运行时占用的空间并不大，转换模型的速度可以加快2 倍，但精度并不会受到损失，在目标硬件上运行时并不依赖于框架。
 

开源地址：

https://github.com/neo-ai

 

微软
 

 
 

开源地址：

https://github.com/microsoft/nni/blob/master/README_zh_CN.md

 

 
微软开源的 AI 计算平台，帮助加速机器学习的模型训练过程。提供了完整的 AI 模型训练和资源管理能力，能轻松扩展，并支持各种规模的私有部署、云和混合环境。
 

开源地址：

https://github.com/microsoft/pai/blob/master/README.md

 

3、lnterpretML【Stars：2.1k】
 
微软开源的可解释机器学习工具包 lnterpretML。它不仅能执行很多可理解的模型，也希望帮助开发人员能尝试各种方法解释模型和系统。
 

开源地址：

https://github.com/interpretml/interpret

 

4、PipeDream【Stars：34】
 
几个月以前，微软研究院宣布了Fiddle项目的创立，其包括了一系列的旨在简化分布式深度学习的研究项目。PipeDreams是Fiddle发布的第一个侧重于深度学习模型并行训练的项目之一。PipeDream采用一种有别于其它方法的方式，利用称为“流水线并行”的技术来扩展深度学习模型的训练。
 

开源地址：

https://github.com/msr-fiddle/pipedream

 

Uber
 

1、Ludwig【Stars：5.9k】
 
一个基于TensorFlow的工具箱，不用写代码就能够训练和测试深度学习模型。可以帮助开发者更好地理解深度学习方面的能力，并能够推进模型快速迭代。对AI专家来说，Ludwig可以简化原型设计和数据处理过程，从而让他们能够专注于开发深度学习模型架构。
 

开源地址：

https://github.com/uber/ludwig

 

OpenCV
 

1、OpenVINO【Stars：873】
 
OpenVINO 是一个模型训练框架，提供了大量的预训练模型，同时提供模型重新训练与部署的拓展通道。
 

开源地址：

https://github.com/opencv/dldt

 

SciSharp STACK
 
一个基于 .NET 的机器学习生态，提供一个和 Python 生态体验一致的工具库，让模型迁移更容易、学习曲线最低。SciSharp 从最基本的张量计算库 NumSharp 开始构建，到 TensorFlow Binding，再到吸纳其它深度学习库 SiaNet 做 ArrayFire.NET，最后到开发ICSharpCore以支持Jupyter Notebook调试。

 
 
640?wx_fmt=png

 

开源地址：

https://github.com/SciSharp/TensorFlow.NET


 
 
640?wx_fmt=png
 

开源地址：

https://github.com/SciSharp/Numpy.NET

 

阿里
 

 
 

开源地址：

https://github.com/alibaba/euler/wiki

 

 
 
640?wx_fmt=png
 

开源地址：

https://github.com/alibaba/x-deeplearning

 

 
 
640?wx_fmt=png
 
开源地址：
https://github.com/alibaba/MNN/blob/master/README_CN.md
 

腾讯
 

 
 
640?wx_fmt=png
 

开源地址：

https://github.com/Angel-ML/angel

 

字节跳动
 

1、BytePS【Stars：1.9k】
 
BytePS 是今年字节跳动发布的一款高性能的通用分布式训练框架。它支持TensorFlow、Keras、PyTorch 和 MXNet，可以在TCP或RDMA网络上运行。BytePS在很大程度上优于现有的开源分布式培训框架。
 
640?wx_fmt=png

 

开源地址：

https://github.com/bytedance/byteps

 

商汤
 

 

 

开源地址：

https://github.com/open-mmlab/mmdetection

   

2、PySOT【Stars：2.7k】
 
PySOT 目标跟踪库实现了目前 SOTA 的多个单目标跟踪算法，包括SiamRPN和SiamMask。PySOT 是用 Python 编写，基于 PyTorch 框架实现，同时该项目还包含一个评估跟踪器的Python 接口。
 
640?wx_fmt=png
 
开源地址：
https://github.com/STVIR/pysot


搜狗
 

1、SMRC【Stars：547】
 
SMRC（Sogou Machine Reading Comprehension）目前业内最全的TensorFlow版本的阅读理解工具集合，从相关数据集的下载到最后模型的训练和测试，一应俱全。
 
640?wx_fmt=png
 

开源地址：

https://github.com/sogou/SMRCToolkit

 

蚂蚁金服

 

 
 

开源地址：

https://github.com/sql-machine-learning/elasticdl/


其他
 

 
 
该框架可以帮助学术研究人员快速开发算法原型；为工业界人员快速开发应用提供一种简洁有效的解决方案，支持在多场景下的开拓和应用；借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台（CPU、GPU）和设备（桌面设备、服务器集群、移动设备等）
 

开源地址：

https://www.fedai.org.cn/cn/

https://github.com/FederatedAI/FATE

   

2、DeepCTR【Stars：2.2k】
 
DeepCTR 一个易于使用、模块化和可扩展的基于深度学习的 CTR 模型包，带有许多核心组件层，可用于轻松构建自己定制的模型。
 

开源地址：

https://github.com/shenweichen/DeepCTR

 

3、ALiPy【Stars：356】
 
ALiPy是一个基于Python实现的主动学习工具包，内置20余种主动学习算法，并提供包括数据处理、结果可视化等工具。ALiPy根据主动学习框架的不同部件提供了若干独立的工具类，这样一方面可以方便地支持不同主动学习场景，另一方面可以使用户自由地组织自己的项目，用户可以不必继承任何接口来实现自己的算法与替换项目中的部件。此外，ALiPy不仅支持多种不同的主动学习场景，如标注代价敏感，噪声标注者，多标记查询等。
 

开源地址：

https://github.com/NUAA-AL/ALiPy

 

4、Real-Time Voice Cloning【Stars：9.1k】
 
Real-Time Voice Cloning 是论文《Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis（SV2TTS）》的实现。SV2TTS 是一个三阶段深度学习框架，可以在 5 秒的音频中创建一个语音的数字表示，并使用它来调整一个经过训练的文本到语音模型，以推广到新的语音。

 

开源地址：

https://github.com/CorentinJ/Real-Time-Voice-Cloning

 

5、Weights and Biases  【Stars：1.3k】
 
640?wx_fmt=png
 
一个在机器学习实验过程中用于可视化和跟踪的工具。它与框架无关，比TensorBoard更轻。每次运行一个装有 wandb 的脚本时，都会保存超参数和输出度量。在训练过程中可视化模型，还能轻松对比模型的版本，还会自动跟踪你的代码、系统指标和配置参数的状态。
 
开源地址：
https://github.com/wandb/client
 

◆

送礼时间

◆



2019年CSDN软件开发者大调查活动已经正式启动了！ 作为技术开发社区的一份子，我们诚邀你加入我们的大调查活动， 重磅礼品狂送不停！

参与即有机会获赠，还等什么，快来试试吧~~此外，所有参与调查并提交有效信息的用户，都将第一时间获赠“2019-2020中国开发者调查报告”电子版！
640?wx_fmt=png

推荐阅读

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/965045
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号