Deep Learning in Production

深度学习生产

在此存储库中，我将分享一些有关在生产中部署深度学习模型的有用注释和参考。

转换生产中的Pytorch模型：

• Pytorch生产级教程[很棒]
• 通往1.0的道路：生产准备
• Pytorch 1.0跟踪JIT和LIBTORCH C ++ API将Pytorch集成到Nodejs [好文章]
• pytorch中的模型
• Pytorch Summer Hackathon [非常重要]
• 使用烧瓶部署Pytorch并建造REST API [重要]
• Pytorch型号识别部署在烧瓶上的热狗和未开玩笑的模型
• 将Pytorch 1.0模型作为C ++中的Web服务器[有用的示例]
• pytorch内部[有趣而有用的文章]
• 烧瓶应用以支持Pytorch模型预测
• 在烧瓶螺纹安全上提供Pytorch型号
• 使用Caffe2和onnx在AWS lambda上使用Pytorch型号
• 使用Caffe2和onnx在AWS lambda上使用Pytorch模型（另一个版本）
• 深入研究ONNX运行时
• EuclidesDB-带Pytorch的多模型机器学习功能数据库
• Euclidesdb -github
• WebDNN：Web浏览器上的最快DNN执行框架
• Fastai Pytorch无服务器API（带有AWS lambda）
• Fastai Pytorch生产（讨论）
• OpenMMLAB模型部署框架
• Pytorch本地体系结构优化：Torchao
• Torchserve [出色的工具]
• Torchserve视频教程
• Litserve：快速提供AI模型闪电

将Pytorch型号转换为C ++：

• 在C ++中加载Pytorch型号[奇妙]
• Pytorch C ++ API [ BRAVO ]
• 火炬介绍（Pytorch）C ++前端[非常好]
• 关于使用Pytorch C ++ API的博客[良好]
• Aten：张量库
• 关于类似Pytorch的C ++接口的重要问题
• Pytorch C ++ API测试
• Pytorch通过C ++ [有用的注释]
• 自动加热
• Pytorch C ++库
• 直接C ++接口到Pytorch
• 用于将Pytorch图编译为C的Python模块

在生产中部署TensorFlow模型：

• 如何使用TensorFlow部署机器学习模型-Part1
• 如何使用TensorFlow部署机器学习模型-Part2
• 如何使用TensorFlow部署机器学习模型-Part3
• Tensorflow中的神经结构学习（NSL）[ Great ]
• 建立强大的生产准备深度学习视觉模型
• 为TensorFlow模型创建REST API
• Siraj Raval在YouTube上的“如何在生产中部署张量流模型”
• Siraj Raval在YouTube上的“如何在生产中部署TensorFlow模型”的代码
• 如何使用TensorFlow服务部署对象检测模型[非常好的教程]
• 冻结TensorFlow模型并在网络上服务[非常好的教程]
• 如何使用TF服务将张量流模型部署到生产中[好]
• Zendesk如何在生产中提供张量流模型
• TensorFlow服务示例项目
• 使用TensorFlow服务中的生产模型[ Tensorflow Dev Summit 2017视频]
• 建立张量作为独立项目
• TensorFlow C ++ API示例
• tensorflow.js
• 引入TensorFlow.js：JavaScript中的机器学习

将Keras模型转换为生产：

• 与Keras，Redis，Flask和Apache一起Deep Learning in Production [等级：第一和一般有用教程]
• 在Python中部署Keras深度学习模型作为Web应用程序[非常好]
• 在AWS上部署Python Web应用程序[非常好]
• 部署深度学习模型第1部分：准备模型
• 部署您的Keras模型
• 使用keras.js部署KERAS模型
• Siraj Raval在YouTube上的“如何将Keras模型部署到生产中”
• 在10分钟内用烧瓶作为Web应用程序部署Keras模型[好存储库]
• 用烧瓶部署Keras深学习模型
• keras2cpp

在生产中部署MXNET模型：

• apache mxnet的模型服务器
• 运行模型服务器
• 多模型服务器（MMS）文档
• 引入Apache MXNET的模型服务器
• 单拍多对象检测推理服务
• 亚马逊射手制造商
• 我们如何服务使用Gluon API构建的MXNET模型
• MXNET C ++软件包
• MXNET C ++软件包示例
• MXNET图像分类示例C ++
• MXNET C ++教程
• MXNET API简介[学习MXNET的很好的教程]
• Gluoncv
• Gluonnlp
• 生产级神经网络推断的模型量化[优秀]

使用GO部署机器学习模型：

• 皮层：在生产中部署机器学习模型
• Cortex-主页
• 为什么我们使用GO部署机器学习模型 – 而不是Python
• torch
• gotch- pytorch的api
• Tensorflow Go lang
• go-onnx

一般深度学习部署工具包：

• OpenVino Toolkit-深度学习部署工具包存储库[ Great ]
• Clearml -ML/DL开发和生产套件
• 使用Heroku的模型部署：Heroku的完整指南[Good]
• NVIDIA TRITON推理服务器[ Great ]
• NVIDIA TRITON推理服务器-Github [ Great ]
• 与NVIDIA TRITON推理服务器相连的推理速度
• NVIDIA深度学习示例的张力核心[有趣]
• 使用Triton推理服务器部署Jasper推理模型[有用]
• NVIDIA MLOPS课程通过Triton
• 很棒的生产机器学习[伟大]
• Bentoml模型服务

华为深度学习框架：

• 思维孔 – 华为深度学习框架
• Mindspore-教程

一般深度学习编译器堆栈：

• TVM堆栈

深度学习框架之间的模型转换：

• ONNX（开放神经网络交换）
• 使用ONNX的教程
• mmdnn [奇妙]
• 将完整的Imagenet预先训练的模型从MXNET转换为Pytorch [奇妙和完整的Imagenet模型是指在〜14m图像上训练的模型]

一些Caffe2教程：

• 使用caffe2的mnist
• caffe2 C ++教程和示例
• 使Caffe2上的Squeezenet进行转移学习
• 通过在C ++中使用CAFFE2框架来构建基本程序

设计UI的一些有用资源（前端开发）：

• ReactJs vs angular5 vs vue.js
• 角度和反应及其核心语言之间的比较
• 成为全栈开发人员的指南[非常好的教程]
• 在2018年成为网络开发人员的路线图[非常好的存储库]
• 2018年现代前端开发人员
• 成为2018年成为React开发人员的路线图
• 2019 UI和UX设计趋势[好]
• 简化[构建自定义ML工具的最快方法]
• Gradio [好]
• 网络开发人员月度
• 23最佳React UI组件框架
• 2018年的9个React样式组件UI库
• 35 UI设计的新工具
• 5种加快应用程序开发的工具[非常好]
• 如何使用WebPack 4，Babel 7和材料设计使用ReactJS
• Adobe Typekit [大字体，您需要它们]
• 使用Angular 6构建现实世界美丽的网络应用
• 你不知道JS
• JavaScript前10篇文章
• 使用Adobe XD的网页设计
• Inspinia Bootstrap Web主题
• 前端开发人员的学习跟踪器
• 最好的前端黑客作弊表 – 全部在一个地方[有用＆有趣]
• 对机器学习工作流程（机器流）进行配对
• 电子 – 使用JavaScript构建跨平台桌面应用程序[非常好]
• Opyrator-将Python的功能转换为Web API [ Great ]的微服务
• 首次查看Pyscript：Web浏览器中的Python [ Fimfter ]

移动和嵌入式设备开发：

• Pytorch手机[优秀]
• 2018年移动UI设计趋势
• NCNN-针对移动平台优化的高性能神经网络推理框架[有用]
• 阿里巴巴-MNN
• 很棒的移动机器学习
• EMDL-嵌入式和移动深度学习
• Fritz- iOS和Android的机器学习平台
• Tensorflow Lite
• 微小的机器学习：下一个AI革命
• TLT -NVIDIA转移学习工具包
• NVIDIA JETSON推断[伟大]
• Editificml.AI讲座（麻省理工学院课程）
• Pytorch Edge：使用Executorch启用跨移动和边缘设备的设备推理

后端开发部分：

• 2018年现代后端开发人员
• 部署前端应用程序 – 有趣的方式[非常好]
• RABBITMQ [消息经纪软件]
• 芹菜[分布式任务队列]
• kafka [分布式流式平台]
• Dockerme的Docker培训
• kubernetes -github
• 在Google Kubernetes引擎上部署机器学习管道
• 数据科学家的Kubernetes简介
• Jenkins和Kubernetes和Docker桌面
• 掌舵：Kubernetes的包装经理
• 使用Docker群创建群集
• Deepo-所有DL框架尊敬的Docker图像
• KubeFlow [ ML工作流程在Kubernetes上的部署]
• kubespray-部署生产准备就绪的kubernetes群集
• KFSERVING -KUBERNETES用于服务ML模型
• 用KFServing部署拥抱面NLP模型[有趣]
• Seldon Core-在Kubernetes上部署机器学习模型
• Seldon Core -GitHub
• 机器学习：在Ubuntu上使用KubeFlow服务模型，第1部分
• CoreWeave Kubernetes云
• MLOPS参考[ ML的DevOps ]
• 数据版本控制-DVC [ Great ]
• MLEM：软件包和部署机器学习模型
• Pysyft-一个用于加密的，隐私的图书馆，保存深度学习
• LocalStack-功能齐全的本地AWS云堆栈
• 诗歌：Python包装和依赖管理
• Netflix的强大数据库选择用于大规模流式传输
• Ray：统一缩放AI和Python应用程序的统一框架

GPU管理库：

• gputil
• PY3NVML [ Python 3与NVIDIA管理库结合]
• pycuda -github
• pycuda
• Pycuda教程
• setgpu
• 监视您的GPU [优秀]
• GPU-burn-多GPU CUDA应力测试[有用]
• Grafana-监测和可观察性[极好]
• Prometheus [非常适合监视解决方案和提取所需指标]
• Openai Triton：神经网络的开源GPU编程

加速和Scalabale Python代码：

• numba-快速制作Python代码
• dask-天生的缩放python
• 什么是dask
• Ray-运行分布式应用程序
• 神经网络蒸馏器[ Pytorch中深度学习模型的蒸馏和量化]
• Autodistill
• Pytorch修剪教程
• 您可以删除99％的神经网络而不会失去准确性吗？ – 修剪体重的简介
• PocketFlow-自动型号压缩（AUTOMC）框架[伟大]
• 引入张量流的模型优化工具包
• Tensorflow模型优化工具包 – 训练后整数量化
• Tensorflow训练后量化
• pytorch中的动态量化
• pytorch中的静态量化
• NVIDIA DALI-深度学习中预处理的高度优化数据
• Horovod-分布式培训框架
• onnx float32到float16
• 加快使用张力的深度学习推断
• 加快训练
• 本地Pytorch自动混合精度，以更快地训练NVIDIA GPU
• JAX- PYTHON+NUMPY程序的可组合转换
• Tensorrtx-张力的流行DL网络
• 使用TensorFlow，ONNX和Tensorrt加速深度学习推断
• Tensorrt开发人员指南
• 如何将模型从pytorch转换为张力并加快推理[好]
• CUDF：GPU DataFrame库
• CUDF示例

深度学习的硬件笔记：

• 深度学习的硬件

MLOPS课程和资源：

• Mlops-Basics [伟大]
• MLOPS-Zoomcamp [Great]
• 一系列资源来了解MLOP [伟大]
• 很棒的MLOP [伟大]
• 数据科学主题和MLOP [Great]
• MLEM：软件包和部署机器学习模型
• DevOps练习
• MLOPS样本项目
• 县长：编排和观察您的所有工作流程
• Datatalks Club：谈论数据的地方
• OpenNMT ctranslate2：变压器模型的快速推理引擎

其他：

• 生产水平深度学习指南
• Facebook表示，开发人员会喜欢Pytorch 1.0
• 一些Pytorch工作流程变化
• WANDB-一种可视化和跟踪机器学习实验的工具
• Pytorch和Caffe2存储库越来越近
• Pytorch还是Tensorflow？
• 在2018年选择深度学习框架：Tensorflow还是Pytorch？
• Pytorch和Tensorflow之间的深度学习战争
• 将机器学习模型嵌入Web应用程序（第1部分）
• 部署深度学习模型：第1部分概述
• 生产机器学习
• 如何通过Python进行2–6倍的数据进行2–6倍的速度
• 使您的C库从Python callable
• Mil Webdnn
• 多GPU框架比较[伟大]