dense并行训练1-流水线并行

技术分享 技术分享 2年前 (2024-06-28) 999+ 0

并行训练-流水线 简述 并行训练主要有三种策略: 数据并行训练加速比最高,但要求每个设备上都备份一份模型,显存占用比较高,但缺点是...

Zookeeper安装部署

技术分享 技术分享 2年前 (2024-06-28) 999+ 0

ZooKeeper 简介 ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,...

LLM 推理 – Nvidia TensorRT-LLM 与 Triton Inference Server

技术分享 技术分享 2年前 (2024-06-28) 999+ 0

1. LLM 推理 - TensorRT-LLM 与 Triton Inference Server 随着LLM越来越热门,LLM的推理服务也得到越来越多的关注与探索。在推理框架方...

配置h5py、netCDF4库的方法:Anaconda环境

技术分享 技术分享 2年前 (2024-06-28) 999+ 0

  本文介绍基于Anaconda环境,下载并安装Python中h5py与netCDF4这两个模块的方法。   在Python语言中,h5py与netCDF4这两个模块是与遥...

英特尔 Gaudi 加速辅助生成

技术分享 技术分享 2年前 (2024-06-28) 999+ 0

随着模型规模的增长,生成式人工智能的实现需要大量的推理资源。这不仅增加了每次生成的成本,而且还增加了用于满足此类请求的功耗。因...

UE4打包发布后,在Windows和Android平台上访问非Asset文件

技术分享 技术分享 2年前 (2024-06-28) 999+ 0

  1、问题来源   最近的项目里面有个需求,要在打包之后的exe或者apk运行起来后访问工程Content或者安卓目录下的非Asset文件,...

剖析 Kafka 消息丢失的原因

技术分享 技术分享 2年前 (2024-06-27) 999+ 0

目录 前言 一、生产者导致消息丢失的场景 场景1:消息体太大 解决方案 : 1、减少生产者发送消息体体积 2、调整参数max.request.s...

python并发执行request请求

技术分享 技术分享 2年前 (2024-06-27) 999+ 0

在Python中,我们可以使用requests库来发送HTTP请求,并使用threading、multiprocessing、asyncio(配合aiohttp)或concurrent.futures...

将PaddleOCR 转为 ONNX 运行

技术分享 技术分享 2年前 (2024-06-27) 999+ 0

PaddleOCR 是目前最好的开源OCR框架, 但paddle框架的兼容性实在不怎么好, 部署的时候容易出现各种各样的问题. 如果能把PaddleOCR转成O...

小窗口大魔力,实况窗服务实时掌控重要信息变化

技术分享 技术分享 2年前 (2024-06-27) 999+ 0

移动互联网时代,各种以用户为中心的App如春笋般涌现,满足了用户在购物、导航、娱乐等不同场景下的需求,不同程度上丰富了用户的日常...