xinference部署能使用deepspeed吗？

[wangyongpenga]

xinference部署能使用deepspeed或者设置参数能减小参数的使用？

[qinxuye]

使用 deepspeed 主要作用是？

[wangyongpenga]

节省gpu

[qinxuye]

没明白，你准备用 deepspeed 拉 xinf 还是 xinf 拉 deepspeed ，要解决什么问题？

[wangyongpenga]

就是如果资源比较紧张的话训练的时候，能使用deepspeed进行策略调用用比较少的gpu资源进行训练，推挤到推理的时候，我们部署推理模型的时候是不是也能使用deepspeed类似的策略进行gpu资源的合理使用

[Ilovecode93]

同问，我也遇到了同样的问题，xinf 中不知道如何使用deepspeed

[SeesawLiu]

我也遇到这样的需求，需要使用deepspeed集合多张小显存卡共同进行推理比较大的模型

[qinxuye]

deepspeed怎么使用的能给个例子吗

[SeesawLiu]

deepspeed怎么使用的能给个例子吗

我具体也没有写过，只看到相关的文档 deepspeed tutorials ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning