qwen7b的硬件需求是什么呀？

[qwenlm]

qwen7b的硬件需求是什么呀？

[zhangyichang]

你好，目前有推断的硬件资源需求，https://github.com/QwenLM/Qwen-7B#quantization

Precision	MMLU	Memory
BF16	56.7	16.2G
Int8	52.8	10.1G
NF4	48.9	7.4G

训练的硬件需求我们会后续更新。

[BeastyZ]

我是A40 48G 显存，采用官方默认的加载精度(fp32)，显存占用31G左右。

[txy6666yr]

你好，目前有推断的硬件资源需求，https://github.com/QwenLM/Qwen-7B#quantization

Precision MMLU Memory
BF16 56.7 16.2G
Int8 52.8 10.1G
NF4 48.9 7.4G
训练的硬件需求我们会后续更新。
好的 谢谢

[txy6666yr]

我是A40 48G 显存，采用官方默认的加载精度(fp32)，显存占用31G左右。

好的，我算力不够，第一天量化int8加载报错，我今天改成fp16再试试

[CN-COTER]

你好，目前有推断的硬件资源需求，https://github.com/QwenLM/Qwen-7B#quantization

Precision MMLU Memory
BF16 56.7 16.2G
Int8 52.8 10.1G
NF4 48.9 7.4G
训练的硬件需求我们会后续更新。

您好，请问能提供一个int8的Qwen-chat-7B下载链接吗？

[CN-COTER]

你好，目前有推断的硬件资源需求，https://github.com/QwenLM/Qwen-7B#quantization
Precision MMLU Memory
BF16 56.7 16.2G
Int8 52.8 10.1G
NF4 48.9 7.4G
训练的硬件需求我们会后续更新。

您好，请问能提供一个int8的Qwen-chat-7B下载链接吗？

我看了一下Quant用的是AutoGPTQ，如果不方便提供int8的模型的话，可以提供一下GPTQ量化时使用到的datasets吗？