【🌟欢迎共建】XrayGLM项目TODO

[wangrongsheng]

【🌟欢迎共建】XrayGLM项目TODO

[whNLP]

ValueError: could not find the metadata file checkpoints/checkpoints-XrayGLM-3000/latest, please check --load 这个如何解决呢，是配置文件有问题吗？haggingface上面的latest.txt里面内容为3000；感谢解答！

我也遇到这个问题，我之前的操作是直接到hf上将微调后的权重、latest以及model_config.json下载到本地，后来，我按照作者在colab上的命令只把hf上的latest下载到checkpoints下的指定目录中，将旧的latest替换掉，问题得以解决
%cd checkpoints/
!wget https://huggingface.co/wangrongsheng/XrayGLM-300/resolve/main/latest
!wget https://huggingface.co/wangrongsheng/XrayGLM-300/resolve/main/model_config.json

!mkdir 300
%cd 300/
!wget https://huggingface.co/wangrongsheng/XrayGLM-300/resolve/main/300/mp_rank_00_model_states.pt

[2132660698]

谢谢，你这个项目很棒，学习了，想加入。

[WangRongsheng]

谢谢，你这个项目很棒，学习了，想加入。

欢迎共建，提交pr即可

[2132660698]

可以集成一下这个项目的功能，加上结果检测框，更实用一些。
https://github.com/OptimalScale/DetGPT

[WangRongsheng]

@2132660698 好的想法！

[freelancerllm]

你好，这个训练时间是多久呢？

[WangRongsheng]

你好，这个训练时间是多久呢？

我是用的四卡A100，大概2-3小时即可训练完。

[2132660698]

XrayGPT里面用到了MedCLIP，请问MedCLIP是不是会增强X片子里面专业医学术语的识别？我是做汽车行业的研发设计的，我们的很多专业名词，现在的视觉部分也不能识别，所以想在这块提升一下。

[WangRongsheng]

XrayGPT里面用到了MedCLIP，请问MedCLIP是不是会增强X片子里面专业医学术语的识别？我是做汽车行业的研发设计的，我们的很多专业名词，现在的视觉部分也不能识别，所以想在这块提升一下。

其实他们也没有专门做这方面的增强。使用VisualGLM-6B微调之前其实应该有一个垂直领域的预训练过程，但是作者并没有添加。

[2132660698]

好的，感谢回复，感觉想要效果好的话，视觉端和语言模型都需要在垂直领域做增强，现在ChatGLM或ChatGPT在行业领域应用，乱说的现象比较严重，需要加本地知识库才能达到实用。

[2132660698]

还想请问一下，您申请到MIMIC-CXR Database数据了吗？

[WangRongsheng]

好的，感谢回复，感觉想要效果好的话，视觉端和语言模型都需要在垂直领域做增强，现在ChatGLM或ChatGPT在行业领域应用，乱说的现象比较严重，需要加本地知识库才能达到实用。

知识库可以。如果您有足够的资源，在自己的垂直领域中先预训练再微调也是一种很好的解决方案。

[2132660698]

好的，感谢回复，感觉想要效果好的话，视觉端和语言模型都需要在垂直领域做增强，现在ChatGLM或ChatGPT在行业领域应用，乱说的现象比较严重，需要加本地知识库才能达到实用。

知识库可以。如果您有足够的资源，在自己的垂直领域中先预训练再微调也是一种很好的解决方案。

预训练需要的资源太多了，10B左右的模型，预训练起步需要20台8卡80G A100，现在资源只能做个微调。

[yunfei920406]

如何使用本地自己的数据训练一个GLM，比如MRGLM CTGLM， 报告部分该如何准备

[WangRongsheng]

@yunfei920406 您可以参考这个：https://github.com/WangRongsheng/XrayGLM/tree/main/data/demo

[zgjiangtoby]

想请教一下，你在微调的时候只是微调了文本端吗？对于xray图像，不需要对图像端微调吗？

[WangRongsheng]

想请教一下，你在微调的时候只是微调了文本端吗？对于xray图像，不需要对图像端微调吗？

视觉模型我们使用的是BLIP2，语言模型我们用了VisualGLM-6B。

[lovelucymuch]

ValueError: could not find the metadata file checkpoints/checkpoints-XrayGLM-3000/latest, please check --load
这个如何解决呢，是配置文件有问题吗？haggingface上面的latest.txt里面内容为3000；感谢解答！

[jamyriver]

怎么改web_demo.py的端口呀。。。

[WangRongsheng]

怎么改web_demo.py的端口呀。。。

修改 https://github.com/WangRongsheng/XrayGLM/blob/main/web_demo.py#L144 为

demo.launch(share=args.share, server_port=8899)

[jamyriver]

为啥会报错呢？

[WangRongsheng]

为啥会报错呢？

您指定的是本地权重，它现在把您指定的本地权重认为是在hf上，但是它并没有能在hf上找到这个模型，具体修改方法参考：https://colab.research.google.com/drive/1aR8SSaseyprsxnor-gDyMo96V9jD7iGP?usp=sharing

[SixGoodX]

请问可以从本地加载预处理模型visualglm吗，而不是sat下载。这段代码在哪里改啊？

[jamyriver]

多轮对话时，总是提示错误超时。

[Eumenides28]

如何使用多卡数据并行微调呢？微调时一直显示只使用了rank0的机器，设置了export CUDA_VISIBLE_DEVICES=0,1,2,3也不行

[ybsu]

您好，请问XRAYGLM现在仅支持X光影响报告生成吗？ 贵团队是否在这个基础上做ct、mri、超声等其他类型医学影像的报告生成？ 近期会有此类预训练好的模型release吗？ 不知道使用此套代码来在ct、mri、超声等数据上进行finetune是否可行？谢谢您。

[lushanfu]

请问微调这个 XrayGLM 作者训练了多少轮次？

[murray-z]

如果同时有包含图片的问答和无图片的问答，能同时支持微调吗？

[MoramiSu]

请问你们训练微调了多少个iteration才达到现在的效果？

[zhangxu33]

data\Xray\openi-zh.json这个数据集是中文乱码了吗

[Leslieygj]

zipfile.BadZipFile: File is not a zip file
这个问题是啥问题呢 就是在模型复现的时候

[Koiandad]

Wang ge，how to solve this problem，i run it at win10

[Hamesen]

zipfile.BadZipFile: File is not a zip file 这个问题是啥问题呢 就是在模型复现的时候
同问，请问您解决了吗？

[MrHZF]

zipfile.BadZipFile: File is not a zip file 这个问题是啥问题呢 就是在模型复现的时候
同问，请问您解决了吗？

同问同问，我也遇到了这个问题