zho-zho-zho/comfyui-anytext

Unofficial implementation of AnyText for ComfyUI（EXP）

👋 Hi，我是 Zho ！

中文 | English

🏛️ 职业：

• 职业建筑师 | 公共建筑
• 罗杰斯✅福斯特❌ | 盖里✅扎哈❌ | 贝聿铭✅路易斯康❌

❣️ 兴趣：

• AIGC
• 建筑设计&理论 | Archigram ✅ 结构主义✅
• 艺术 | 蔡国强✅
• 工业设计、交互设计

🤖 焦点：

• 目前独立从事 AIGC 研究与实践 | 图像✅ 视频✅ 3D✅ LLM✅
• 论文解读 | 发展梳理 | 视频制作

🏗️重心：

• Stable Diffusion 生态 + ComfyUI：
  • ComfyPark 社区筹备中 | 安装与部署 | 系统教程 | 模块+模组 | 工作流设计 | 定制化UI
  • 编写、汉化或优化自定义节点
  • 设计工作流
  • 完成2000+节点测试
  • 未来推出ComfyUI的一个优化版本
• AIGC 理论发展与梳理

🌟 技能：

• ChatGPT（哈哈哈）
• Python

🔥 热门：

• ComfyUI Workflows ZHO: 我的所有工作流（目前共 19 类 46 项）
• 简体中文版 ComfyUI: 主库，完整工作内容和时间线
• ComfyUI Assistant：GPTs帮助创建或解释自定义节点或工作流，上榜 GPTs 全球对话数据第 165 名（12.29数据），目前已达1.7k！
• ComfyUI Portrait Master 简体中文版: 人物肖像提示词生成模块，选择永远比填空更适合人类！
• Stable Diffusion 3 API ComfyUI: 通过 API 将 Stable Diffusion 3 引入 ComfyUI!
• Phi-3-mini in ComfyUI: 将闪电般速度的 Phi-3-mini-4k 模型引入到 ComfyUI 中，生成/补全提示词，解数学题，畅聊人生！
• Gemini in ComfyUI: 将 Gemini Pro 双模型引入到 ComfyUI 中，生成提示词、描述图像，也可与它畅聊人生！
• QWen-VL in ComfyUI: 将目前最好的开源视觉模型 QWen-VL-Plus & Max 引入到 ComfyUI 中，超强细节、文字识别能力，支持单/多轮对话双模式！
• ComfyUI ArtGallery | Prompt Visualization: 将近千种艺术提示词分类可视化，只需选择喜欢的图像 + 滑动选择权重，节点就会自动输出提示词，自由的在艺术世界翱翔吧！
• APISR in ComfyUI:专门用于动漫的超分模型，包含 2x 和 4x 双模型，速度飞快，效果很好
• BiRefNet in ComfyUI:目前最好的开源可商用背景抠除模型，同时支持 图像和视频 处理
• BRIA_RMBG 1.4 in ComfyUI：BRIA 开发的目前最好的背景去除模型，已支持批量处理（可去除视频背景）
• ComfyUI YoloWorld-EfficientSAM：利用全新的 YOLO-World 与 EfficientSAM 实现高效的对象检测 + 分割，支持选择指定蒙版单独输出，同时支持图像和视频
• DepthFM IN ComfyUI：CompVis 推出的 高效 + 多功能 深度估计模型，同时支持 图像和视频 深度估计
• ComfyUI TripoSR ZHO：TripoSR 在 ComfyUI 中的优化版，自带背景去除功能，修复原版黑色背景块bug，优化为按文件名保存 3D 模型
• ComfyUI PhotoMaker: 人物特征迁移与融合，支持单/多张参考图，轻松保持角色一致性！
• ComfyUI InstantID: 仅需一张图就可实现高质量的角色保持！多种风格随心变！
• ComfyUI Text_+ Image：将文字转化为图像的 ComfyUI 节点，还可配合视频生成字幕或帧计数
• ComfyUI Selector + CoInput Multilingual：CoInput 综合输入：高效整合 + 利于复用 + 简化界面 + 中英双语 + 避免efficiency-nodes重复加载的缺陷
• ComfyUI SegMoE：三个臭皮匠顶个诸葛亮！ SD 的 MoE 专家混合模型框架！
• ComfyUI PixArt-alpha Diffusers：对 PixArt-alpha-Diffusers实现，填补原本支持插件失效的空白
• Stable Video Diffusion in ComfyUI：我为 SVD 设计的 工作流 和 节点，文生视频 + 图生视频，更好的交互！
• ComfyUI I2VGenXL：目前 动效自然程度 和 光影 最好的 高清 视频模型
• ComfyUI Differential_Diffusion Workflows：我设计的 Differential Diffusion 工作流

📬 联系我：

• 邮箱：[email protected]
• QQ 群：839821928

🔗 社交媒体：

• 个人页：-Zho-
• Bilibili：我的B站主页
• X（Twitter）：我的Twitter
• 小红书：我的小红书主页

📅 未来计划：

• ComfyPark社区
• 发布 ComfyUI 2400+ 节点测试报告
• 开放精选期刊栏目（博客+订阅）
• 推出 ComfyUI 的特殊优化版本

💡 支持我：

• B站：B站充电
• 爱发电：为我充电

comfyui-anytext's Issues

It would be nice to have a how-to attached

Honestly, I'm eagerly awaiting

How can I fix this error? No module named 'cldm.model'

ERROR:root:Traceback (most recent call last):
File "L:\stable-diffusion\extensions\sd-webui-comfyui\ComfyUI\execution.py", line 155, in recursive_execute
output_data, output_ui = get_output_data(obj, input_data_all)
File "L:\stable-diffusion\extensions\sd-webui-comfyui\ComfyUI\execution.py", line 85, in get_output_data
return_values = map_node_over_list(obj, input_data_all, obj.FUNCTION, allow_interrupt=True)
File "L:\stable-diffusion\extensions\sd-webui-comfyui\ComfyUI\execution.py", line 78, in map_node_over_list
results.append(getattr(obj, func)(**slice_dict(input_data_all, i)))
File "L:\stable-diffusion\extensions\sd-webui-comfyui\ComfyUI\custom_nodes\ComfyUI-AnyText\AnyTextNodeTest.py", line 30, in run_anytext
pipe = pipeline('my-anytext-task', model='damo/cv_anytext_text_generation_editing', model_revision='v1.1.1', use_fp16=True, use_translator=False)
File "L:\stable-diffusion\venv\lib\site-packages\modelscope\pipelines\builder.py", line 137, in pipeline
register_modelhub_repo(model, cfg.get('allow_remote', False))
File "L:\stable-diffusion\venv\lib\site-packages\modelscope\utils\plugins.py", line 455, in register_modelhub_repo
import_module_from_model_dir(model_dir)
File "L:\stable-diffusion\venv\lib\site-packages\modelscope\utils\plugins.py", line 400, in import_module_from_model_dir
importlib.import_module(submodule)
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python310\lib\importlib_init_.py", line 126, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "", line 1050, in _gcd_import
File "", line 1027, in _find_and_load
File "", line 1006, in _find_and_load_unlocked
File "", line 688, in _load_unlocked
File "", line 883, in exec_module
File "", line 241, in _call_with_frames_removed
File "C:\Users\Administrator.cache\modelscope\modelscope_modules\cv_anytext_text_generation_editing\ms_wrapper.py", line 17, in
from cldm.model import create_model, load_state_dict
ModuleNotFoundError: No module named 'cldm.model'

How can i use to it

How will we use this with comfyui? Is it under construction right now?