tommyzihao/vlm_arm

机械臂+大模型+多模态=人机协作具身智能体

机械臂+大模型+多模态=人机协作具身智能体

作者：同济子豪兄

相关视频

机械臂接入GPT4o大模型，秒变多模态AI贾维斯：https://www.bilibili.com/video/BV18w4m1U7Fi

听得懂人话、看得懂图像、指哪打哪的机械臂是怎么炼成的：https://www.bilibili.com/video/BV1Cn4y1R7V2

同济子豪兄亚马逊**峰会演讲：多模态生成式AI的N种玩法：https://www.bilibili.com/video/BV1Pi421U7D6

首发实测！百度文心大模型4.0 Turbo接入机械臂智能体：https://www.bilibili.com/video/BV16M4m1m7Z1

【通义灵码】AI帮我啃祖传代码是什么体验？：https://www.bilibili.com/video/BV1Qz421i7Nd

原理

目标：听人话、看图像、找坐标、排动作、定格式

智能体Agent大语言模型：Yi-Large、Claude 3 Opus、文心大模型4.0 Turbo

多模态视觉理解大模型：GPT4v、GPT4o、Yi-Vision、Claude 3 Opus、智谱CogVLM2-Grounding、通义千问Qwen-VL-Max

机械臂及配件

机械臂：大象机器人Mycobot 280 Pi

开发板：树莓派4B Ubuntu 20.04

配件：摄像头法兰、吸泵

购买同款：淘宝搜大象机器人，报子豪兄粉丝可以打九五折

注意事项

复现教程：https://njapov1vnz.feishu.cn/docx/Qosedmc5NoYK7IxVoMBcD47jn9b?from=from_copylink

开机教程：https://njapov1vnz.feishu.cn/docx/SJQXdIWfUo85HjxXyEBc0Wpfnqc?from=from_copylink

• 需要安装配置python3.12环境及所需工具包
• 需要把API_KEY.py中的KEY换成你自己的KEY
• 需要确认麦克风ID和扬声器设备
• 需要确认摄像头和语音正常

特别感谢

零一万物 马诺

百度飞桨 刘聪琳

大象机器人售后技术支持团队

恒之未来 宋佩恒

能源算力融合（哈密）研究院算力与计算服务研究所 杨耀东

上海人工智能实验室 李佳伦

华中科技大学网络空间安全学院TAI团队 章航韬

渭南师范学院 田文博

vlm_arm's Issues

utils_vlm.py 中返回描述物体的像素位置，返回的坐标都是错乱的

而且我尝试问它 图片的分辨率，某个坐标处是什么物体，给出的答案都是错误的

AttributeError: module 'appbuilder' has no attribute 'ASR'

下载的appbuilder 依赖模块无法正常使用，难道不是这样下载的吗 pip install appbuilder

What does the FACTOR in post_processing_viz() do and how well does it work?

Great work!

In the examples given in SYSTEM_PROMPT, the coordinates of the bounding box corners is out of range, since the input image is 640*480. And function post_processing_viz() uses a FACTOR equals to 999 to normalize the output coordinates from the LLM, I guess.

However, since the range of coordinates are not specified in SYSTEM_PROMPT, what if the output coordinates are larger than 999? Did this ever happen in your experiments?

And how well does this FACTOR works? For the vl_now_viz.jpg shows the bounding box of Li Yunlong is actually not accurate.

Also, why is the FACTOR set to 999? Is this an empirical design or does it has something to do with the LLM used?

Thank you for your excellent work again and looking forward to your reply!

hi, 请问这个demo里面有手眼标定代码吗

hi, 大佬，请问这个demo里面有手眼标定代码吗

单纯进来点个赞，支持。

系统集成能力强大，知识面广，点个赞哈。

utils_vlm.py中的缩放因子为什么是999