MIT联合谷歌东北大学发布InstructMesh：可局部修改AI生成的 3D模型再打印
MIT CSAIL与谷歌、东北大学的研究者推出InstructMesh，把TRELLIS的 3D生成能力与GPT-4的语言理解结合，让新手能高亮模型缺陷、用自然语言描述修改需求，再交由 3D打印。论文称，TRELLIS复现的Thingiverse热门模型中近 80% 存在结构缺陷，而新手在近 90% 的情况下能够识别并修复。
AI解读：AI生成 3D模型的老问题是“好看但不好用”：模型知道杯子该长什么样，却不知道杯子得能装水，于是经常打印出没法用的东西。InstructMesh想解决的就是这个断层，把“生成”和“能用”之间的手工修补环节大幅简化。
它给出的方案是分工：微软的TRELLIS负责把文字或图片变成 3D模型，GPT-4负责理解你的修改意图。用户只需高亮要改的部分，再用自然语言说明问题，系统就在生成模型的隐空间里改几何形状，最后让用户确认。
最直接的受益者是从没碰过 3D建模工具的人。研究人员先让TRELLIS复现Thingiverse上的热门打印模型，结果近 80% 有结构缺陷；随后让新手在InstructMesh里识别并修复，经专家评估，约 90% 的情况下他们两项都做到了。
演示产物包括龙身缠成把手的水杯、蝴蝶翅膀眼镜、贝壳形哨子、章鱼触手分饮料的分配器，还有外形像牛仔裤的护膝和藏在虾形壳里的“毛刷机器人”。论文将在 11 月的ACM UIST会议上展示，作者之一已入职谷歌，下一步可能把工具接进AR平台，并加入物理模拟来判断碗掉地上会不会碎。
MIT计算机科学与人工智能实验室（CSAIL）、谷歌和东北大学的研究者发布了一款名为InstructMesh的 3D设计工具，目标是让用户修改AI生成的 3D模型，并直接 3D打印出功能可用的物品。
研究者称，AI模型理解物体“看起来什么样”，但不理解它“怎么工作”，因此生成的模型常有结构缺陷、无法实现原本用途。InstructMesh让用户在蓝图里高亮想改的部分、用自然语言描述修改需求，再交给系统调整几何形状，最后打印。
该工具把微软的TRELLIS系统（将文本和图像提示生成 3D模型）与支撑ChatGPT的大语言模型GPT-4组合在一起，即视觉知识与文本知识结合。论文第一作者、MIT电气工程与计算机科学系毕业生、近期CSAIL附属成员Faraz Faruqi表示，他们想把 3D生成器的能力与LLM的推理能力放到一个交互空间里。
为测试新手能否发现问题，团队用TRELLIS复现了Thingiverse（拥有数百万可打印模型的平台）上的热门 3D模型，发现它生成的模型近 80% 存在某种结构缺陷。随后CSAIL研究者让没有 3D建模经验的人用InstructMesh找出并修复这些问题；经专家评估，新手在约 90% 的情况下能完成识别和修复两项任务。
论文演示的成品包括：龙身包裹杯体、尾巴作把手的水杯；形似贝壳的亮蓝色哨子；镜片上方展开蝴蝶翅膀的眼镜；以及像章鱼一样从每条触手流出液体、可同时向多个杯子分配饮料的分配器。研究者还用InstructMesh制作了外观像牛仔裤、用于匹配患者牛仔裤的护膝，以及一个外形像彩色虾的“毛刷机器人”——电机藏在内部，启动后能在表面滑动，类似上发条的玩具。
InstructMesh由CSAIL与谷歌、东北大学合作开发。资深作者是MIT电气工程与计算机科学系及机械工程系副教授、CSAIL成员Stefanie Mueller。论文其他作者包括谷歌的Ahmed Katary、Fabian Manhardt、Vrushank Phadnis、Ruofei Du、Federico Tombari，东北大学助理教授Megan Hofmann，以及CSAIL的Demircan Tas、Theresa Hradilak、Ning Zhang、Jiaji Li、Martin Nisser等。研究部分由谷歌和MIT-HPI合作研究计划支持，论文将在 11 月的ACM用户界面软件与技术研讨会（UIST）上展示。
TRELLIS加GPT-4：分工处理形状与意图
InstructMesh的工作方式依赖两个已有系统：微软的TRELLIS负责从文本和图像提示生成 3D模型，GPT-4负责理解用户想改哪里、怎么改。Faruqi解释，语言模型擅长文本和图像，TRELLIS的长处是生成 3D模型，因为它“见过太多”。
修改发生在生成模型的隐空间里。据Faruqi描述，InstructMesh支持用自然语言描述问题，并在几何上生成可解释的改动，让用户评估和批准。用户还可以用滑块做更精确的调整，例如放大或挤出模型的某个部分。
- TRELLIS：从文本和图像提示生成 3D模型
- GPT-4：理解自然语言修改意图
- 编辑方式：隐空间内改动几何，用户评估并批准
- 辅助控制：滑块用于放大、挤出等微调
新手实测：识别并修复约九成缺陷
研究团队没有只靠专家演示。他们先用TRELLIS复现Thingiverse上的热门 3D模型，作为缺陷检测的测试集，结果发现近 80% 的生成模型存在结构缺陷。
接着，研究者让没有 3D建模经验的新手在InstructMesh中找出并修复这些缺陷。经专家评审，新手约 90% 的情况下既能识别问题也能完成修复。参与者后来做出了手机支架、花瓶等物品，并表示工具易用、能表达的想法范围广，滑块也提供了更高的精确度。
Faruqi总结说，用户得到了他们提示的东西，也能在需要的地方轻松调整设计；他们看到的就是他们得到的，物品也基本如宣传那样能用。
下一步：接入AR与物理模拟
Faruqi现已入职谷歌，他可能很快把InstructMesh整合进一个增强现实（AR）平台。按照他的设想，用户可结合周围环境说明自己需要什么，系统再快速 3D打印出来，例如做一个与钱包匹配的手机壳。
InstructMesh还可能加入物理模拟，用来预测设计在特定使用场景下的表现，比如碗掉在地上会不会碎、哪种材料最合适；也可能整合更新的TRELLIS.2，以细化 3D模型中更小的特征。