这篇帖子总结的网上各位大佬的内容。

-------------------------------------------------------------------------------------------------------------------------------

        知乎文章--机器人常用可视化仿真工具，发布于 2020-02-12 03:39，(2021-03-27) 增加Unity和UE。五年前的文章了欸。https://zhuanlan.zhihu.com/p/106364969https://zhuanlan.zhihu.com/p/106364969        这篇文章介绍了当前主流的可视化仿真工具。一般来说这些仿真工具在物理引擎之上进行包装，如基于ODE、 Bullet等。

        物理引擎：为刚性物体赋予真实的物理属性的方式来计算运动、旋转和碰撞反应，应用在游戏开发、动画制作、科学研究等领域。『物理引擎就是把现实生活中的一些物理逻辑赋予在一个编辑器中，在这个编辑器中创作的每一个物品都有现实生活中的物理属性，通俗说就是用编程算法模拟现实生活中的物现象。这段话来自编程童学』。物理引擎国外零几年就开始有了。物理引擎支持OpenGL架构，『OpenGL（英语：Open Graphics Library，译名：开放图形库或者“开放式图形库”）是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口（API）。这个接口由近350个不同的函数调用组成，用来绘制从简单的图形到比较复杂的三维景象。而另一种程序接口系统是仅用于Microsoft Windows上的Direct3D。OpenGL常用于CAD、虚拟现实、科学可视化程序和电子游戏开发。来自百度百科，OpenGL这个词条2016开始，目前更新于2023年。』

        ODE (Open Dynamics Engine，开放式动态引擎)：是一个免费的具有工业品质的刚体动力学的库，一款优秀的开源物理引擎，它为主程序员Russell Smith和几位开源社区贡献者共同努力下开发的。它能很好地仿真现实环境中的可移动物体，它是快速、鲁棒性好和可移植的。

        Bullet：『一个开源的物理模拟计算引擎，世界三大物理模拟引擎之一，另外两种是Havok和PhysX（它因为特有的硬件卡，即物理加速卡-PPU支持，所以能处理大量的物理运算，其他几款暂时没得比）。广泛应用于游戏开发和电影制作中。Bullet也是AMD开放物理计划成员之一。来自百度百科，Bullet这个词条2010开始，目前更新于2018年。』

        Genesis：『最近由学术界的半壁江山：清华、北大、港大、CMU、马里兰、哥伦比亚、斯坦福、MIT以及产业界英伟达、太极图形，MIT-IBM Watson AI Lab的联合助阵打造了一款生成式物理引擎Genesis！在之前我们接触的都是一句话生成视频，Genesis它可以一句话生成完整精确的模拟物理世界，而且开源！Genesis是一个全面的物理模拟平台，专为通用机器人、具身AI和物理AI应用而设计。它的的物理引擎用纯Python代码开发，同时比现有的GPU加速堆栈（如英伟达Isaac Gym和开源的MJX）快10-80倍。科学家们可以在一个仿真的世界里迅速得到遵循真实物理规则的机器人活动模式，并且这些模式可以有效地应用到实际的机器人身上。网易文章来自下面的链接，发布于2024-12-21 09:37:01。』
真是王炸！用一句话就可以模拟世界万物？开源生成式物理引擎Genesis|机器人|英伟达|genesis_网易订阅真是王炸！用一句话就可以模拟世界万物？开源生成式物理引擎Genesis,王炸,机器人,英伟达,物理引擎,genesishttps://www.163.com/dy/article/JJU253N10516BJGJ.html

        有些情况下我们只需要使用物理引擎就可以满足需要，但一般情况下我们也想通过可视化平台观察机器人运行的正确性。可视化平台：在物理引擎的基础上，可视化平台提供了一个用户界面，允许开发者观察和分析机器人在虚拟环境中的行为。这包括机器人的运动、传感器数据的可视化以及任务执行的实时反馈。

1. Gazebo：物理引擎基于ODE、Bullet、还有什么什么Simbody/DART，ros中的Gazebo
2. CoppeliaSim(V-REP)：基于ODE、Bullet、还有什么什么Vortex/Newton。支持使用C/C++，Python，JAVA，Lua（一个小巧的脚本语言，巴西开发），Matlab编写脚本。2021年说它场景真实。
3. PyBullet：基于Bullet，编程语言使用python。PyBullet和Python紧密结合，目前在增强学习 (RL) 中广泛应用。
4. MoJoCo：OpenAI Gym的2D/3D机器人仿真使用了MuJoCo环境。侧重控制与接触相关的仿真与优化。由University of Washington华盛顿大学开发维护（该校和OpenAI关系很近）。可试用30天，之后需要按年购买license。目前MuJoCo已经被DeepMind收购，并且从2022年开始对所有人免费开放源代码。
5. Stage：属于ROS生态，用于二维环境（无z轴高度信息）的仿真器。
6. Webots：基于ODE改进，免费 / 咨询服务收费，之前一直不温不火，近几年从商业许可转换为了开源模式。和V-REP的使用方式非常相似。
7. MATLAB Robotics Toolbox：一般以研究机械手和路径规划居多。Robotics Toolbox提供了ROS接口，使得MATLAB代码和Simulink可以和ROS很好的结合。

8. Unity / Unreal Engine：游戏渲染，目前在深度增强学习领域（包括自动驾驶），还出现了使用游戏引擎进行仿真的应用。

        『MuJoCo一词取自多关节接触动力学（Multi-Joint dynamics with Contact）。MuJoco是一个通用的物理引擎，旨在促进机器人、生物力学、图形与动画等领域的研究和开发(需要快速准确模拟铰接体与环境相互作用的场景)。来自下面链接的知乎文章，发布于 2024-06-24 19:33。后面的链接是大佬的MuJoco入门篇00. 目录。』

https://zhuanlan.zhihu.com/p/696094248https://zhuanlan.zhihu.com/p/696094248https://zhuanlan.zhihu.com/p/689216435https://zhuanlan.zhihu.com/p/689216435

        OpenAI Gym：2016年OpenAI发布了开源强化学习工具包--OpenAI Gym，它提供了一个用于开发和比较强化学习算法的标准平台。它允许研究人员和开发者在各种环境中测试他们的算法，这些环境可以是2D游戏、3D机器人仿真等。Gym提供了一个统一的接口来创建、训练和测试智能体（agent），这些智能体可以是AI模型或者任何可以学习和改进其行为的系统。『Gym拥有众多不同的环境，从易到难，包含了大量不同数据，可以通过full list of environments 查看有哪些环境。文章--https://zhuanlan.zhihu.com/p/149399330 』

• Classic control 和 toy text: 大部分来自强化学习的论文，可以完成小规模任务。
• Algorithmic: 用于执行计算，比如多位数相加、反转序列等等。
• Atari: 可以用来玩雅达利游戏，Gym以一种易于安装的形式集成了Arcade学习环境。
• 2D and 3D robots: 可以通过仿真控制机器人，这些任务使用MuJoCo物理引擎，MuJoCo专门用于快速精准的机器人仿真控制。

        OpenAI：是一家开放人工智能研究和部署公司，创立于2015年12月。现由营利性公司OpenAI LP及非营利性母公司OpenAI Inc组成。微软是最大的投资者，拥有OpenAI股份49%。2022年11月‌推出ChatGPT。

        DeepMind：由人工智能程序师兼神经科学家戴密斯·哈萨比斯（Demis Hassabis）等人联合创立的Google旗下前沿人工智能企业。其将机器学习和系统神经科学的最先进技术结合起来，建立强大的通用学习算法。最初成果主要应用于模拟、电子商务、游戏开发等商业领域。DeepMind和斯坦福大学人工智能实验室是什么关系呢？

        Unity和虚幻引擎（Unreal Engine，UE）：都是目前游戏开发领域非常流行的引擎，它们各自有着不同的特点和优势。

        2021-10-28评论里面的一个提问和回答。Q：你好，最近领导让：“调研逼真模拟物理场景的仿真方案；特种机器人的作业场景，尽可能真实仿真，虚拟环境下测试机器人的各种功能”，由于我才接触机器人仿真相关，理解不是很深入，请问什么软件更合适？V-rep？还是最常用的ADAMS就行？或者其它？A：这中间大部分是用于科研环境的，如果需要场景尽量真实，只有V-REP可以看了，工作量还是挺大的。如果要完全真实（picture-level realistic），就只有用Unreal Engine了，不过可编程性和交互性就差多了，差不多和游戏制作一样，主要是用来做演示，而不是好的开发环境。

        ​​知乎上的一个提问：使用深度强化学习算法控制机器人，选择哪种仿真环境最适合？比如ros,vrep,mujoco等？https://www.zhihu.com/question/307879623/answer/3417676245https://www.zhihu.com/question/307879623/answer/3417676245        有一个于2024-03-04的回答：先说结论，个人认为直接无脑选 NVIDIA Isaac Gym，看到大多数人都推荐gazebo，还有vrep或者coppeliasim这类，要么是Python系的pybullet。

• 个人认为gazebo太复杂了，学习成本实在是太高，而且文档和教程混乱不堪，如果没有基础或者没有人带很不建议用。
• vrep或者coppeliasim（这两个是一家）倒是可以玩玩，不过关节不支持力控，动力学仿真需要用一点小trick模拟力控。文档方面写的一般，而且虽说支持Python，但平台本身不是原生支持Python，用起来的确不是很顺手。
• pybullet不推荐。虽然学术界前些年用的比较多，但最初作为一个游戏引擎其动力学的准确度似乎是短板。
• mojuco引擎，我在coppeliasim里试过，感觉准确性是非常好的。我个人没有尝试过其他带有mojuco的仿真器，前面有回答提到了一些基于mojuco的仿真器题主或许可以试一下。
• Isaac Gym是这几年机器人强化学习的新星，也是我在尝试以上主流仿真器后觉得最好用最顺手的一款。一个原因是Isaac Gym官方文档写的很好，做项目的时候直接看官方文档即可，不需要查找过多第三方资料。安装非常方便，且开发基于原生Python，不需要关心gazebo那样恶心的配置文件 ，还有繁杂的Makefile，只需要一个机器人的urdf文件即可快速上手开发。其次Isaac gym支持cuda（虽然官方建议最低配用2060，但亲测没有cuda的10系显卡也能跑），训练效率极高。ETH 我记得有篇文章讲到在Isaac gym里同时训练一千个机器人，四小时即可收敛并可以直接部署到真机器人上。做深度强化学习机器人仿真强烈推荐Isaac gym，可以说是不二选择了。

isaac：艾萨克是英文名Isaac的中文翻译，又叫艾萨克·牛顿（Isaac Newton）。

请你解释isaac sim和Isaac Gym这两个是什么并说明关系，kimi的回答如下：

        Isaac Gym是由NVIDIA开发的一个用于强化学习研究的物理仿真环境，它允许开发者使用GPU来加速环境模拟，并将观测量与奖励存储为GPU的张量，直接用于网络运算。这使得仿真过程能够与GPU网络训练无缝对接，从而加速整个训练过程。Isaac Gym能够并行运算数以千计的仿真环境，为强化学习算法提供大量训练样本，提高采样效率。

        Isaac Sim是NVIDIA推出的一个机器人仿真平台，它构建在Omniverse基础之上，提供了高保真的模拟环境，支持ROS/ROS2、传感器模拟、域随机化等功能。Isaac Sim利用先进的图形和物理模拟技术，为机器人提供逼真的模拟环境，适合进行机器人学习、运动规划和控制算法的开发。

        两者的关系在于，Isaac Gym可以视为Isaac Sim的一个功能模块或者插件，专注于强化学习领域的仿真。随着Isaac Sim的发展，NVIDIA将Isaac Gym的功能集成到了Isaac Sim中，使得Isaac Sim不仅能够进行高保真的物理仿真，还能够支持强化学习研究。

这个帖子提问Isaac sim平台真的好用吗？回答于2024-08-15，经过一周的试用，目前的意见是，对于机器人/机械臂领域，几乎还处于不可用状态。

https://www.zhihu.com/question/602120539/answer/3595586270https://www.zhihu.com/question/602120539/answer/3595586270

        帖子下面的讨论：2024-03-04有人说Isaac Gym已经停止维护了，现在都迁移到 Omniverse Isaac Sim里了。2024-03-14有人说难怪，我用wsl下ubuntu装isaacgym，跑示例的时候总是报错，配环境配了好几天，配的都是些老东西，python还不能高于3.8。isaacsim可以直接在windows下跑，装完都不用改，urdf直接导入就可以。于是前面的人回复说是的，但是大多数强化学习库在windows下都跑不起来，最好还是用Linux。 

 评论区的一些回答涉及到的名词，问kimi如下。  

        Q：orbit还行，比直接用issacsim容易一点. issacgym已经落后版本了。解释orbit是什么？

        A：ORBIT是一个由NVIDIA Isaac Sim提供支持的统一模块化机器人学习框架。它采用模块化设计，可以轻松高效地创建具有照片般逼真场景和高保真刚体和可变形体模拟的机器人环境。ORBIT提供了一套不同难度的基准任务，支持处理不同的观察和动作空间，包括带有不同物理传感器和运动发生器的固定臂和移动机械手。利用基于GPU的并行化，ORBIT允许在几分钟内训练强化学习策略并从手工制作或专家解决方案中收集大量演示数据集。与Isaac Gym相比，ORBIT提供了更易于使用的接口和更丰富的机器人学习环境。Isaac Gym是一个基于物理的仿真环境，专注于强化学习，而ORBIT则提供了更广泛的机器人学习任务和工具，包括模仿学习、任务和运动规划等。此外，ORBIT的模块化设计使其可以轻松扩展以适应未来的更多任务和应用程序。

       Q：mpc是什么？

       A：MPC（Model Predictive Control，模型预测控制）是一种先进的控制策略，它通过实时优化一个预测模型来计算最优控制动作。与传统的控制方法相比，MPC具有处理多变量、非线性、复杂约束和预测未来行为的能力。这使得MPC在高要求的工业过程中变得尤为重要，比如化工、能源、交通和航空航天等领域的实时控制。

        MPC的核心思想是利用系统的数学模型预测未来一段时间内系统的输出，通过求解一个有限时域的优化问题来确定当前时刻的最优控制输入，然后将该控制输入的第一个值应用于系统，在下一个采样时刻重复上述过程，不断滚动优化。MPC的优势在于能够处理多变量系统、约束优化问题，并且具有较强的鲁棒性和自适应能力。

        MPC在工业控制领域有着广泛的应用，如化工、电力、制造等领域的过程控制中，MPC被广泛应用于提高生产效率、降低能耗以及改善产品质量。此外，MPC也在机器人控制、自动驾驶、飞行器控制等领域发挥着重要作用。

这个文章写的，英伟达在CES 2025重磅发布Cosmos世界基础模型平台。

https://baijiahao.baidu.com/s?id=1820594784220982736&wfr=spider&for=pchttps://baijiahao.baidu.com/s?id=1820594784220982736&wfr=spider&for=pc        据英伟达官网介绍，物理AI体系包含以Omniverse、Cosmos、Isaac Sim等关键组成部分。

什么是物理AI？

        物理AI，也称为生成式物理AI，是一种使自主机器（如机器人、自动驾驶汽车等）能够在真实物理世界中感知、理解和执行复杂操作的技术。它扩展了传统的生成式AI，使其能够理解3D世界的空间关系和物理行为。通俗地理解，就是人工智能反馈的内容要符合物理规律。例如，文生图或者文生视频模型，如果不考虑物理，那生成的内容就缺乏了重力、光学等细节，在加入物理知识后，生成的内容将更加逼真。

Omniverse：加速3D内容创作和物理仿真

        Omniverse是一个开放平台，用于构建和连接3D世界。它提供了一系列工具、API和SDK，使开发者能够轻松地创建高保真、基于物理的虚拟环境，用于训练和测试AI模型。

Omniverse的核心是通用场景描述（OpenUSD），它允许不同3D工具之间的数据互操作性。

Cosmos WFMs：让AI理解物理世界的关键一步

        物理AI的开发极为复杂，需要海量的真实世界数据和长时间的测试，开发成本高昂。

而英伟达的Cosmos平台正是为了解决这一痛点，通过其生成式世界基础模型提供物理仿真数据生成能力。Cosmos WFMs让开发者能够快速生成基于真实物理规律的高仿真数据，降低依赖昂贵现实数据的需求。多家领先企业已经成为Cosmos的首批用户，包括1X、Agile Robots、Waabi、Uber等。这些企业正在利用Cosmos平台推动机器人与自动驾驶技术的进步。

        Cosmos 能接受文本、图像或视频的提示，生成高度仿真的虚拟世界状态，为自动驾驶和机器人应用提供独特的视频输出。平台集成了生成式世界基础模型（WFMs）、高级标记器和加速视频处理管道，帮助开发者生成大量基于物理的合成数据，减少对真实世界数据的依赖。

cosmos英伟达这是个什么东西，它和Genesis还有isaacsim和Isaac Gym是什么关系呢？

        Genesis、Isaac Sim 和 Isaac Gym 都是 NVIDIA 提供的机器人仿真和开发平台。『这kimi回答的不对吧，起码Genesis是多个机构联合的，』Cosmos 是一个用于生成高保真物理模拟世界的平台，而 Isaac Sim 和 Isaac Gym 更侧重于机器人仿真和强化学习。它们都是 NVIDIA 提供的工具，但服务于不同的开发需求和应用场景。

Isaac Gym 和OpenAI gym是什么关系呢？

        Isaac Gym 和 OpenAI Gym 都是用于强化学习研究的仿真平台，但它们在实现和优化方面有所不同。Isaac Gym 专注于利用 GPU 加速仿真过程，以提高强化学习算法的训练效率，而 OpenAI Gym 提供了一个更广泛的环境集合和标准化的接口。『还是没太看懂』

Isaac Sim与Isaac Gym对比分析，见下面的连接

        所以结论是直接上issca sim？可以试试Behavior，基于sim做的仿真器，Orbit也可以关注一下。但确实sim生态还没那么成熟，目前不如gym用起来方便。2024-05-28

https://zhuanlan.zhihu.com/p/633686981https://zhuanlan.zhihu.com/p/633686981

请你介绍使用强化学习算法进行机械臂仿真环境有哪些？这下面是kimi的回答。

在机械臂仿真环境中，强化学习算法被广泛应用于训练机械臂完成各种任务。以下是一些常用的仿真环境：

1. **Gazebo**: 一个功能丰富的机器人仿真工具，常与ROS（机器人操作系统）结合使用，适合进行强化学习研究。

2. **PyBullet**: 提供物理模拟和机器人仿真的库，支持多种机器人模型和环境，适用于强化学习任务。

3. **MuJoCo (Multi-Joint dynamics with Contact)**: 高性能的物理引擎，广泛用于强化学习中的机器人仿真，尽管它是一个商业软件，但其精确的物理模拟使其成为研究者的首选。

4. **Isaac Gym**: 由NVIDIA开发的仿真环境，专为训练和测试强化学习算法设计，支持GPU加速，适合大规模并行仿真。

5. **Unity**: 一个多功能的游戏开发平台，也可用于创建机器人仿真环境，支持视觉渲染和物理模拟。

6. **ROS2**: 机器人操作系统的第二代，提供了丰富的工具和库，可以与Gazebo等仿真环境结合使用，进行强化学习研究。

7. **V-REP (CoppeliaSim)**: 一个商业机器人仿真软件，提供了广泛的机器人模型和仿真功能，适合进行强化学习实验。

8. **Webots**: 一个用于机器人仿真的开源软件，提供了多种机器人模型和传感器，支持强化学习算法的开发。

9. **FCL (Flexible Collision Library)**: 一个用于机器人仿真的物理引擎，可以与其他仿真环境结合使用，进行强化学习研究。

10. **Robosuite**: 一个用于机器人操作任务的仿真环境，提供了多种任务和评估模式，适合强化学习研究。

这些环境各有特点，研究者可以根据具体的研究目标和需求选择合适的仿真平台。例如，如果需要高精度的物理模拟，MuJoCo可能是一个好选择；如果需要大规模并行仿真，Isaac Gym可能更合适。同时，一些开源环境如PyBullet和Webots提供了灵活性和可扩展性，适合自定义仿真任务和算法开发。所以MuJoCo (Multi-Joint dynamics with Contact)是个高性能的物理引擎哦，但是这个回答里面没有分物理引擎和什么什么仿真环境吧。FCL (Flexible Collision Library)和Robosuite没见有人写。