带记忆的超级GPT智能体能做饭、煮咖啡、整理家务！立博在线体育

　　随着AI技术的快速迭代，Alexa、Siri、小度、天猫精灵等语音助手得到了广泛应用。但在自然语言理解和完成复杂任务方面仍然有限。

　　相比文本的标准格式，语音充满复杂性和多样性（例如，地方话），传统方法很难适应不同用户的自定义语言，因此，语音助手需要针对固定领域设计语义解析方案，而无法对完全开放的语言进行建模。

　　为了解决这一难题，卡内基梅隆大学的研究人员基于大语言模型、视觉模型开发了HELPER。

　　该模型采用了检索增强的大语言模型提示方法，可以将人机对话、指令和错误纠正转换为一系列参数化的视觉运动。

　　同时在成功执行指令后，HELPER会将语言指令和执行计划作为记忆进行存储。

　　当用户再次提出类似请求时，HELPER会自动检索相关记忆并进行适当修改来满足新的要求，从而实现个性化交互。

　　在TEACh的实验数据显示，从对话中推断步骤的测试中，HELPER的任务成功率和目标条件成功率分别提高了1.7倍和2.1倍，超过了之前最好的模型。在从历史对话中执行任务中，HELPER也取得了绝佳的效果。

　　研究人员用物理模拟的方式展示了多个示例，HELPER可以进行洗锅、煮咖啡、做面包、整理卡片、制作饮料等一系列拟人化操作，并且你只需要详细的告诉它一次就能记住你的需求，以后无需多说就能照着做。

　　从论文内容来看，HELPER的技术架构主要由规划器、执行器和视觉语言模型三大块组成。

　　该模块利用检索增强的大语言模型来进行语义解析和生成一系列执行计划，同时配备了一个文本到程序的外部记忆存储器，相当于该模型的“大脑”。

　　在进行语言解析时，规划器会先基于当前语言的输入，使用大语言模型的编码器计算输入文本的向量表示，然后检索出记忆库中语义最相关的若干条记录，将其中的文本-程序对作为LLM的文本示例，随后让LLM生成新的程序。

　　生成的程序使用Python语言描述，涵盖一系列参数化的视觉运动函数，如pickup（X）、goto(X)等，同时也负责处理执行失败后的重新规划。

　　例如，当某个动作执行失败时，系统会调用外部的视觉语言模型来分析失败原因并生成文本反馈， 规划器随后会根据反馈提示LLM生成修正后的新程序。

　　此外， 规划器也会在任务成功执行后，将用户指令语言和对应的执行程序加入记忆库中，实现个性化学习。

　　该模块主要负责解析规划器生成的程序，并基于当前环境执行指令操作，具体操作如下:

　　场景解析器:构建环境的语义地图、占用地图，以及通过目标检测跟踪对象信息。

　　位置检查器:当需要找到不在场景地图中的目标物体时，该模块会提示LLM生成可能的搜索位置。

　　当具体计划执行失败时，系统需要分析失败原因。所以，HELPER使用了视觉语言模型ALIGN进行纠错、审查。

　　方法是将当前视觉输入与一系列预定义的错误文本进行匹配，输出最相似的错误类型，帮助规划器模块快速找到错误所在。这种方法比简单的像素对比判断故障类型更加精准和通用。

　　11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

　　南洋理工大学、清华大学等发布了一种名为Octopus的视觉可编程智能体，它通过在大量视觉输入和可执行代码的数据对的训练中学会了如何操控电子游戏的角色完成游戏任务，或者完成复杂的家务活动。Octopus具备规划推理和根据实时环境做出反馈的能力，能够理解真实世界并生成可执行代码来完成各种实际任务。这一研究对于实现大模型的具身智能化具有重要意义，为进一步探

　　研究人员在GitHub上开源了一个名为AgentTuning的项目。该项目提供了一种新的方法来调整语言模型，通过多个智能体任务中的交互轨迹来训练和调整语言模型，以更好地适应不同的任务和场景。通过AgentInstruct数据集和AgentLM模型，用户可以在各种现实世界任务中获得更强大的AI代理，同时保持良好的通用语言能力。

　　OpenAIChatGPTPlus订阅付费功能强大，可以实现高阶「数据分析」、「插件调用」以及「自动网页浏览」，能够作为日常生活中的重要生产力工具。可是因为商业原因选择了闭源，研究者和开发者也只能使用没有办法在其上面做任何的研究或改进。鼓励社区对这些评估指标和平台进行扩展或完善，这将显著推动该领域的发展，并为大语言模型的实际性能和能力提供更准确的评估和洞

　　在今天的发布会上，OPPO推出了全新的ColorOS14，同时，OPPO还推出了自主训练的安第斯大模型。AndesGPT是OPPO自主训练的大模型，采用“端云协同”基础架构，基于千亿条知识与对话深度学习带来准确、自然的对话体验。OPPO还宣布未来将开源AndesGPT智能体框架，并推出AI智能体开发平台，让不懂代码的人也可以定义和分享AI原生的智能应用。

　　电子游戏已经成为如今现实世界的模拟舞台，展现出无限可能。以游戏《侠盗猎车手》为例，在GTA的世界里，玩家可以以第一人称视角，在洛圣都当中经历丰富多彩的生活。连续的视频可以更进一步提高模型完成任务的性能，但如何高效地处理和理解连续视觉输入将成为进一步提升VLM性能的关键。

　　AutoGPT项目最近成功获得了1200万美元的融资，同时在GitHub上获得了广泛的关注。这个项目被认为是AI领域的一个热门前沿，它使用了强大的GPT-4和GPT-3.5等语言模型来构建一个智能体，这个智能体不仅能够独立执行各种任务可以通过学习和经验不断提高自身的性能。AutoGPT的未来前景看起来非常光明，可能会彻底改变AI框架内任务分配和执行方式，实现更为逼真的人类行为模拟。

　　推荐系统领域长期存在线上线下效果差距大的问题，Agent4Rec通过构建大语言模型智能体，模拟真实用户行为，为解决这一问题提供了新的思路。这一工作为构建理想的离线A/B测试平台和满足企业需求的用户评价指标提供了新的思路。这一工作为构建理想的离线A/B测试平台和满足企业需求的用户评价指标提供了新的思路。

　　Langroid是一个直观、轻量、可扩展和原则性的Python框架，用于轻松构建LLM驱动的应用程序。您可以设置智能体，为它们配备可选组件，分配任务，让它们通过交换消息共同解决问题。项目地址:是LLM应用程序开发的一种新方法，经过深思熟虑，旨在简化开发者体验。

　　在最近的一次采访中，OpenAI首席执行官SamAltman表示，计划从微软获得更多资金支持，用以创造相当于人脑的超级AI通用人工智能。Altman表示，虽然目前OpenAI的GPT-3.5及GPT-4在消费者市场取得了不错的成绩，但其仍正在开发下一代人工智能模型GPT-5。对于在上周开发者大会上发布的GPT-4Turbo等产品，Altman告诉媒体：这些并不是我们真正的产品，它们只是我们的渠道，我们最终的愿景就是打造AGI，确保其安全并从中受益。

　　GPT应用是指利用GPT模型的能力来实现各种文本生成、处理、分析等功能的应用。GPT模型是一种基于深度学经网络的自然语言生成技术，可以根据输入的文本或图像，生成相关的文本或图像。你也可以点击前往AiBase产品库应用商店，获取更多好用的、更新的GPT程序。

　　寻鲸AI是一款集灵感对话、场景助手、方案大师于一体的小程序，用户可以在这里发起对话，获取灵感，制定方案。

　　迅捷AI写作是一款AI智能写作工具，支持AI全文写作，根据指定关键词主题，快速生成文章内容，可覆盖文案、报告、干货写作等多种实际场景。软件还提供AI聊天对话、AI画作等功能，可以高效答疑解惑，也能辅助创作，用AI为用户的工作和生活赋能。迅捷AI写作内置了丰富的翻译、文件转换和压缩等功能，可用于满足用户日常办公需求。界面简单易用，操作和交互经过简化设计，用户可根据指引快速上手。迅捷AI写作提供「我的文件」功能，可清晰展现文件操作、处理记录，高效管理文件。免费试用，免费体验软件内功能。在线小时解答，无病毒、无广告、无风险立博.体育，简洁的UI界面与操作流程。

　　PromptAI是一款顶尖的移动端AI生成器，可以让您创造理想的AI女孩。通过使用最新的AI技术，您可以打造出动漫风格、逼真风格和超逼真风格的AI伴侣。您可以轻松上传并微调任何图像，创建您理想的AI女孩。还可以探索一个拥有超过200万个AI女孩的庞大库，克隆并定制任何图像，释放您的创造力。

　　Larry the Elf是一款智能礼物推荐网站，通过用户选择受赠者的身份，为用户提供个性化的礼物推荐。无论是给孩子、朋友还是配偶，Larry the Elf都能帮助用户找到最合适的礼物。产品定位于个性化礼物推荐领域，为用户提供便捷的选购体验。

　　Chatwoot是一款开源的AI客服平台，通过AI技术提升客户支持体验，提供自助服务工具、全球搜索接口、实时聊天SDK等功能，同时支持自托管部署，符合SOC 2 Type II标准，可无缝切换不同的大型语言模型。作为Intercom、Zendesk和Salesforce Service Cloud的替代品，Chatwoot提供共享收件箱、多渠道支持、自动化、聊天机器人等功能。

　　Captionary是一款利用人工智能技术分析图片元素并生成引人注目的标题和流行标签的工具。用户可以通过上传图片，快速获得适合图片的标题和标签，提高图片在社交媒体上的曝光度。Captionary的AI功能可以帮助用户提升图片内容的吸引力，让用户的图片更易于被发现和分享。该产品的定价灵活多样，适合个人用户和企业用户使用。

　　MyLens 是一个 AI 驱动的时间线产品，帮助用户深入了解历史事件之间的交叉点。用户可以创建、探索和连接故事，无缝地探索不同历史之间的联系。

　　Stable Video Diffusion是一款基于图像模型的生成式AI视频模型，能够生成14到25帧，可适用于多种视频应用场景，例如广告、教育和娱乐等。该模型目前仅用于研究领域，不适用于实际商业应用。Stable Video Diffusion是Stability AI公司开源模型系列中的一员，该系列涵盖图像、语言、音频、3D和编程等多种模态。

　　Video-LLaVA 是一个用于学习联合视觉表示的模型，通过对齐前投影进行训练。它可以将视频和图像表示进行对齐，从而实现更好的视觉理解。该模型具有高效的学习和推理速度，适用于视频处理和视觉任务。

　　goHeather AI合同审阅软件专注于为您提供建议，让您在签署面前的合同上做出明智的决定——我们利用先进的AI技术，快速有效地在三个步骤内完成。简单上传合同，我们的AI引擎将实时分析，为您提供可操作的建议。我们的AI通过每个条款，识别潜在风险。这使我们能够提供快速而全面可靠的合同审查，为您提供您需要的信息，让您做出明智的决定。

　　ChatDev IDE是一个可以无缝连接各种Web浏览器中的不同代理的聊天开发环境。它包括游戏模式、聊天模式和Prompt IDE。你可以个性化这些NPC，自定义位置的提示，并使用可视化提示编辑器构建你的GPTs。支持导入GPTs社区的模型或定义你自己的模型。通过JavaScript支持，可以加速提示工程的过程。不仅仅支持ChatGpt，还支持新的Bing Chat、Google Bard、Claude、QianWen、iFlytek Spark等10多个开源模型。你可以免费下载并安装ChatDev IDE插件。

　　FaceArt是一个强大的AI换脸插件，利用AI技术实现一键生成换脸图片。通过FaceArt插件，您可以轻松将一个照片的脸换到另一个照片上，实现即时有趣的换脸效果。插件采用强大的人工智能技术，确保换脸效果真实准确，让您的照片更有趣。使用简单，无需专业技能，只需上传照片并点击生成，即可完成换脸操作。适用于多种场景，如社交媒体分享、设计创意头像和个人资料照片、制作有趣的贺卡，以及在生日、节日等特殊场合增添创意。您可以根据个人喜好自由选择要更换的脸，创造独特的效果，尽情享受创意之乐。插件免费使用，无广告干扰，让您尽情探索无限的换脸可能性。

　　RealtimeTTS 是一个易于使用、低延迟的文本转语音库，用于实时应用。它可以将文本流转换为立即的音频输出。主要功能包括实时流式合成和播放、高级句子边界检测、模块化引擎设计等。该库支持多种文本到语音引擎，并适用于语音助手和需要即时音频反馈的应用。详细定价和定位信息请参考官方网站。

　　AI Genie 是一款由 ChatGPT 和其他 AI 模型提供支持的终极数字艺术创作工具。使用 AI Genie，您可以释放创造力，以前所未有的方式将您的想法变成现实。 AI Genie 易于使用，只需输入您的想法，点击 “创建” 即可。AI Genie 会在几秒钟内生成令人着迷和惊人的艺术作品，这是以前需要团队多日时间才能完成的任务。体验 AI 的力量，提升您的数字艺术技能。 AI Genie 是一款多功能工具，适用于探索数字艺术世界并实现您的创意。AI Genie 可创建逼真的照片、肖像、风景和幻想世界，激发您的灵感。无论您想为下一个项目生成创意、为游戏或书籍封面创建新角色、为您的公司设计标志，还是只是沉浸在数字艺术的世界中，AI Genie 都能满足您的需求。AI Genie 可以根据诗歌、电影或游戏角色、歌词或艺术家的名字进行实验，看看 AI Genie 能为您创造出什么惊人的作品。 AI Genie 采用先进的机器学习框架和算法，发挥 AI 技术的全部潜力。AI Genie 创建的图像不仅在人眼中看起来真实，还具有高度的逼真度。提升您的数字艺术技能，尽在 AI Genie。 AI Genie 充分保护您的隐私。我们不保存或处理您的个人数据，这是保护您隐私的最佳方式。您无需创建帐户即可立即下载并开始使用 AI Genie。

　　FireKit 是一套免费工具，旨在帮助市场营销人员和自主创业者简化工作流程。我们提供 ICP 备案生成器和 MRR 估算器等实用工具，让您的工作更高效。欢迎订阅我们的周报，了解我们的创业经历和有趣的资源！

　　Chatty Tutor是一个可配置的AI语言辅导工具，专门针对英语学习者进行优化。除了提供词汇、发音工具等创新功能外，还包括脚本跟读、AI图片记单词、发音评估等功能。Chatty Tutor不仅可以修改AI的提示词、语音角色和语音速度等，还提供了AI图片记单词和发音评估的功能。它可以帮助英语学习者提高口语表达能力，记忆词汇，并评估发音准确度。Chatty Tutor定价灵活，适用于个人和学校等不同用户群体。

　　FlyArt 是一款终极图形设计应用，可轻松创建个性化宣传单。我们提供各种现成的宣传单模板，您可以根据需要进行定制。通过 FlyArt，您可以选择合适的设计并自定义它们，添加背景图片、贴纸、商标、字体和品牌颜色。FlyArt 帮助您的业务在社交媒体上脱颖而出，提供快速增长。

　　Parseur 是一款强大的 AI 文件解析器，可轻松自动从 PDF、电子邮件和其他文档中提取文本。使用 Parseur，您可以将提取的数据即时发送到所有应用程序。Parseur 不需要技术技能，无需创建复杂的数据提取规则或训练 AI 模型。

　　Sturppy是一款强大且易于使用的财务建模和预测软件，旨在帮助初创企业和成长型企业快速构建投资者准备的财务模型。对于初创企业，Sturppy Planning是一个新的工具，可以快速构建投资者准备的财务模型，无需任何财务或Excel方面的经验。对于成长型企业，Sturppy Plus允许您创建整个公司财务操作的人工智能克隆，并与您自己的个性化AI首席财务官进行交谈。Sturppy还提供模板、定制、协作、可共享、导出等功能，并受到全球98个国家的5000多家公司信赖。

　　Concept Differentiator是一个强大的工具，旨在帮助用户理解和区分常常让人混淆的两个概念。它通过将这些概念分解成清晰简洁的解释，突出它们的独特特点、主要区别，以及提供相关的例子，确保用户可以轻松地区分它们。该工具适用于学生、专业人士和任何希望扩展知识的人群，无论他们的先前知识或经验如何。通过使用Concept Differentiator，用户可以获得清晰的理解和自信地区分这两个概念，消除混淆和误解。

本文由:立博.体育(ladbrokes)官方网站提供