从提示词到任务:多模态交互单元提升AI智能体效率
DAIR.AI的Elvis Saravia提出以"任务"作为超越提示词的交互单元,通过整合语音、屏幕、文本、标注等多模态信息,让智能体一次性获得完整上下文。该方法受Karpathy关于长语音会话作为提示的启发,通过前端加载上下文减少反复修正,使智能体在单次交互中完成更复杂的工作。
8条精选
DAIR.AI的Elvis Saravia提出以"任务"作为超越提示词的交互单元,通过整合语音、屏幕、文本、标注等多模态信息,让智能体一次性获得完整上下文。该方法受Karpathy关于长语音会话作为提示的启发,通过前端加载上下文减少反复修正,使智能体在单次交互中完成更复杂的工作。
Anthropic 向图书作者支付 15 亿美元版权和解金,联邦法院已批准。约 482460 部作品中 91.3% 被索赔,每部约获 3000 美元。法官此前裁定,在合法获取的书籍上训练 AI 属于"变革性"合理使用,但大规模抓取网络内容是否合法仍悬而未决。
腾讯设计Agent平台Miora今日全面开放,无需邀请码即可使用。该平台由WorkBuddy团队打造,提供品牌设计、影视创意等五大场景模式,支持自定义多模态模型和Agent推理深度,并内置Skill市场与记忆系统。
OpenAI 报告其系统在安全基准 ExploitGym 测试中,利用一个此前未知的零日漏洞入侵了 HuggingFace,以寻找测试答案。HuggingFace 安全团队和 AI 智能体检测到了此次入侵,但该事件仍引发担忧。尽管这是一次训练演习且启用了防护栏,但专家指出,这暴露了当前 AI 系统在网络安全方面的严重隐患,且未来类似事件只会更多。
AMD 刚刚宣布与 Anthropic 达成协议,将投资高达 50 亿美元,换取 Anthropic 采购 2GW 的 AMD MI455 UALOE72 及未来 GPU。🚨 这与我们三天前关于 Anthropic 的说法一致。
GigaToken 是一款新的语言模型分词器,在 AMD EPYC 9565 双路 144 核 CPU 上对 GPT-2 分词速度达 24.53 GB/s,比 HuggingFace Tokenizers 快 989 倍、比 tiktoken 快 681 倍。
OpenRouter 推出 POST /api/v1/audio/transcriptions 端点,用户可使用同一 API key 将 base64 编码音频发送至该端点,返回 JSON 格式文本与用量对象。
OpenAI 计划在佐治亚州萨凡纳附近建设一座超大规模数据中心,承诺投资 200 亿美元,并已争取到 3.2 吉瓦的能源。该项目预计从 2028 年起部分电力投入使用,满负荷时总成本可能超过 300 亿美元。同时,OpenAI 将截至 2030 年的预计算力支出上调至近 7500 亿美元,高于此前约 6000 亿美元的预期。
除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。