Ought
Ought 是一家以产品为驱动的研究实验室,致力于开发将高质量推理委托给先进机器学习系统的机制。
使命
Ought 的核心使命是**"Scale up good reasoning"(扩展优质推理)**。团队认为,虽然机器学习将改变任何拥有丰富数据和易于衡量目标的领域,但关键问题在于:这能否让我们变得更明智?
主要工作
Ought 通过构建产品来探索和测试关于 AI 安全与推理的想法。其研究工作聚焦于**AI 对齐(AI alignment)**领域,旨在确保高级机器学习系统能够可靠地执行需要复杂推理的任务。
重要动态
- Elicit 分拆独立:Ought 已成功分拆出 Elicit,后者现已成为一家独立的公共效益公司(public benefit corporation),并获得了 900 万美元的风险投资。
- Interactive Composition Explorer (ICE):发布了用于语言模型分解认知(Factored Cognition)的库和教程。
- 负责任使用指南:发布了关于 Elicit 工作原理及其局限性的说明。
组织性质
Ought 是一家具有 501(c) 非营利组织资质的机构,总部位于旧金山,支持远程办公。接受捐赠以支持其在 AI 对齐和扩展优质推理方面的工作。
相关资源
- Elicit:Ought 孵化并分拆的 AI 研究助手产品
- 博客文章:《AI Safety Needs Great Product Builders》——阐述通过构建产品来推动 AI 安全影响的理念