大模型日报2024-05-25_hipporag

大模型日报

 

2024-05-25

 

大模型资讯

 

1. 人工智能科学家绘制大型语言模型脑部节点图

 

• 摘要: Anthropic的研究团队成功在大型语言模型（LLM）的“大脑”中定位了与特定单词、人物和概念相对应的节点位置。这一发现有助于深入理解语言模型的工作机制，并可能对提高其解释性和效能带来积极影响。

 

1. 探索大型语言模型在编码领域的发展、机遇与挑战

 

• 摘要: Loubna Ben Allal探讨了大型语言模型（LLMs）在编码领域的最新发展情况，以及它们的训练方法。这些模型正变得越来越重要，因为它们能够帮助开发者提高编程效率，同时也带来了新的挑战。

 

1. Cohere For AI发布全新多语言生成型大模型Aya 23系列

 

• 摘要: 2024年5月24日，Cohere For AI公司宣布推出Aya 23系列，这是一系列最新的多语言生成型大语言模型。该系列包括8B和35B参数的开放权重版本，旨在推动人工智能领域的发展。

 

1. Anthropic研究揭示大型语言模型如何影响安全性和偏见

 

• 摘要: Anthropic公司的生成式AI研究为我们打开了一扇窗户，让我们得以窥视大型语言模型（LLMs）的'黑箱'。研究展示了如何通过模型内部的'特征'来指导输出，从而进一步理解LLMs如何影响到安全性和偏见问题。

 

1. Haltia.AI在以本体论为驱动的符号知识捕获领域取得突破

 

• 摘要: Haltia.AI公司最近开发了一种名为'神经符号合成'的技术，这一技术结合了大型语言模型，设定了个性化人工智能的新标准。通过这种创新方法，能够更有效地捕获和利用符号知识，为用户提供更加个性化的AI体验。

 

1. TWO平台发布多语言大型语言模型SUTRA

 

• 摘要: TWO平台推出了一种名为SUTRA的新型多语言大型语言模型。SUTRA采用了一种创新的架构，通过将概念学习与语言学习分离的方式进行训练，旨在提高模型处理多种语言的能力，并优化其学习效率。

 

1. Anthropic公司取得突破，打开AI“黑箱”

 

• 摘要: 在人工智能领域，'黑箱'问题一直是实现可信赖和负责任的AI的主要障碍之一。近日，Anthropic公司宣布他们在解开AI黑箱方面取得了重要进展，这标志着向理解和控制AI决策过程迈出了一大步，对于提高AI的透明度和可解释性具有重要意义。

 

1. 深入理解低秩适应（LoRA）在微调大型语言模型中的应用

 

• 摘要: 微调是大型语言模型（LLMs）技术讨论中的热点之一。低秩适应（LoRA）作为一种微调方法，通过在模型内部进行低秩的参数更新，实现了对大型语言模型的高效调整，这一方法有助于改善模型性能，同时控制计算资源的消耗。

 

1. Cohere发布支持23种语言的多语言AI模型Aya

 

• 摘要: Cohere公司最近推出了一款名为Aya的新型语言模型，该模型能够支持23种不同的语言。这一大型语言模型（LLM）旨在帮助开发者更容易地将人工智能技术集成到各种应用中。目前，Aya模型的性能如何尚未有详细的公开评估报告。

 

1. 弗莱堡大学与博世AI提出面向硬件的语言模型基准测试HW-GPT-Bench

 

• 摘要: 弗莱堡大学和博世人工智能研究者提出了一种新的硬件感知语言模型替代基准测试HW-GPT-Bench。此基准旨在评估大型语言模型（LLMs）在复杂推理任务、语言生成等方面的性能表现，同时考虑模型对硬件的适应性，以提高其在实际应用中的效率和可行性。

 

大模型产品

 

1. Opinion Stage AI：互动式问卷提升转化

 

• 摘要: Opinion Stage AI将枯燥的问卷和调查转变为受众喜爱的互动体验。用户可秒速创建优化转化的问卷，实现全面自定义和品牌化，有效提升潜在客户与销售。

 

1. StarSearch：AI助力Git历史分析

 

• 摘要: StarSearch是一款AI驱动的工具，旨在深入洞察开源项目贡献者的历史行为和活动，提供更透明、更深层次的项目知识。

 

1. Arrange：智能日程规划助手

 

• 摘要: Arrange是一个AI驱动的日程协助工具，能够快速为任何事项生成计划，并将其秒速添加到您的日历中，让日程管理变得轻而易举。

 

1. DataGems：营销数据的AI副驾

 

• 摘要: DataGems作为首款营销数据AI副驾，能将零散的营销数据转化为引人入胜的故事。这款AI驱动的营销助手让数据叙事变得强大而简便，助力营销人员释放数据的潜能，高效讲述品牌故事。

 

1. Browsebuddy：AI电商助手

 

• 摘要: Browsebuddy是一个集成于您商店的AI驱动销售助手和客户支持代理的聊天机器人。它能够将顾客的购物之旅变为一段无缝且愉快的体验，从浏览到结账。

 

1. Usermaven 2.0：AI驱动的网页产品分析工具

 

• 摘要: Usermaven 2.0是一款AI支持、注重隐私的分析工具，旨在帮助市场和产品人员轻松理解用户行为。它提供无Cookie追踪、自动事件捕捉、产品分析、归因及客户旅程报告等功能。

 

1. Visualizee.ai 2.0: AI快速渲染工具

 

• 摘要: Visualizee.ai 2.0利用AI技术，能在数秒内将汽车、室内或房屋概念转化为逼真的可视化图像，极大简化了设计可视化过程。

 

1. Integrito：揭露AI撰写文本

 

• 摘要: Integrito是一款能检测并证明文本原创性的工具。它能生成写作历史报告，有效识别抄袭、AI撰写及代写行为。

 

1. Dittto：即时生成品牌语音登陆页文案

 

• 摘要: Dittto 专为SaaS公司设计，能够即刻锐化其主打文案，确保产品对理想客户一目了然。利用AI技术复制顶尖品牌的核心文案，并结合你的独特价值主张，提升登陆页的用户参与度。

 

大模型论文

 

1. 跨域对齐揭示大型语言模型人类化模式

 

• 摘要: 本文从认知科学中借鉴跨域对齐任务，旨在评估大型语言模型的概念化和推理能力。通过行为研究，分析模型对跨域映射任务的响应，并比较其推理路径和人类的相似性。

 

1. Bitune：双向指令微调方法

 

• 摘要: Bitune是一种改进预训练解码器模型指令微调的方法。通过结合因果和双向注意力机制，提升了模型对指令的理解能力，并在多个下游任务上取得了显著提升。

 

1. PV-Tuning：极限LLM压缩新方法

 

• 摘要: 本文提出了PV-Tuning，一种不依赖表示的框架，用于大型语言模型的极限压缩。该框架超越了传统的直通估计方法，通过系统研究和改进微调策略，实现了在1-2比特参数下的高效量化，并保证了在特定情况下的收敛性。

 

1. HippoRAG：灵感来自海马体的长期记忆模型

 

• 摘要: 本文提出了HippoRAG，一种受海马体索引理论启发的检索框架，用于提升大型语言模型的长期记忆能力。该方法通过模仿人脑记忆机制，将知识图谱和个性化PageRank算法与大型语言模型结合起来，显著提升了多跳问答性能，并在速度与成本上具有优势。

 

1. 大型语言模型解长数学题研究

 

• 摘要: 本研究首次探索大型语言模型(LLMs)解决长篇幅数学文字题的能力（CoLeG），提出了E-GSM题库和新评估指标，发现LLMs在CoLeG上存在不足，并针对性地提出了改进方法。

 

1. 语言模型可复现评估的经验教训

 

• 摘要: 本文总结了三年评估大型语言模型的经验，探讨了评估中的常见挑战，并提出了最佳实践。介绍了开源库lm-eval，旨在实现独立、可复现及可扩展的语言模型评估。

 

1. WISE：大型语言模型的终身编辑

 

• 摘要: 本文提出WISE框架，通过双参数记忆机制解决大型语言模型（LLMs）终身编辑中的可靠性、泛化与局部性三难问题。WISE设计主记忆存储预训练知识和边记忆存储编辑知识，通过路由器决定查询使用哪个记忆。实验证明WISE优于现有编辑方法。

 

1. FinRobot：金融AI开源平台

 

• 摘要: FinRobot是一个开源AI代理平台，旨在通过大型语言模型(LLMs)解决金融问题。该平台包含四层架构，支持专业分析师和普通用户进行高级金融分析，代码已在GitHub开源。

 

1. 大型语言模型在公共卫生领域的评估

 

• 摘要: 本研究评估大型语言模型在公共卫生文本分类和信息提取任务中的表现。通过对比不同模型，Llama-3-70B-Instruct在多数任务中性能最佳，GPT-4表现相近，显示出LLMs在公共卫生领域的应用潜力。

 

1. 大型语言模型用于时间序列异常检测？

 

• 摘要: 本文提出了sigllm框架，利用大型语言模型进行时间序列异常检测。研究了基于提示的检测方法和预测引导的检测方法，发现后者在F1分数上表现更佳。但与最新深度学习模型相比，性能仍有差距。

 

大模型开源项目

 

1. Khoj AI：个人智能助理

 

• 摘要: Khoj AI是一个开源项目，旨在打造个人AI第二大脑。它能通过GPT-4等在线或本地LLMs回答问题，支持自托管和网页应用，可通过多种平台访问。

 

1. 手机上的GPT-4V级多模态LLM

 

• 摘要: OpenBMB项目推出MiniCPM-Llama3-V 2.5，这是一个能在手机上运行的GPT-4V级别的多模态语言模型，基于Python语言开发。

 

1. CodiumAI：智能测试生成增强工具

 

• 摘要: CodiumAI Cover-Agent是一款用Python编写的AI工具，专注于自动化测试生成和提升代码覆盖率，旨在帮助开发者更高效地发现和修复代码中的缺陷。

 

1. 深入大型语言模型课程

 

• 摘要: mlabonne项目提供了一个专门的课程，旨在帮助用户通过详细路线图和Colab笔记本深入了解大型语言模型(LLMs)。课程内容使用Jupyter Notebook编写，适合希望掌握LLMs的学习者。

 

1. ModelScope：多模型微调平台

 

• 摘要: ModelScope（modelscope）是一个用Python编写的AI项目，支持通过PEFT或Full-parameter技术对200多个大型语言模型(LLMs)或15个以上的中型语言模型(MLLMs)进行微调。

 

1. mlc-ai：浏览器内运行的大型AI模型

 

• 摘要: mlc-ai项目致力于将大型语言模型和聊天功能带入网络浏览器中，完全基于浏览器运行，无需服务器支持，采用TypeScript语言编写。

 

1. Fabric：AI增强人类开源框架

 

• 摘要: Fabric是一个开源框架，旨在通过AI增强人类能力。它提供了一个模块化的解决方案框架，通过众包的AI提示集来解决具体问题，可广泛应用。项目使用Python语言编写