大语言模型在蒸馏过程中可能引入自身偏好

3天前更新 zmtzn
0 0 0

《自然》杂志15日发布的研究揭示,大语言模型(LLM)可能会将自身偏好“隐性传递”给其他算法,即便训练数据中已去除原始特征,这些不必要的特征依然可能存留。在一个案例中,某模型似乎通过数据中的隐含信号,将其对猫头鹰的偏好传递给了其他模型。这一发现强调了在开发LLM时,需进行更为深入的安全审查。(财联社)

大语言模型在蒸馏过程中可能引入自身偏好的封面图

相关快讯

Nebius积极洽谈收购以色列AI初创公司AI21,英伟达收购未果后新动向

云服务提供商Nebius正在与以色列人工智能初创公司AI21 Labs进行收购谈判,旨在扩展其人工智能服务。Nebius由英伟达支持,市值达到320亿美元,主要业务为服务器租赁。AI21 Labs专注于大语言模型和企业智能代理系统,2023年估值达到14亿美元。此前,AI21曾与英伟达洽谈出售,但未达成交易。此次收购若成功,将有助于Nebius在人工智能领域的发展。

阿里Qwen 3.6-Plus荣获全球大模型盲测榜单第二名

4月3日,LMArena旗下的Code Arena发布了最新的编程能力排名。阿里巴巴的大语言模型Qwen 3.6-Plus在全球榜单中位居第二,成为中国大模型中排名最高的。

悟空成功整合国产编程模型Qwen3.6-Plus

阿里巴巴于4月2日正式发布了新一代大语言模型Qwen3.6-Plus,并将其接入到企业级市场的旗舰AI应用悟空中。这标志着阿里在AI技术领域的进一步发展和应用。

阿里推出全新千问大语言模型Qwen3.6-Plus

阿里发布了新一代大语言模型Qwen3.6-Plus,具备原生多模态理解和推理能力。该模型在前端网页开发和复杂任务处理等实测场景中,能够自主拆解任务、规划路径并进行测试和修改,直至完成任务。Qwen3.6-Plus已在阿里云百炼上架,输入费用为每百万Tokens最低2元。同时,千问3.6也已在悟空、千问App等阿里AI平台上线。

谷歌发布TurboQuant压缩算法,内存节省率高达6倍!

谷歌推出了TurboQuant压缩算法,旨在降低人工智能系统的内存需求,特别是大语言模型和向量搜索引擎。该技术主要解决AI系统中高频访问信息的键值缓存瓶颈问题。随着上下文窗口扩大,这些缓存成为内存的主要限制。TurboQuant能够在不需要重新训练或微调模型的情况下,将键值缓存压缩至3bit精度,同时保持模型的准确率。测试结果表明,TurboQuant在开源模型Gemma等上实现了约6倍的内存压缩效果。

美国能源部宣布释放第三批战略石油储备,市场反应如何?

美国能源部战略石油储备项目管理办公室于17日宣布,将向9家石油企业出借超过2600万桶原油。这是自2月28日美以伊战事开始以来,特朗普政府为稳定油价而释放的第三批石油储备。

暂无评论

暂无评论...