阿里 Qwen2 模型开源，教你如何将 Qwen2 扩展到百万级上下文
输入“/”快速插入内容
阿里 Qwen2 模型开源，教你如何将 Qwen2 扩展到百万级上下文
阿里 Qwen2 模型开源，教你如何将 Qwen2 扩展到百万级上下文
飞书用户7250
飞书用户66132024年8月2日修改
📌
莫尔索随笔
跟踪LLM(大语言模型)最新动态，分享第一手LLM 实践经验，致力于打造个人LLM 应用开发全栈指南！
74篇原创内容
公众号
Qwen2 和 Qwen1.5 的模型结构基本一致，主要是模型预训练数据有所增加（大约在 7T 以上），Qwen2-0.5B、Qwen2-1.5B 模型支持最大上下文长度为 32K；Qwen2-57B-A14B MoE 模型支持最大上下文为 64K；Qwen2-7B、Qwen2-72B 模型支持最大上下文为 128K，代码和数学能力显著提升。
在 Qwen1.5 系列中，只有 32B 和 110B 的模型使用了 GQA，Qwen2 所有尺寸的模型都使用了 GQA，GQA 可以显著加速推理，降低显存占用。
模型效果
Qwen2 系列模型效果不光整体超过 Qwen1.5 系列，相对于其他同级别参数开源模型也很亮眼，下面是指令微调模型 Qwen2-72B-Instruct 和 Qwen2-7B-Instruct 和常见开源 SOTA() 模型比较。
Qwen2-72B-Instruct 在多项指标超过 Llama-3-70B-Instruct，特别是中文领域，大幅领先。
Qwen2-72B-Instruct 在多项指标超过 Llama-3-70B-Instruct
代码和数学方面都超过了 Llama-3-70B-Instruct
代码和数学方面都超过了 Llama-3-70B-Instruct
Qwen2-7B-Instruct
最后说下开源 License，除了 Qwen2-72B 使用 Qianwen License（有使用范围限制）其余模型 4 个尺寸模型均采用 Apache 2.0 的许可。
借助 Qwen-Agent 实现长文本理解
这个也是阿里开源的，特别是在本地使用 Qwen2-0.5B、Qwen2-1.5B 这类上下文长度有限的模型时，通过 Qwen-Agent 框架，能够把处理的上下文扩展到 1M，整体采用的是代理式 RAG（Agentic RAG）思路，具体的做法分为三步。
第一步查询转换
查询转换
将文本分成每块不超过 512 字短块，保留最相关在 8k 上下文，采用查询转换的方法：
•
步骤 1：引导模型分离用户查询中的指令信息与非指令信息。例如，将用户查询转为{"信息": ["自行车是什么时候发明的"], "指令": ["回答时用 2000 字", "尽量详尽", "用英文回复"]}。
•
步骤 2：从信息部分提取多语言关键词。例如，"自行车是什么时候发明的"转为{"关键词英文": ["bicycles", "invented", "when"], "关键词中文": ["自行车", "发明", "时间"]}。
•
步骤 3：利用 BM25 基于关键词的检索，找出最相关的块。
第二步 查询重写
在相关块与用户查询关键词重叠程度不足时，可能导致遗漏相关内容未被检索到，采用二次查询的方式：
步骤 1：对于每个 512 字块，让模型先评估其与用户查询的相关性。若认为不相关，则输出"无"；若相关，则输出相关句子。
步骤 2：筛选出相关句子，将其用作搜索查询词，通过 BM25 检索出最相关的块（检索结果长度控制在 8k 上下文限制内）。
步骤 3：基于检索到的上下文生成最终答案。
查询重写
第三步 自问提示(Self-Ask)
当遇到问题：“与第五交响曲创作于同一世纪的交通工具是什么？”模型需先回答子问题：“第五交响曲创作于哪个世纪？”即 19 世纪，接着，才能识别到包含信息“自行车于 19 世纪发明”与原问题相关。
通过让 LLM 自问自答生成多跳问题与答案，然后再生成最终的答案。
向 LLM1 提出一个问题？
while (LLM1 无法根据其记忆回答问题) {