Idea: 长上下文高效检索机制

概述

研究如何在长上下文 LLM 中实现高效的相关信息检索。

详细描述

随着上下文窗口扩展到 100K+ tokens,如何在长上下文中快速定位相关信息成为挑战。本项目旨在:

• 设计基于语义的首token定位算法
• 研究分层检索策略
• 优化注意力机制的稀疏化方法

关联论文

• 2307.03109 (Longformer)
• 2308.03281 (Landmark Attention)

标签

efficiency, context-window, retrieval, architecture

状态

active