Idea: 基于对比学习的文本表示

概述

研究对比学习在 NLP 文本表示中的应用，提升句子嵌入的质量。

详细描述

对比学习已在 CV 领域取得成功，本项目探索在 NLP 中的应用：

• SimCSE、DiffCSE 等无监督方法
• 有监督对比学习框架
• 多语言文本表示
• 下游任务迁移能力评估

关联论文

• 2104.08821 (SimCSE: Simple Contrastive Learning of Sentence Embeddings)
• 2202.05559 (DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings)

标签

nlp, representation-learning, contrastive-learning

状态

active