Sparse Crosscoders for Cross-Layer Features and Model Diffing
Abstract
本说明介绍了稀疏跨编码器(sparse crosscoders),它是一种稀疏自编码器(sparse autoencoders)或transcoders的变体,旨在用于理解叠加中的模型结构。SAEs是在单一层中编码和预测…
Parametric Retrieval Augmented Generation 3. Methodology
3.1 Problem Formulation and Overview
文中原始符号数学表示额外解释LLM L L L大模型的简化表示LLM parameters θ \theta θ大模型的参数表示user query q q q用户的输入external corpus K K K K { d 1 , d 2 ,…