在实际业务场景中,赋予语言模型更强大能力的主要方式有两种:一种是通过特殊管道向模型输送额外信息,另一种是让模型自主使用各种工具。
OpenAI的超级对齐团队开发了Transformer Debugger(TDB),这是一个旨在支持对小型语言模型特定行为进行调查的工具,它结合了自动化的可解释性技术与稀疏自编码器。