突破提示工程瓶颈，Tilde 赋予 AI 推理更强精度
人工智能领域对于可解释性一直有着迫切的需求，旨在揭示 AI 模型内部的复杂运算过程。Tilde，一家总部位于美国加州的 AI 初创公司，正致力于通过解释器模型和控制技术，解锁模型的深层推理和指令能力，进而改善人机交互。
传统上，AI 与用户交互依赖于黑箱提示，这意味着用户无法知晓模型内部的决策过程。这就像在没有源代码的情况下优化一个软件系统，既低效又受限。
Tilde 旨在通过可解释性来超越这些限制。他们构建了能够直观展示模型内部工作机制的解决方案，从而直接指导模型行为并提升性能。这种方法超越了传统的后期训练方法或微调方法的潜力。
基于解释器模型的推理能力优化
Tilde 通过解释器模型已经实现了大语言模型推理能力的优化。例如，他们使用 Llama 3.1 8B 来解决一个通过巧妙数学技巧解决的脑筋急转弯。在 Tilde 的干预下，模型成功解决了该难题，而之前却给出了错误答案。
文本生成视频模型的更精细控制
在文本生成视频模型方面，Tilde 的解释器模型也展示了更精细的生成控制能力。他们使用 Genmo 的 mochi 1 输入了一个指令，要求生成一只猫从山顶彩虹滑梯上滑下来的视频，背景是蓝天和蓬松的云朵。
在 Tilde 的干预下，补充了“确保有山”的指令后，生成的图像准确性和对用户偏好的遵循程度均得到了提升。优化后的图像更关注于山间风景的细节，而山坡的形状也更加明显。
引导采样与提示工程
对于引导采样和提示工程这两种控制 LLM 输出方向的方法，Tilde 做出了清晰的区分。
引导采样通过调整模型内部的采样策略或生成过程，在生成过程中动态引导输出的方向。提示工程则通过优化或设计输入提示的内容或结构，来引导模型按照预期方式生成输出。
技术原理
Tilde 还在稀疏自编码器中速率失真问题的研究方面取得了进展。稀疏自编码器有助于理解深度学习中的特征表示，并为开发更高效、更可解释的模型提供方向。
Tilde 的研究涉及稀疏自动编码器（SAE）、Top-k 激活函数和信息瓶颈框架，解决稀疏编码和重建原始数据这两个基本问题。
稀疏编码理论和信息瓶颈框架
稀疏编码理论强调激活应在不同特征或神经元之间均匀分布，负载均衡正则化有助于缓解特征频率失衡问题。
Tilde 利用信息瓶颈框架来理解 Top-k 方法，该框架平衡了信息保留和压缩。Top-k 方法通过固定激活神经元的数量，对输入与表示之间的互信息施加上限，优先选择最具信息量的特征进行重建。
实验结果
在实验中，Tilde 发现 Top-k 方法能够产生更平滑的学习动态和更强的抗噪性。在高斯噪声条件下的测试中，Top-k 方法比 ReLU 基准模型表现出更高的鲁棒性。
结论
Tilde 通过解释器模型和引导采样，突破了提示工程的瓶颈，为 AI 推理赋予了更强的精度。他们将稀疏编码理论和信息瓶颈框架等技术应用于稀疏自动编码器，进一步提高了模型的可解释性和效率。
Tilde 的研究为构建更强大的可解释 AI 模型铺平了道路，有望重塑人机交互的未来。
原创文章，作者：讯知在线，如若转载，请注明出处：http://bbs.xzxci.cn/2024/11/30/25109.shtml
