今天小编分享的科学经验：OpenAI震撼研究：用GPT-4解释30万神经元，原来AI的黑盒要AI自己去打开，欢迎阅读。
没想到，打开 AI 黑盒这件事，可能还要靠 AI 自己来实现了。
OpenAI 的最新研究来了一波大胆尝试：
让 GPT-4 去解释 GPT-2 的行为模式。
结果显示，超过 1000 个神经元的解释得分在 0.8 以上——也就是说 GPT-4 能理解这些神经元。
要知道，"AI 黑箱难题 " 长期以来是一个热议话题，尤其是大语言模型领網域，人类对其内部工作原理的理解还非常有限，这种 " 不透明化 " 也进一步引发了人类对 AI 的诸多担忧。
目前推进 AI 可解释性研究的一个简单办法，就是逐个分析大模型中的神经元，手动检查以确定它们各自所代表的数据特征。
但对于规模已经达到百亿、千亿级别的大规模神经网络来说，工作量和工作难度就都涨了亿点点吧。
由此，OpenAI 的研究人员想到，干嘛不让 AI 去自动化搞定这个大工程？
在这项最新的研究中，他们将 GPT-4 打造成了一个理解 AI 行为模式的工具，把 GPT-2 超过 30 万个神经单元都解释了一遍，并和实际情况比对进行评分。
最终生成的解释数据集和工具代码，已对外开源。
研究人员表示：未来，这种 AI 工具可能在改善 LLM 性能上发挥巨大作用，比如减少 AI 偏见和有害输出。
解释接近人类水平
具体来看，整个研究的步骤可以分为三步。
第一步，先给 GPT-4 一段文本，并展示 GPT-2 在理解这段文本时激活的神经元情况。
然后让 GPT-4 来解释，这段文本中神经元的激活情况。
比如示例中给出了一段漫威复联的文本，GPT-4 分析的激活神经元为：
电影、角色和娱乐
第二步，让 GPT-4 开始模拟，这些被解释的神经元接下来会做什么。
GPT-4 给出了一段内容。
第三步，让 GPT-2 真实的神经元激活来生成结果，然后和 GPT-4 模拟的结果进行比对，研究人员会对此打分。
在博客给出的示例中，GPT-4 的得分为 0.34.
使用这个办法，研究人员让 GPT-4 解释了 GPT-2 一共 307200 个神经元。
OpenAI 表示，使用这一基准，AI 解释的分数能接近人类水平。
从总体结果来看，GPT-4 在少数情况下的解释得分很高，在 0.8 分以上。
他们还发现，不同层神经元被激活的情况，更高层的会更抽象。
此外，团队还总结了如下几点结论：
如果让 GPT-4 重复解释，它的得分能更高
如果使用更强大的模型来解释，得分也会上升
用不同的激活函数训练模型，能提高解释分数
总结来看就是，虽然 GPT-4 目前的表现一般，但是这个方法和思路的提升空间还有很大。
团队也强调，现在在 GPT-2 上的表现都不太好，如果换成更大、更复杂的模型，表现也会比较堪忧。
同时这种模式也能适用于联网的 LLM，研究人员认为可以通过简单调整，来弄清楚神经元如何决策搜索内容和访问的网站。
此外他们还表示，在创建这个解释系统时并没有考虑商业化问题，理论上除了 GPT-4，其他 LLM 也能实现类似效果。
接下来，他们打算解决研究中的这几个问题：
AI 神经元行为十分复杂，但 GPT-4 给的解释非常简单，所以有些复杂行为还无法解释；
希望最终自动找到并解释复杂的整个神经回路，神经元和注意力头一起工作；
目前只解释了神经元的行为，但没解释行为背后的机制；
整个过程算力消耗巨大。
网友：快进到 AI 创造 AI
意料之中，这项研究马上在网络上引发热议。
大家的腦洞画风 be like："AI 教人类理解 AI。"
"AI 教人类关掉 AI 中存在风险的神经元。"
还有人开始畅想，AI 理解 AI 会快速发展为 AI 训练 AI（已经开始了），然后再过不久就是 AI 创造新的 AI 了。
当然这也引发了不少担忧，毕竟 GPT-4 本身不还是个黑盒嘛。
人类拿着自己不理解的东西，让它解释另一个自己不理解的东西，这个风险 emm ……
这项研究由 OpenAI 负责对齐的团队提出。
他们表示，这部分工作是他们对齐研究的第三大支柱的一部分：
我们想要实现自动化对齐。这种想法一个值得思考的方面是，它可能随着 AI 的发展而扩展更多。随着未来 AI 模型变得越来越智能，我们也能找到对 AI 更好的解释。
论文地址：
https://openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html
参考链接：
[ 1 ] https://openai.com/research/language-models-can-explain-neurons-in-language-models
[ 2 ] https://www.globalvillagespace.com/tech/openais-tool-explains-language-model-behavior/
