新架构 Mamba 是否真的有用？ 近期，关于新架构 Mamba 的讨论在学术界和科技圈内掀起了一股热潮。
Mamba 是一种新型的模块，旨在替代常用的 Vit（Vision Transformer）或 CNN（Convolutional Neural Network）模块。
然而，目前关于 Mamba 的论文数量有限，仅有大约20篇左右的论文在 arXiv 上发布。
对于 Mamba 的实际效果，我们从三个参考资料中获得了一些信息。

首先，参考资料1提到了一个复现的问题，即缺少 selective_scan_cuda 包，导致 pip install 下载失败。
这意味着很多人无法进行 Mamba 的实际测试和体验，因此无法分享对其的具体看法。
其次，参考资料2提到了在视觉方向上，将 Mamba 中的一个 transformer 块替换为 ss2d 架构。
然而，这一变化导致参数量的增加，并且速度下降了1倍，效果不如原来的模型。

这暗示了 Mamba 在某些情况下可能并不比传统模型更好。
最后，参考资料3涉及到了 Mamba 的速度问题。
论文中的一张图片对比了 selective scan 和 flash attention 的速度，看起来似乎在句长小于2048的情况下两者持平，而在句长大于2048的情况下 Mamba 更优。
然而，这个速度测试的参数设置存在一些问题。

首先，scan 和 flash attention 的输入维度相同，这导致它们之间的比较并不公平。
事实上，Mamba 的参数量要远远超过 transformer，因此在同参数量的情况下，scan 的输入维度要么是 flash attention 的倍数，要么运行次数是 flash attention 的2倍。
其次，这个实验中的句长都是2的幂次方，对于非2的幂次方的情况，scan 的速度可能会下降2到3倍，这可能是一个实现上的 bug。
综上所述，以上参考资料中的观点表明，Mamba 在训练速度上可能存在一些问题，并且与传统模型相比并不一定更好。

然而，由于存在实现上的问题和数据限制，这些观点并不能完全代表 Mamba 的真实情况。
对于 Mamba 是否真的有用，我们仍需要更多的实际测试和体验来进行评估。
对于对于 Mamba 是否真的有用的问题，我们无法给出明确的答案。
然而，这个问题的探讨和讨论无疑促进了模型架构的发展和创新。

希望未来能有更多的研究者对 Mamba 进行深入的实验和评估，以便更好地了解其潜力和应用场景。
。