AI技术前瞻：Mamba（第一期）

     2018年transformer诞生后，迅速成为各种大模型的基础结构，于是有了ChatGPT，有了以AGI为最终目标的快速发展。但受限于transformer对算力的要求，以输入token序列的长度的平方为增长级数。因此它无法处理超长序列。像ChatGPT目前文本长度限制为32k。对于纯文字，当有很多个回合的对话时，会突破这个上限。对于多模态的情况，高分辨率图片，一段音频、视频可能就轻易突破这个限制了。对于科学应用，对人的基因进行全序列测序会形成数G数据。以上序列，如果截断成短的片段，又难以捕捉长程依赖，这类问题，一直是序列型数据处理的核心困难所在。

     炼数成金新课程中的“AI技术前瞻”系列，捕捉当前技术热点，这些技术犹如当年的transformer，我们判断对将来的技术发展方向可能有重要的影响，在当下应用可以带来算力效率、结果准确度等方面带来优势，进行持续长远的研究，可能有积跬步成千里，滴水石穿的效果，给场景和基础结构带来革命性的突破，犹如transformer之相对于ChatGPT和AGI。本课程涉及的mamba，是由斯坦福和卡内基梅隆发起的项目，起源于SSM（状态空间模型），其演进过程深刻而简洁，让人拍案叫绝。可以极大降低所需要的算力，同时又能处理困难的超长序列问题，目前普遍被业界看好，认为是transformer的潜在替代。其作者已经开设了创业公司，围绕mamba研发新一代大语言模型，与OpenAI及一众行业巨头掰手腕。通过了解mamba，我们可以对大语言模型的核心问题有更深刻的理解，为创新应用场景和基础设施做知识准备，这是值得学习，并向同事、上司、老板、同行们炫耀的技术知识。

课程亮点：
1 详细剖析transformer原理和优缺点2 深度讲解mamba的前世今生（目前市面上还没见到有能深入讲解的同类课程）
2 应用实际部署，代码实战
3 提供A100服务器和其它充足的算力资源作为实验支撑