大语言模型基础:理论与实践

OpenAI在3月18日晚上突然上线了GPT-5.4 mini和nano这两款轻量级模型,目的就是想让AI在实际工作环境里跑更快、更准,也更省钱。这次轻量级模型的出现彻底改变了大家的看法,模型不再是什么稀罕物,现在比拼的是能不能吃透底层原理、自己搞定微调,还有在资源不多的情况下训练模型的本事。 但现实情况是,很多工程师遇到了麻烦:面对千亿参数的大模型,他们的机器根本跑不动;对于Transformer、Attention还有RLHF这些理论也是一知半解;而且平时忙得没空看论文,想往上走真的很难。 为了帮大家解决这些问题,深蓝学院把Transformer、RLHF这些原理跟实际操作结合起来,推出了《大语言模型基础:理论与实践》这门课。课程会从经典的语言模型讲起,一步一步深入到GPT模型里,把它的核心模块都拆开来看。最后还会带着大家亲手做一个自己的mini-ChatGPT。 这门课不光讲理论,还特别重视动手写代码。从数据处理到训练和调优,每个算法里都穿插着9个项目的代码实现。如果有兴趣学习这个项目,就扫码加好友了解详情吧。 给这个项目做导师的是黄佳,他现在是新加坡科技研究局的人工智能高级研究员。他主要研究NLP大模型的研发应用、持续学习,还有AI在FinTech和Spectrometry Data里的应用。他以前还写过《零基础学机器学习》《数据分析咖哥十话》这些书,在数据科学领域干了很多年,也在政府、银行、能源、医疗这些地方做过不少实战项目。 课程目标很明确:就是要彻底搞懂像ChatGPT这样的生成式语言模型是怎么回事,然后自己动手做一个出来。 学完这个课你能收获很多东西:第一是能掌握现代NLP技术的关键内核和发展路线;第二是能搭出一个属于自己的简版ChatGPT;第三是能学会NLP编程基本功和PyTorch的主要内容;第四是能搞懂注意力机制和Transformer架构的核心思想以及怎么写代码实现它们。 课程服务这块也很贴心:有讲师、助教和班主任三个人帮你答疑解惑,还会全程盯着你学习进度;每周定期开班会,助教1对1批改作业,在会上讲评指导;在交流中你也能学到更多技巧和思路。 如果想咨询更多信息或者抢名额学习这个课程就赶紧扫码添加好友吧。