计算机科学 91: CS336 深入学习大模型清邻

宝玉 (@dotey) 转发了 Line (@0xLinehigher) 的帖子： 非常建议每一个选择计算机系的大学生，在大学时期将cs336啃完，不开中文字幕，只开英文字幕。啃完之后，你对LLM的理解和英语能力至少在国内前百分之1%。 这门课超过国内任何一所大学里面计算机的课程。 《Stanford CS336: Language Modeling from Scratch》 是一门斯坦福大学计算机科学系的课程，这门课每一年春季都会有，每一年都会在油管免费开放。 里面的内容非常前沿而且实用，目前油管上的版本是25年的版本，第一节课提到的模型已经是GPT-4。而与此同时，国内的计算机课程还在用着至少5年前的PPT。 依稀记得，我的第一节C语言课程，PPT的里面的演示系统是XP... 啃完CS336，你会收获LLM的全栈技术栈，从数据收集，清洗，模型训练，优化，评估到部署，Transforemer架构，注意力机制，各种目前最新的机器学习训练方法 这门课的目标就是从头让你手搓一个LLM，亲手实现完整的pipeline。 两位主要讲师： 1、Percy Liang MIT 本科 + MEng，UC Berkeley 博士（2011）。曾在 Google 做 post-doc，后加入 Stanford 任教。 2、Tatsu Harvard 本科（统计与数学），MIT 博士（co-advised by Tommi Jaakkola 和 David Gifford），之后在 Stanford 做 Percy Liang 和 John Duchi 的 post-doc 耐心啃完这个，所有计算机课程几乎都不需要上了...因为在过程中必然会遇到很多不懂的点，边学边查，然后顺带就把学校关于机器学习和深度学习的专业课给学完了。 如果刚上大一，可以先看cs50，然后再到cs336，先稍微打点计算机的基础。 与此同时，一定要把线性代数学好，将高数丢了都要把线性代数学好，线性代数是机器学习的底层DNA。 如果线性代数没有学好，会比较难理解神经网络，相当于没学好加减乘除就想去求导。