AI 大模型学习路线

参考

• 程序员如何转行到ai大模型领域?

AI 学习过程

• 第一步：夯实基础，别眼高手低 (1-2个月)

  • 不管你选哪个方向，基础是绕不过去的。

  • Python和PyTorch：确保你对这两样东西了如指掌。

  • Transformer核心原理：把"Attention Is All You Need"这篇开山之作的论文打印出来，逐字逐句地读，然后对着代码复现一遍。这个过程可能会很痛苦，但绝对物超所值。网上有大把的教程，比如Jay Alammar的图解Transformer，非常经典。

  • Hugging Face全家桶：花两周时间，把Hugging Face的官方教程过一遍，特别是transformers, datasets.accelerate这几个库。你要做到能用它们快速地加载模型、处理数据、跑一个训练任务。

• 第二步：动手做一个拿得出手的项目 (3-4个月)

  • 做一个完整的、复杂的RAG应用。别做简单的PDF问答了，太俗。你可以做一个“个人知识库Agent”，能整合你的微信读书笔记、Notion、本地文件，然后你可以通过自然语言和它交互，让它帮你整理资料、做日程规划、写周报。把整个系统搭建起来，部署上线，然后写一篇详细的博客，讲你的技术选型、踩了哪些坑、怎么解决的。

• 第三步：融入社区，保持信息同步 (长期坚持)

  • AI领域的技术迭代速度是按周甚至按天计算的。闭门造车是死路一条。
  • Twitter/X：关注行业大佬，比如Yann LeCun, Andrej Karpathy, Jim Fan, 李沐。他们是第一手信息的来源。
  • ArXiv：养成每天刷一刷ArXiv新论文的习惯，重点看cs.CL, cs.LG, cs.AI这几个分类。不求每篇都看懂，但要对最新的热点和趋势有个大概了解。

https://arxiv.org/list/cs.AI/recent

字节agent手册

第一步：夯实基础，别眼高手低

pytorch学习

https://github.com/mrdbourke/pytorch-deep-learning

https://github.com/zhangxiann/PyTorch_Practice

https://www.learnpytorch.io/08_pytorch_paper_replicating/

https://pytorch.org/

Similar to BERT's [ class ] token, we prepend a learnable embedding to the sequence of embedded patches $\left(\mathbf{z}_{0}^{0}=\mathbf{x}_{\text {class }}\right)$, whose state at the output of the Transformer encoder $\left(\mathbf{z}_{L}^{0}\right)$ serves as the image representation $\mathbf{y}$ (Eq. 4).

Note: BERT (Bidirectional Encoder Representations from Transformers) is one of the original machine learning research papers to use the Transformer architecture to achieve outstanding results on natural language processing (NLP) tasks and is where the idea of having a [ class ] token at the start of a sequence originated, class being a description for the "classification" class the sequence belonged to.

https://scikit-learn.org/stable/index.html