مراحل یادگیری هوش مصنوعی و مدل های زبانی بزرگ بصورت اولیه و مرحله به مرحله
با مراحل ارائه شده میتوانید از صفر شروع کنید و به سطحی برسید که بتوانید روی مدل‌های زبانی بزرگ (LLM) تحقیق کنید و حتی با یک عدد کارت گرافیک عادی هم بتوانید یک الگوریتم را پیاده سازی و تعلیم بدهید.🔢 برنامه یادگیری مرحله‌ای✅ مرحله ۱: ریاضیات پایه و پایتونقبل از وارد شدن به هوش مصنوعی، باید با موارد زیر آشنا شوید:- پایتون: متغیرها، حلقه‌ها، توابع، کلاس‌ها- جبر خطی: بردارها، ماتریس‌ها، ضرب داخلی- احتمال و آمار: توزیع‌ها، قضیه بیز- حساب دیفرانسیل: مشتق، گرادیانمنابع:- [Python for Everybody Specialization](https://www.coursera.org/specializations/python) (Coursera)- [جبر خطی](https://www.khanacademy.org/math/linear-algebra)- [آمار و احتمال](https://www.khanacademy.org/math/statistics-probability) ✅ مرحله ۲: مقدمه‌ای بر یادگیری ماشیندر این مرحله با مفاهیم اصلی یادگیری ماشین آشنا می‌شوید.منابع:- [Google Developers – Machine Learning Crash Course](https://developers.google.com/machine-learning/crash-course)- [Andrew Ng – یادگیری ماشین](https://www.coursera.org/learn/machine-learning)- [Hands-On ML by Aurélien Géron (فصل‌های ۱–۳)](https://github.com/ageron/handson-ml3) ✅ مرحله ۳: یادگیری عمیقبا شبکه‌های عصبی، الگوریتم پس‌انتشار (backpropagation)، توابع فعال‌سازی و روش‌های بهینه‌سازی آشنا شوید.منابع:- [Deep Learning Specialization-Andrew Ng](https://www.coursera.org/specializations/deep-learning)- [Practical Deep Learning for Coders](https://course.fast.ai)- [Neural Networks and Deep Learning (Michael Nielsen)](http://neuralnetworksanddeeplearning.com)
✅ مرحله ۴: CNN، RNN و LSTMاین معماری‌ها پایه تمام مدل‌های قبل از Transformer بودند.منابع:- [CS231n Convolutional Neural Networks](https://cs231n.github.io/)- [The Unreasonable Effectiveness of Recurrent Neural Networks (Andrej Karpathy)](https://karpathy.github.io/2015/05/21/rnn-effectiveness/)- [Understanding LSTM Networks (Colah's Blog)](https://colah.github.io/posts/2015-08-Understanding-LSTMs/)✅ مرحله ۵: معماری Transformerترانسفورمرها پایه تمام مدل‌های LLM امروزی هستند.منابع:- [The Illustrated Transformer (Jay Alammar)](https://jalammar.github.io/illustrated-transformer/)- [Attention Is All You Need (Paper)](https://arxiv.org/abs/1706.03762)- [Hugging Face Course – Transformers](https://huggingface.co/course/chapter1)✅ مرحله ۶: مبانی مدل‌های زبانیدر این مرحله: چگونه مدل‌ها متن را پردازش می‌کنند و تولید می‌کنند.منابع:- [Language Models are Few-Shot Learners (GPT-3 Paper)](https://arxiv.org/abs/2005.14165)- [What Are Language Models? (Hugging Face Docs)](https://huggingface.co/docs/transformers/model_summary)- [How Does GPT Work? (Video + Notes)](https://www.youtube.com/watch?v=YZVeNwWQNlw)✅ مرحله ۷: مدل‌های زبانی بزرگ (LLMs)میتوانید مقالات مهمی درباره LLMها را مطالعه کنید.منابع:- [BLOOM Research Papers](https://bigscience.huggingface.co)- [Llama.cpp GitHub Repo](https://github.com/ggerganov/llama.cpp)- [Mistral AI Technical Reports](https://mistral.ai/news/Announcing-Mistral-7B)- [DeepSeek Research Page](https://www.deepseek.com/research)
✅ مرحله ۸: آموزش LLMها با منابع محدودمنابع:- Fine-Tuning LLMs on One GPU www.pinecone.io/learn/fine-tuning-llms- QLoRA Paper arxiv.org/abs/2305.14314- TinyStories Paper arxiv.org/abs/2305.07759- Lit-GPT Framework github.com/Lightning-AI/lit-gpt- Alpaca-LoRA Example github.com/tloen/alpaca-lora ✅ مرحله ۹: تحقیق و توسعه در حوزه LLM- آموزش کارآمد- طراحی معماری جدید- ارزیابی مدل- ایمنی هوش مصنوعیمنابع:- Arxiv.org- Papers With Code paperswithcode.com/task/language-modeling- Hugging Face Research Blog huggingface.co/blog/research-features📦 فهرست مقالات علمی یادگیری عمیق (نوشته بنجیو، گودفلو، کورویل) arxiv.org/abs/1503.02531 LSTM arxiv.org/abs/1709.02755 Seq2Seq arxiv.org/abs/1409.3215 Attention Mechanism arxiv.org/abs/1409.0473 Transformer arxiv.org/abs/1706.03762 BERT arxiv.org/abs/1810.04805 GPT-1 openai.com/research/language-unsupervised GPT-2 d4mucfpksuov.cloudfront.net/better-language-models/language-models.pdf GPT-3 arxiv.org/abs/2005.14165 BLOOM arxiv.org/abs/2211.05100 LLaMA arxiv.org/abs/2302.13971 LLaMA-2 arxiv.org/abs/2307.09288 Mistral 7B arxiv.org/abs/2310.06825 Mixtral MoE arxiv.org/abs/2310.11534 QLoRA arxiv.org/abs/2305.14314 LoRA arxiv.org/abs/2106.09685 P-Tuning v2 arxiv.org/abs/2110.07602 TinyStories arxiv.org/abs/2305.07759 Codex Evaluation arxiv.org/abs/2107.03374 Alpaca crfm.stanford.edu/2023/03/13/alpaca.html Survey on LLM Evaluation arxiv.org/abs/2307.03119 InstructGPT arxiv.org/abs/2203.02155
04:21 - 13 تیر 1404