केवल अपने CPU का उपयोग खरोंच से एक 25M-पैरामीटर LLM बनाएँ और ट्रेन
एक ट्यूटोरियल इमारत, पूर्व प्रशिक्षण और fine-tuning को दिखाता है CPU पर 25M-पैरामीटर LLM, जिसमें वास्तुकला, हानि और reinforcement learning शामिल हैं।
लघु भाषा मॉडल
कम आकार, मजबूत यादः कैसे Qwen2.5-1.5B 3B मॉडल को हराता है (चार परिकल्पनाओं के साथ)
एसआरआरएम दिखाता है कि Qwen2.5-1.5B लंबे संदर्भ में याद रखने पर Qwen 2.5-3B को हरा देता हैः 86.7% पुनर्प्राप्ति और 45.7% पुनर्निर्माण, आकार-समान-स्मृति धारणाओं को चुनौती देना।