第二支羽毛

掌握Torchtune：高效微调、评估和部署大型语言模型的实用指南

LLM架构

掌握Torchtune：高效微调、评估和部署大型语言模型的实用指南近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容 LLM架构专栏知乎LLM专栏

LLM架构系列 ---探索文本嵌入模型：从基础到BERT与SBERT实战

本文1W字，探讨了各种用于生成文本向量表示的嵌入模型，包括词袋模型（BoW）、TF-IDF、Word2Vec、GloVe、FastText、ELMO、BERT等等。深入研究了BERT的架构和预训练，介绍了用于高效生成句子嵌入的句子BERT（SBERT），并提供了一个使用sentence-transf

LLM架构

2W6000字大模型核心技术综述：微调、推理与优化指南

本文2W6000字，10篇参考文献，内容涵盖了语言建模、预训练面临的挑战、量化技术、分布式训练方法，以及大语言模型的微调。此外，还讨论了参数高效微调（PEFT）技术，包括适配器、LoRA和QLoRA；介绍了提示策略、模型压缩方法（如剪枝和量化），以及各种量化技术（GPTQ、NF4、GGML）。最后，

LLM架构

一文读懂大语言模型评估：方法、指标与框架全解析

大模型评估全解析：方法、指标与框架 🕙发布时间：2025-02-24 本文3W4000字，分了8个小节介绍大模型评估方法，后续会把最新的方法更新进来~，有些内容是翻译自HuggingFace和一些论文，更多LLM架构文章：

LLM架构

3W6000字了解大模型LLM：部署、优化与框架

3W6000字了解大模型LLM：部署、优化与框架 🕙发布时间：2025-02-20 本文3W6000字，分了11个小结介绍各种框架和方法，后续会把最新的方法更新进来~，有些内容是翻译自HuggingFace和一些论文近日热文： 1. 全网最全的神经网络数学原理（代码和公式）直观解释 2. 大模型

LLM架构

VLLM 与 Ollama：如何选择合适的轻量级 LLM 框架？

VLLM 与 Ollama：如何选择合适的轻量级 LLM 框架？ VLLM是一款经过优化的推理引擎，在令牌生成速度和内存管理效率上表现出色，是大规模AI应用的理想之选。Ollama则是一个轻量级、易上手的框架，让在本地电脑上运行开源大语言模型变得更加简单。那么，这两个框架该选哪一个呢？接下来，我们

LLM架构

重现 OpenAI o1 的技术路线

重现 OpenAI o1 的技术路线 OpenAI o1发布后，其强大的推理能力远超早期的大语言模型（LLM），达到了媲美博士级专业知识的性能水平。目前，有两种复现o1的范式：基于知识蒸馏：这是一种捷径方法，可以提取o1的数据并微调LLM（如Llama 3.2、Qwen2等）以模仿o1的推理风格

LLM架构

加速大模型推理：深入探究MQA、GQA、MLA（DeepSeek）、KV缓存技术

加速大模型推理：深入探究MQA、GQA、MLA（DeepSeek）、KV缓存技术回顾：多头注意力机制为什么LLM推理是串行的 KV缓存的挑战 2019年——多查询注意力机制（Multi Query Attention） 2023年5月——分组查询注意力机制（Grouped Query Atten

LLM架构

OpenAI o3-mini 与 DeepSeek-R1 在各类基准测试中的大比拼

OpenAI o3-mini与DeepSeek-R1在各类基准测试中的大比拼 OpenAI终于发布了o3-mini，还为ChatGPT的所有用户免费提供了一些使用额度。但大家心里始终有个大大的疑问：OpenAI的o3-mini会比DeepSeek-R1更胜一筹吗？虽说OpenAI官方团队并没有发布

LLM架构

置顶 2W8000字读懂GPT全家桶：从GPT-1到O1的技术演进与突破

置顶
2W8000字读懂GPT全家桶：从GPT-1到O1的技术演进与突破