- 姓名：周明远
- 职位：LLM算法研发工程师
- 邮箱：[email protected]
- GitHub：github.com/llm-zhou
- 技术社区：Hugging Face贡献者（ID：llm_zhou）、arXiv预印本作者（2篇LLM相关论文）
- 模型架构：Transformer（Encoder-Decoder/Decoder-only）、MoE（混合专家模型）、LoRA/QLoRA微调、RLHF（基于人类反馈的强化学习）
- 核心算法：注意力机制优化（FlashAttention）、动态量化（GPTQ/AWQ）、长上下文扩展（Position Interpolation/ROPE）、指令微调（SFT）
- 工程实现：PyTorch/TensorFlow、Hugging Face Transformers/Datasets/Accelerate、DeepSpeed、Megatron-LM、PEFT
- 部署优化：ONNX Runtime、TensorRT-LLM、模型并行（TP）/张量并行（PP）、INT4/INT8量化、推理服务（vLLM/TGI）
- 评估体系：MMLU、GSM8K、HumanEval、BLEU/Rouge、自定义领域评估数据集构建
- 编程语言：Python（主力）、C++（核心算子优化）、Shell（训练脚本）
- 参与自研百亿参数大语言模型「LingXi-10B」的预训练与迭代优化，负责注意力机制与长文本理解模块
- 主导模型轻量化项目，通过量化与结构剪枝将7B模型推理速度提升3倍，显存占用降低60%
- 设计领域适配方案，基于LoRA技术实现法律/医疗领域模型微调，垂直任务准确率提升25%
- 搭建LLM自动化评估平台，集成20+基准测试集，支持模型性能的全流程监控与对比分析
- 项目描述：面向中文场景的100亿参数大语言模型，支持多轮对话、指令遵循与知识问答
- 技术实现：
- 预训练优化：采用RoPE位置编码扩展上下文至8192 tokens，实现FlashAttention 2加速训练
- 训练策略：使用DeepSpeed ZeRO-3优化内存，在128张A100上完成1.2万亿tokens的预训练
- 对齐方法：结合SFT（监督微调）与RLHF，构建含5万条人类偏好数据的反馈数据集
- 成果：在中文GLUE基准测试中超越同规模开源模型10%+，支持企业级API调用（日活10万+）
- 项目描述：面向基层医疗的轻量化诊断辅助模型，适配边缘设备部署
- 技术实现：
- 模型压缩：采用AWQ量化技术实现4bit推理，配合模型蒸馏将7B模型压缩至1.8GB
- 领域微调：基于50万条医疗文献与病例数据，使用LoRA进行参数高效微调（仅训练0.1%参数）
- 推理优化：基于vLLM实现动态批处理，单卡A10性能达300 tokens/秒，延迟＜500ms
- 成果：通过基层医院试点验证，常见疾病诊断建议准确率达82%，部署成本降低70%
- 精通LLM预训练/微调全流程，能独立设计模型结构与训练策略
- 擅长模型效率优化，在量化、并行计算、推理加速方面有实际落地经验
- 熟悉LLM评估体系，能针对特定场景设计有效评估指标与测试方案
- 具备将学术研究转化为工程实现的能力，曾复现3篇顶会论文（ICML/NeurIPS）的核心算法
- 持续跟踪LLM前沿进展，每周精读5+篇顶会论文，建立个人技术笔记库（累计10万字）
- 注重工程落地，主导制定团队《LLM训练工程规范》，涵盖数据清洗、 checkpoint管理等流程
- 跨团队协作经验丰富，曾协调数据标注、前端开发团队完成LLM产品化落地
- 持有AWS Certified Machine Learning - Specialty认证
- 论文：《Efficient Long-Context Extension for Chinese LLMs via Adaptive Position Coding》（arXiv:2308.xxxx）
- 开源项目：llm-efficient-finetune（LoRA微调工具包，GitHub星标800+）
- 技术分享：在2023全球AI开发者大会做《大模型轻量化部署实践》主题报告
- 数据集：公开医疗领域指令微调数据集「MedInstruct-50k」，被30+研究团队引用