项目概述本项目基于 DeepSeek-Coder-7B-Base-v1.5 模型，使用华佗医疗问答数据集进行增量预训练，旨在提升模型在医疗领域的问答能力。采用 LoRA (Low-Rank Adaptation) 技术进行参数高效微调。技术栈基础模型: DeepSeek-Coder-7B-Base-v1.5 (6.9B 参数)数据集: shibing624/huatuo_medical_qa_sharegpt (27万+ 医疗问答对)训练方法: LoRA (Low-Rank Adaptation)硬件: NVIDIA RTX 5090...

閱讀全文...

项目概述本文档记录了在 RTX 5090 GPU 环境下搭建 MedicalGPT 预训练环境并成功完成训练的完整过程。项目基于 Qwen2.5-0.5B 模型，使用 LoRA (PEFT) 方法进行预训练。环境信息操作系统: Linux 5.15.0-94-genericGPU: NVIDIA GeForce RTX 5090Python: 3.11.5 (从 3.8.10 升级)PyTorch: 2.9.0.dev20250805+cu128 (nightly 版本)CUDA: 12.8初始环境检查首先检查了当前环境的基本信息：p...

閱讀全文...

在 LLM Agent 训练中，有时存在需要通过代码行号进行补全的方法。这个脚本给任意给定的代码行统一添加代码行号。import json import re import argparse def add_line_numbers_to_input(input_jsonl_path, output_jsonl_path): with open(input_jsonl_path, 'r', encoding='utf-8') as fin, \ open(output_jsonl_path, 'w', en...

閱讀全文...

和狗子出来玩
偶遇一群跑出来吃草的小动物
不知道是🪿还是🦆

但非常塔诺西🥹

ps.
长沙夏天就是太热了。我俩跑到烈士公园的麦当劳坐到下午六点才敢出去...
说好如果有时间的话冬天再来一次

pps.
好想去水族馆..///

在修复代码 bug 的 Agent check_list 策略中，一个基本的三步方法如下：LLM 阅读给定代码块，根据给定的参考错误列表找到于 bug 描述相对应的有问题的“代码行号”。根据有问题的“代码片段”，判断代码片段是否确实违反代码规范，以 0（正确）和 1（错误）表示。对于错误值为 1 的代码片段，进行 bug 修复。很明显可以看到在阶段 1 和阶段 2 之间需要运行某一个脚本，来根据“代码行号”反向爬取代码块中的“代码片段”。这么做的原因是在阶段 1 直接让模型输出“代码片段”的策略可能存在大量错误，因为模型的评估标准较为...

閱讀全文...