ShareGPT数据预处理全步骤解析

2、对每条JSON行执行json.loads()解析，捕获KeyError或JSONDecodeError异常，并将失败样本标记为待人工复核队列。

3、遍历conversations字段，校验每轮对话是否严格交替包含"from": "human"和"from": "gpt"，剔除缺失任一轮或顺序错乱的样本。

4、将所有合法样本统一重写为标准ShareGPT格式：{"conversations": [{"from": "human", "value": "..."}, {"from": "gpt", "value": "..."}]}。

二、敏感内容与隐私信息过滤

原始数据可能隐含用户邮箱、手机号、真实地址或医疗/金融等高风险实体，直接训练易引发合规风险。本步骤通过规则匹配与轻量NER双路机制识别并脱敏关键字段，保障数据集可用性与安全性。

1、加载预定义敏感词表，覆盖常见邮箱正则（\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b）、中国大陆手机号（1[3-9]\d{9}）及身份证号模式（\d{17}[\dXx]）。

2、对每条human与gpt value字段分别运行匹配，命中项替换为[REDACTED]占位符。

3、调用spaCy中文模型对value文本执行命名实体识别，过滤掉标注为PERSON、ORG、GPE且未在白名单中的实体。

4、保留所有被标记样本的原始哈希ID，生成独立日志文件供审计追溯。

三、多轮对话切分与长度截断

大语言模型训练通常要求输入序列长度可控，而原始ShareGPT对话可能长达数百轮。本步骤将长会话按语义边界切分为多个训练样本，并对超长单样本实施上下文截断，避免显存溢出与训练不稳定。

1、以system消息为会话起点，识别连续human-gpt交替块；当遇到第二个system或空消息时，结束当前切片。

2、对每个切片计算总token数（使用tiktoken.get_encoding("gpt2")），若超过预设阈值（如2048），则从human轮开始逆向截断，优先保留最近3轮对话。

3、强制保证每个切片至少包含1轮human与1轮gpt，否则丢弃该切片。

4、输出切片时添加字段"source": "sharegpt_v3"与"truncated": true/false，便于后续数据溯源与质量分析。

四、指令模板注入与角色对齐

原始ShareGPT数据缺乏明确系统指令，导致模型难以区分角色意图。本步骤依据任务类型动态注入标准化system prompt，并统一human/gpt角色标识，强化模型对指令遵循行为的学习信号。

1、根据conversations首条human消息关键词（如“写代码”“翻译”“总结”）匹配预设模板库，选择对应system prompt，例如“你是一个专业Python开发助手，请用简洁准确的代码回答。”

2、将选定prompt插入conversations最前端，设置"from": "system"，value为注入文本。

3、遍历全部conversations，将原"from": "user"统一替换为"from": "human"，"from": "assistant"替换为"from": "gpt"，确保字段名全集与Unsloth等训练框架兼容。

4、对所有value字段执行Unicode规范化（NFKC），消除全角/半角空格、零宽字符等隐形干扰。

五、格式转换与存储优化

训练框架（如Hugging Face Transformers、Unsloth）通常要求数据以流式JSONL或内存映射二进制格式加载。本步骤将清洗后的数据转为高效I/O格式，并生成配套索引，支撑大规模分布式训练。

1、将每条处理完毕的样本序列化为单行JSON，写入output.jsonl文件，禁用缩进与换行符。

2、使用datasets.load_dataset("json", data_files={"train": "output.jsonl"})加载并验证schema完整性。

3、调用dataset.train_test_split(test_size=0.05)划分训练集与验证集，保存至独立子目录。

4、对训练集执行tokenization，使用GPT-2 tokenizer将全部value拼接后映射为int64数组，写入train.bin二进制文件，供memmap直接读取。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~