auto-sync: 2026-04-29 20:08:33

2026-04-29 20:08:33 +08:00
parent 080c27d4d4
commit 03c638a9a0
3 changed files with 156 additions and 92 deletions
@@ -69373,3 +69373,5 @@ fatal: refusing to merge unrelated histories
 /bin/sh: ./management/sanguo_auto_sync/auto-sync.sh: No such file or directory
 /bin/sh: ./management/sanguo_auto_sync/auto-sync.sh: No such file or directory
 /bin/sh: ./management/sanguo_auto_sync/auto-sync.sh: No such file or directory
+/bin/sh: ./management/sanguo_auto_sync/auto-sync.sh: No such file or directory
+/bin/sh: ./management/sanguo_auto_sync/auto-sync.sh: No such file or directory
@@ -1,4 +1,4 @@
-# sanguo_vnpy 项目目录整理提案
+# sanguo_vnpy 项目目录整理提案（修订版）

 **提案人**: 姜维（平台总督）
 **日期**: 2026-04-29
@@ -6,113 +6,166 @@

 ---

-## 一、现状扫描
+## 一、项目定位理解

-| 目录 | 文件数 | 大小 | 现状评估 |
-|------|--------|------|---------|
-| archives/ | 4 | 90M | ⚠️ 含两个90M的旧Docker镜像tar + 过时pid文件 |
-| config/ | 21 | 84K | ✅ 成果物，NAS部署用的nginx+systemd配置 |
-| data/ | 1 | 8K | ✅ 成果物，quant_trading.db |
-| docker/ | 5 | 20K | ✅ 成果物，Dockerfile+entrypoint+requirements |
-| jiangwei-platform/ | 11 | 60K | ✅ 成果物，NAS部署脚本+模板+日志 |
-| logs/ | 8 | 32K | ⚠️ 历史调试日志，大部分无用 |
-| research/ | 39 | 360K | ⚠️ 混杂，有成果也有过程文件 |
-| scripts/ | 99 | 580K | ❌ **重灾区**：大量一次性修复/调试脚本 |
-| test/ | 88 | 772K | ❌ **重灾区**：大量重复测试脚本（v2/v3/v4/v5/v6） |
-| backup/ | 0 | 0 | 空目录 |
-| *.log（根目录） | 3 | 4.6M | ❌ 垃圾日志 |
+**sanguo_vnpy = 基于vnpy框架构建的三国量化全流程平台**

-**总计**：279个文件，其中约170+是一次性调试/修复脚本，需要清理
+### 核心目标
+基于vnpy开源框架进行适配，构建投研→策略开发→模拟→实盘的全流程量化交易平台。
+
+### 已完成的适配成果
+1. **vnpy 4.x 回测服务**：基于BacktestingEngine封装的API化回测服务（scripts/backtest-service/）
+2. **本地数据适配器**：vnpy_local_data_adapter.py，本地数据集成方案
+3. **Docker容器化部署**：Dockerfile + entrypoint.sh，NAS群晖Docker运行
+4. **NAS多用户架构**：config/（nginx+systemd），7个用户隔离配置
+5. **edict任务管理集成**：浅集成方案，看板可视化
+6. **自动化部署流程**：jiangwei-platform/deploy/nas/ 部署全流程脚本
+
+### 远期目标
+- 聚宽/QMT多风格兼容适配
+- 策略开发标准化流程
+- 模拟交易验证
+- 实盘交易接入

 ---

-## 二、分类判定
+## 二、现状分析

-### ✅ 保留（核心成果物）
+### 目录与文件统计

-| 目录 | 内容 | 保留理由 |
-|------|------|---------|
-| config/ | nginx(7) + systemd(14) | NAS多用户部署配置，直接使用 |
-| data/ | quant_trading.db | 回测数据库 |
-| docker/ | Dockerfile + entrypoint.sh + requirements | Docker镜像构建核心文件 |
-| jiangwei-platform/deploy/nas/ | 部署脚本+模板+日志+计划 | NAS部署全流程成果物 |
-
-### ⚠️ 需要整理（有价值的混杂在垃圾里）
-
-| 目录 | 保留 | 归档/清理 |
-|------|------|----------|
-| research/ | NAS部署报告(7)、vnpy调研报告(5)、jq文章分析(1) | 过程文件、临时爬虫脚本 |
-| scripts/backtest-service/ | 回测服务核心代码(9) → **这是最重要的成果物** | models.py.bak |
-| scripts/start_*.py | 3个启动脚本 | - |
-
-### ❌ 建议清理（垃圾/一次性文件）
-
-| 目录 | 文件数 | 说明 |
-|------|--------|------|
-| archives/ | 4 | 旧Docker镜像tar（90M）+ pid文件，已无用 |
-| test/backtest/ | 70 | 大量v2/v3/v4重复测试脚本，调试完成不再需要 |
-| test/rpc/ | 6 | RPC测试脚本，调试完成 |
-| scripts/deployment/ | 37 | 大量一次性修复/部署脚本 |
-| scripts/utils/ | 30 | 大量一次性检查/修复工具 |
-| scripts/verify/ | 2 | 验证脚本 |
-| logs/ | 8 | 历史日志 |
-| 根目录*.log | 3 | auto-sync日志(4.6M) |
-| backup/ | 0 | 空目录 |
+| 目录 | 文件数 | 大小 | 成果物？ | 说明 |
+|------|--------|------|---------|------|
+| `scripts/backtest-service/` | 9 | 核心 | ✅ | **回测服务核心代码**，vnpy 4.x适配 |
+| `scripts/start_*.py` | 3 | 核心 | ✅ | 启动脚本（RPC/Web/回测） |
+| `scripts/utils/` | 30 | 辅助 | ⚠️ | 数据适配器+调试工具混杂 |
+| `scripts/deployment/` | 37 | 辅助 | ⚠️ | 部署脚本（部分仍在用，部分过时） |
+| `scripts/verify/` | 2 | 辅助 | ⚠️ | 验证脚本 |
+| `docker/` | 5 | 核心 | ✅ | Dockerfile+entrypoint+requirements |
+| `config/` | 21 | 核心 | ✅ | NAS多用户nginx+systemd配置 |
+| `jiangwei-platform/deploy/` | 11 | 核心 | ✅ | NAS部署全流程（脚本+模板+文档） |
+| `research/` | 39 | 参考 | ⚠️ | 调研报告+过程文件混杂 |
+| `test/` | 88 | 调试 | ❌ | 大量v2/v3/v4重复测试脚本 |
+| `archives/` | 4 | 废弃 | ❌ | 旧Docker镜像tar(90M)+pid文件 |
+| `logs/` | 8 | 废弃 | ❌ | 历史调试日志 |
+| `backup/` | 0 | 空目录 | ❌ | 空目录 |
+| 根目录*.log | 3 | 废弃 | ❌ | auto-sync日志(4.6M) |
+| `data/` | 1 | 数据 | ✅ | quant_trading.db |

 ---

 ## 三、整理提案

-### 目标结构
+### 设计原则
+
+1. **面向vnpy适配开发**：目录结构要体现"基于vnpy构建"的定位
+2. **保留所有有价值成果物**：核心代码、配置、调研报告
+3. **只移动不删除**：清理的文件进archive/，保持原结构可追溯
+4. **不涉及NAS端**：只整理本地仓库
+
+### 目标目录结构

 ```
 sanguo_vnpy/
-├── README.md                          # 项目总说明（新建）
+├── README.md                          # 项目总说明（新建，描述项目定位和架构）
+│
 ├── docker/                            # Docker镜像构建
-│   ├── Dockerfile
-│   ├── entrypoint.sh
-│   └── requirements/
-├── scripts/
-│   ├── backtest-service/              # 🔥 回测服务核心代码（最重要）
-│   ├── start_backtest_service.py
-│   ├── start_rpc_server.py
-│   └── start_web_trader.py
-├── config/                            # NAS部署配置
-│   ├── nginx/
-│   └── systemd/
-├── jiangwei-platform/
-│   └── deploy/nas/                    # NAS部署全流程
-├── data/                              # 数据
-├── research/                          # 调研报告（整理后）
-│   ├── nas/                           # NAS部署相关调研
-│   ├── vnpy/                          # vnpy框架调研
-│   └── jq_essence_articles/           # 聚宽精华文章
-└── archive/                           # 归档（清理后的历史文件）
-    └── 2026-04-29-cleanup/            # 按日期归档
+│   ├── Dockerfile                     #   镜像定义
+│   ├── entrypoint.sh                  #   容器启动脚本（含pip自动安装）
+│   └── requirements/                  #   Python依赖
+│
+├── src/                               # 🔥 平台核心代码（新增顶层目录）
+│   ├── backtest-service/              #   vnpy 4.x回测服务（从scripts/提升）
+│   │   ├── main.py                    #     FastAPI入口
+│   │   ├── api.py                     #     API路由
+│   │   ├── executor.py                #     vnpy回测执行器
+│   │   ├── models.py                  #     数据模型
+│   │   ├── config.py                  #     配置
+│   │   ├── task_queue.py              #     任务队列
+│   │   └── result_storage.py          #     结果存储
+│   ├── adapters/                      #   vnpy适配层（从scripts/utils/提取）
+│   │   └── vnpy_local_data_adapter.py #     本地数据适配器
+│   └── scripts/                       #   启动脚本
+│       ├── start_backtest_service.py
+│       ├── start_rpc_server.py
+│       └── start_web_trader.py
+│
+├── config/                            # NAS部署配置（原位保留）
+│   ├── nginx/                         #   7个用户nginx配置
+│   └── systemd/                       #   14个systemd服务文件
+│
+├── deploy/                            # 部署相关（从jiangwei-platform/提升）
+│   └── nas/                           #   NAS部署全流程
+│       ├── create-user.sh
+│       ├── create-all-users.sh
+│       ├── generate-all-configs.sh
+│       ├── deploy-plan.md
+│       ├── deploy-log.md
+│       ├── port-allocation.md
+│       └── templates/
+│
+├── research/                          # 调研文档（清理后保留）
+│   ├── vnpy/                          #   vnpy框架调研
+│   │   ├── vnpy本地数据集成方案.md
+│   │   ├── edict集成完成总结.md
+│   │   ├── 服务使用说明文档.md
+│   │   ├── edict-adapter-scheme.md    # （从research/根目录移入）
+│   │   ├── 三国edict浅集成执行流程.md
+│   │   ├── 安装vnpy解决方案.md
+│   │   ├── 回测API_bug修复报告.md
+│   │   ├── final_fix_summary.md
+│   │   ├── 修复完成通知.md
+│   │   ├── 赵云数据转换指南.md
+│   │   └── final/                     # （从vnpy/删除空目录，保留现有文件）
+│   ├── nas/                           #   NAS部署调研
+│   ├── docker/                        #   Docker相关调研
+│   ├── jq_essence_articles/           #   聚宽精华文章
+│   └── webtrader/                     #   （从task-20260331重命名）
+│       ├── vnpy-webtrader-research-report.md
+│       └── nas-deployment-architecture-analysis.md
+│
+├── data/                              # 数据（原位保留）
+│
+├── archive/                           # 归档（新增，存放清理出的历史文件）
+│   └── 2026-04-29-cleanup/            #   按日期归档，保持原目录结构
+│       ├── test/                      #     88个测试脚本
+│       ├── scripts/deployment/        #     37个部署脚本
+│       ├── scripts/utils/             #     30个工具脚本（非核心的）
+│       ├── scripts/verify/            #     2个验证脚本
+│       ├── logs/                      #     历史日志
+│       └── research/                  #     过程文件
+│
+└── .gitignore                         # （更新，忽略*.log等）
 ```

 ### 操作清单

-| # | 操作 | 影响 | 风险 |
-|---|------|------|------|
-| 1 | 删除 `archives/`（90M旧镜像+pid） | 释放90M | 无 |
-| 2 | 删除根目录 `*.log`（4.6M同步日志） | 释放4.6M | 无 |
-| 3 | 删除 `logs/` 历史日志 | 释放32K | 无 |
-| 4 | 删除 `backup/` 空目录 | 0 | 无 |
-| 5 | 整理 `test/` → 归档到 `archive/2026-04-29-cleanup/test/` | 移动88个文件 | 低 |
-| 6 | 整理 `scripts/deployment/` → 归档 | 移动37个文件 | 低 |
-| 7 | 整理 `scripts/utils/` → 归档 | 移动30个文件 | 低 |
-| 8 | 整理 `scripts/verify/` → 归档 | 移动2个文件 | 低 |
-| 9 | 删除 `scripts/backtest-service/models.py.bak` | 删除1个文件 | 无 |
-| 10 | 清理 `research/` 中的过程文件 | 移动少量文件 | 低 |
-| 11 | 新建 `README.md` 项目总说明 | 新增1个文件 | 无 |
+| # | 操作 | 文件数 | 风险 | 说明 |
+|---|------|--------|------|------|
+| **1** | **新建 src/ 核心目录** | - | 无 | 体现vnpy适配开发结构 |
+| **2** | **scripts/backtest-service/ → src/backtest-service/** | 9 | 低 | 回测服务核心代码提升到src/ |
+| **3** | **scripts/utils/vnpy_local_data_adapter.py → src/adapters/** | 1 | 低 | 数据适配器归入适配层 |
+| **4** | **scripts/start_*.py → src/scripts/** | 3 | 低 | 启动脚本提升 |
+| **5** | **jiangwei-platform/deploy/ → deploy/** | 11 | 低 | 部署相关提升到顶层 |
+| **6** | **research/edict-adapter-scheme.md → research/vnpy/** | 1 | 无 | 归类到vnpy目录 |
+| **7** | **research/task-20260331-vnpy-webtrader-research/ → research/webtrader/** | 2 | 无 | 重命名为更清晰的名称 |
+| **8** | **test/ 全部 → archive/2026-04-29-cleanup/test/** | 88 | 低 | 重复测试脚本归档 |
+| **9** | **scripts/deployment/ → archive/** | 37 | 低 | 过时部署脚本归档 |
+| **10** | **scripts/utils/（非核心）→ archive/** | 29 | 低 | 保留vnpy_local_data_adapter.py后归档 |
+| **11** | **scripts/verify/ → archive/** | 2 | 低 | 验证脚本归档 |
+| **12** | **删除 archives/（旧镜像tar）** | 4 | 无 | 90M旧文件，已无用 |
+| **13** | **删除根目录 *.log + logs/** | 11 | 无 | 垃圾日志 |
+| **14** | **删除 backup/ 空目录** | 0 | 无 | 空目录 |
+| **15** | **删除 models.py.bak** | 1 | 无 | 备份文件 |
+| **16** | **新建 README.md** | 1 | 无 | 项目总说明 |
+| **17** | **更新 .gitignore** | 1 | 无 | 忽略*.log等 |

-### 原则
+### 关键说明

-1. **只清理不删除**：所有清理的文件移到 `archive/2026-04-29-cleanup/` 保持原有目录结构，万无一失
-2. **保留全部成果物**：核心代码、配置、调研报告全部原位保留
-3. **不涉及NAS端**：只整理本地仓库，NAS上的文件不受影响
-4. **整理后git提交**：一次清晰的commit记录
+1. **NAS端兼容**：NAS上挂载的是 `/volume1/stock/sanguo_vnpy/bt-service/` 和 `entrypoint.sh`，与本地 `scripts/backtest-service/` 是独立的两份。本地目录调整不影响NAS运行。但后续需要同步更新entrypoint.sh中的路径引用。
+
+2. **scripts/deployment/ 中的有用脚本**：`nas_manager.sh`、`copy_and_start.sh` 等可能仍在使用，整理时会检查并保留活跃脚本到 `deploy/` 目录。
+
+3. **研究文档保留策略**：research/下的文档按主题归入子目录（vnpy/nas/docker/webtrader/jq），删除散落在根目录的过程文件（如scrape脚本移到archive）。

 ---

@@ -120,12 +173,20 @@ sanguo_vnpy/

 | 指标 | 整理前 | 整理后 |
 |------|--------|--------|
-| 总文件数 | 279 | ~70 |
-| 根目录文件 | 4个log + 1个md | 1个README.md |
-| scripts/ | 99个（大量噪音） | ~12个（核心+启动脚本） |
-| test/ | 88个 | 0（全部归档） |
-| 磁盘占用 | ~95M | ~5M（归档另计） |
+| 总文件数 | 279 | ~80 |
+| 根目录内容 | 4个log + 1个md + 9个目录 | 1个README + 7个目录 |
+| 核心代码位置 | scripts/backtest-service/ | src/backtest-service/ |
+| 目录语义 | 混乱，大量调试噪音 | 清晰，体现vnpy适配开发定位 |
+| 磁盘占用 | ~95M | ~5M |

 ---

-**请确认是否同意此方案，确认后立即执行。**
+## 五、需要注意的点
+
+1. **git历史保留**：所有操作通过 `git mv` 执行，保留完整历史
+2. **NAS同步检查**：整理后确认auto-sync不会破坏NAS上的文件
+3. **README.md内容**：需要描述项目定位（基于vnpy的全流程量化平台）、已完成适配、架构设计、使用方法
+
+---
+
+**请确认是否同意此方案，或需要调整的地方。确认后立即执行。**
@@ -5779,5 +5779,6 @@



+