cfdailyzhaoyun-data - 赵云数据工程工作区
🧮 负责人：赵云（数据工程将军）
依据：AGENTS.md角色配置
职责：数据获取、清洗验证、质量检查
状态：按照workflow-rules.md标准结构完成融合
📁 目录结构（符合workflow-rules.md标准）
research/ - 调研报告目录
- 数据工程相关调研任务报告
- 按任务日期和描述组织
- 当前：暂无调研任务，待诸葛亮军师分配
scripts/ - 数据处理脚本
- data_acquisition/ - 数据获取脚本（批量下载器等）
- data_cleaning/ - 数据清洗脚本（待补充）
- data_validation/ - 数据验证脚本（适配器测试等）
- data_quality/ - 质量检查脚本（待补充）
- common_tools/ - 通用工具（AKShare-vnPy适配器等）
data/ - 数据存储目录
- raw/ - 原始数据（文章链接等）
- processed/ - 处理后的数据（聚宽精华文章数据等）
- running_data/ - 运行数据（测试数据库等）
reports/ - 报告文档
- 数据工程工作报告
- 任务完成报告
- 技术文档和说明
references/ - 参考资料链接
- 链接到通用知识库
- 外部资源参考链接
- 当前：待补充
✅ 融合成果总结
已完成的核心数据工程成果
1. 聚宽精华文章数据处理
- 数据规模：11篇核心技术文章完整数据
- 技术深度：每篇超过500字深度技术分析
- 存储位置：
data/processed/jq_essence_articles/
2. 数据获取与处理工具
- 批量下载器：
scripts/data_acquisition/batch_downloader.py - 适配器测试：
scripts/data_validation/test_adapter.py - 数据转换工具：
scripts/common_tools/akshare_vnpy_adapter.py
3. 数据资源库
- 原始数据：聚宽文章链接库（
data/raw/articles_links.csv） - 处理数据：结构化聚宽文章数据
- 运行数据：测试数据库（
data/running_data/database_test.db）
4. 技术文档与报告
- 实施报告：数据工程实施详细报告
- 验证报告：数据质量验证报告
- 任务报告：已完成任务总结报告
🎯 工作流程（依据workflow-rules.md）
独立任务流程
诸葛亮军师分配任务 → 赵云执行 → 成果提交到对应目录 → 诸葛亮审核 → 归档
协作任务流程
确定主导将军 → 主导将军建协作目录 → 赵云提交数据工程成果 → 主导将军整合 → 交付
赵云数据工程流程
- 数据获取：使用
data_acquisition/脚本获取原始数据 - 数据清洗：使用
data_cleaning/脚本处理数据质量问题 - 数据验证：使用
data_validation/脚本验证数据准确性 - 质量检查：使用
data_quality/脚本监控数据质量 - 存储归档：将数据存储到
data/相应子目录
🔧 当前可用资源
数据资源
- 聚宽文章库：11篇核心技术文章完整数据
- 文章链接库：完整的聚宽文章索引
- 测试数据库：数据工程测试环境
工具资源
- 数据获取工具：支持批量下载和断点续传
- 数据验证工具：确保数据质量和一致性
- 数据转换工具：支持不同数据源格式统一
文档资源
- 技术文档：详细的数据处理方法说明
- 工作报告：完整的任务执行记录
- 参考指南：数据工程最佳实践
📊 质量保证
数据质量标准
- 完整性：确保数据字段无缺失
- 准确性：验证数据值准确无误
- 一致性：保持数据格式统一
- 时效性：及时更新数据资源
- 可靠性：确保数据来源和处理可追溯
代码质量标准
- 规范标准：Python代码符合PEP8规范
- 文档完整：关键逻辑有详细注释
- 错误处理：完善的异常处理机制
- 可维护性：清晰的代码结构和模块化设计
🔄 协作与沟通
任务接收方式
- 诸葛亮军师通过
sessions_send直接分配任务 - 及时确认任务要求和完成标准
成果提交方式
- 独立任务：成果提交到赵云工作区对应目录
- 协作任务：成果提交到主导将军的协作目录
- 文档标准：重要文档及时更新，保持同步
沟通机制
- 重要事项及时通知相关方
- 定期更新工作进展状态
- 使用统一的知识库共享资源
赵云承诺：将严格按照AGENTS.md职责和工作流规则，高质量完成数据工程任务，为三国量化项目提供坚实的数据基础！🧮
常山赵子龙，数据工程工作区已按照标准完成融合，随时准备执行任务！