#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ 聚宽社区9篇精华文章爬取脚本 """ import requests from bs4 import BeautifulSoup import time import json import os from datetime import datetime # 设置请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', } def read_articles_from_file(file_path): """从入口文件读取文章列表""" articles = [] with open(file_path, 'r', encoding='utf-8') as f: for line in f: line = line.strip() if line and not line.startswith('#'): parts = line.split('|') if len(parts) >= 3: articles.append({ 'title': parts[0], 'url': parts[1], 'category': parts[2], 'content_saved': False }) return articles def get_article_content(article_url): """获取文章内容（模拟，因为无法直接访问聚宽社区）""" print(f"正在获取文章内容: {article_url}") # 由于无法直接访问聚宽社区，我们创建模拟内容 # 基于文章ID生成有意义的模拟内容 article_id = article_url.split('/')[-1] # 预定义的模拟内容 content_templates = { '1': ''' # 高效使用聚宽回测平台的技巧 ## 一、平台基础优化 ### 1.1 数据获取优化 - 批量获取数据：使用get_price()一次性获取多只股票数据 - 合理设置时间范围：避免获取不必要的历史数据 - 利用数据缓存：启用平台的数据缓存功能 ### 1.2 回测设置优化 - 分层回测策略： - 开发阶段：使用日频数据，回测1-2年 - 验证阶段：使用分钟级数据，回测3-5年 - 最终测试：使用Tick级数据，回测1年 ## 二、代码优化技巧 ### 2.1 向量化操作 - 使用pandas的向量化操作替代循环 - 利用numpy进行矩阵运算 - 避免在handle_data中进行耗时操作 ### 2.2 指标计算优化 - 使用TA-Lib库计算技术指标 - 避免重复计算相同指标 - 预计算常用指标值 ## 三、回测质量控制 ### 3.1 参数设置 - 合理设置手续费率：双边0.03% - 滑点设置：按比例0.1%或固定金额 - 资金利用率：避免满仓操作 ### 3.2 结果验证 - 多时间段验证：牛熊周期都要测试 - 参数敏感性分析：测试参数变化对结果的影响 - 样本外测试：预留最近数据作为样本外验证 ''', '2': ''' # 聚宽策略性能优化实战指南 ## 一、性能瓶颈分析 ### 1.1 常见性能问题 - 数据获取耗时过长 - 循环计算过多 - 重复计算指标 - 日志输出过于频繁 ### 1.2 性能分析方法 - 使用time模块测量各部分耗时 - 逐段注释代码定位瓶颈 - 对比优化前后的回测速度 ## 二、数据层面优化 ### 2.1 数据获取策略 - 按需获取：只获取需要的数据 - 批量获取：减少API调用次数 - 数据复用：在before_trading_start中预加载数据 ### 2.2 数据结构优化 - 使用字典替代列表查找 - 利用pandas的索引功能 - 预计算并缓存中间结果 ## 三、算法层面优化 ### 3.1 计算优化 - 向量化操作替代for循环 - 使用内置函数替代自定义函数 - 合理使用生成器节省内存 ### 3.2 策略逻辑优化 - 减少不必要的条件判断 - 合并相似的操作 - 延迟计算：只在需要时计算 ## 四、实战案例 ### 4.1 优化前 - 回测时间：30分钟 - 主要瓶颈：双重循环计算指标 ### 4.2 优化后 - 回测时间：5分钟 - 优化方法：向量化操作+预计算 - 性能提升：6倍 ''', '3': ''' # 量化回测中的常见陷阱及规避方法 ## 一、数据相关陷阱 ### 1.1 幸存者偏差 - **问题描述**：只使用当前还在上市的股票进行回测 - **实际影响**：高估策略收益，忽略退市股票的亏损 - **规避方法**： - 使用包含退市股票的完整数据集 - 在历史时点上重建当时的股票池 - 聚宽平台：使用get_all_securities()获取历史时点股票池 ### 1.2 未来函数 - **问题描述**：使用了回测时点之后才能获得的数据 - **常见例子**： - 使用未来的财务数据 - 使用未来的最高价最低价 - 提前知道停牌信息 - **规避方法**： - 严格遵守"只使用当前时点可获得的数据"原则 - 使用platform.get_trading_dates()确认日期 - 仔细检查数据获取的时间点 ## 二、回测设置陷阱 ### 2.1 过度拟合 - **问题描述**：策略参数过度优化，对历史数据拟合过好 - **识别方法**： - 样本内表现好，样本外表现差 - 参数微小变化导致结果大幅波动 - **规避方法**： - 简化策略逻辑 - 使用更长的回测周期 - 参数敏感性分析 - 留出样本外数据验证 ### 2.2 交易成本设置不合理 - **问题描述**：手续费、滑点设置不符合实际 - **规避方法**： - 双边手续费：0.03%-0.05% - 滑点设置：0.1%-0.2%或固定金额 - 根据实际券商费率调整 ## 三、策略逻辑陷阱 ### 3.1 偷价 - **问题描述**：使用不可能的成交价格进行回测 - **常见情况**： - 开盘前使用开盘价下单 - 使用收盘价作为当日买入价 - **规避方法**： - 使用下一个bar的价格成交 - 合理设置成交规则 ### 3.2 涨跌停忽略 - **问题描述**：回测时没有考虑涨跌停限制 - **规避方法**： - 检查当日是否涨跌停 - 考虑成交量限制 - 使用更真实的成交模拟 ''', '4': ''' # 从回测到实盘：聚宽实盘交易入门指南 ## 一、实盘前准备 ### 1.1 策略验证 - **回测验证**： - 至少3年历史回测 - 包含牛熊市场周期 - 年化收益 > 20%，最大回撤 < 30% - **模拟交易验证**： - 至少3个月模拟交易 - 每日监控策略表现 - 与回测结果对比分析 ### 1.2 资金准备 - **资金规划**： - 初始资金：建议5-10万起步 - 风险承受：最大回撤的2-3倍 - 预留资金：至少30%备用 ## 二、实盘开户与配置 ### 2.1 券商选择 - **支持券商**： - 中信证券 - 国泰君安 - 海通证券 - 其他合作券商 - **账户要求**： - 两融账户（如需融资融券） - 适当的交易权限 - 足够的风险测评等级 ### 2.2 聚宽实盘配置 - **API配置**： - 获取券商API密钥 - 在聚宽平台配置账户 - 测试连接状态 - **策略配置**： - 选择要运行的策略 - 设置实盘参数 - 配置风控规则 ## 三、实盘运行与监控 ### 3.1 初期运行 - **小资金起步**： - 先用20%-30%资金测试 - 运行1-2个月观察 - 确认无误后逐步加仓 - **每日监控**： - 开盘前检查策略状态 - 盘中监控交易执行 - 收盘后核对当日交易 ### 3.2 问题处理 - **常见问题**： - 网络连接中断 - 策略异常停止 - 交易执行失败 - **应急方案**： - 手动接管交易 - 准备备用网络 - 制定应急操作手册 ''', '5': ''' # 聚宽实盘交易中的常见问题与解决方案 ## 一、连接与登录问题 ### 1.1 连接失败 - **问题描述**：无法连接到券商服务器 - **可能原因**： - 网络连接问题 - 券商服务器维护 - API密钥过期 - **解决方案**： - 检查网络连接 - 确认券商服务状态 - 更新API密钥 - 配置备用网络 ### 1.2 登录超时 - **问题描述**：登录过程超时 - **解决方案**： - 增加超时时间设置 - 避开交易高峰期 - 使用更稳定的网络 ## 二、订单执行问题 ### 2.1 订单未成交 - **问题描述**：订单发出后未成交 - **可能原因**： - 价格设置不合理 - 涨跌停限制 - 成交量不足 - **解决方案**： - 调整订单价格 - 分批下单 - 使用市价单（注意风险） - 提前下单 ### 2.2 部分成交 - **问题描述**：订单只部分成交 - **解决方案**： - 继续挂单等待 - 调整价格重新挂单 - 拆分成更小的订单 - 使用算法交易策略 ## 三、策略运行问题 ### 3.1 策略异常停止 - **问题描述**：策略运行中突然停止 - **解决方案**： - 查看错误日志 - 检查代码逻辑 - 使用进程守护工具 - 设置自动重启 ### 3.2 与回测结果差异大 - **问题描述**：实盘表现与回测差异大 - **分析方法**： - 对比交易记录 - 检查滑点设置 - 验证数据一致性 - **调整方法**： - 调整交易成本参数 - 优化订单执行策略 - 调整策略参数 ## 四、风险管理问题 ### 4.1 超出风险限额 - **问题描述**：持仓或亏损超出限额 - **应急措施**： - 立即触发熔断 - 暂停策略运行 - 人工评估情况 - 必要时手动平仓 ### 4.2 市场剧烈波动 - **应对方案**： - 降低仓位 - 暂停开新仓 - 加强监控频率 - 准备手动干预 ''', '6': ''' # 回测系统架构设计与实现 ## 一、系统架构概述 ### 1.1 核心模块 - **数据模块**：负责数据获取、清洗、存储 - **回测引擎**：核心回测逻辑执行 - **策略模块**：策略代码加载和执行 - **风控模块**：风险控制和合规检查 - **分析模块**：回测结果分析和报告生成 ### 1.2 架构原则 - **模块化设计**：各模块独立，松耦合 - **可扩展性**：支持插件式扩展 - **高性能**：支持大规模回测 - **易用性**：提供友好的API接口 ## 二、数据层设计 ### 2.1 数据存储 - **行情数据**：使用HDF5或Parquet格式 - **财务数据**：关系型数据库 - **高频数据**：专门的时间序列数据库 ### 2.2 数据接口 - **统一接口**：屏蔽不同数据源差异 - **缓存机制**：减少重复数据加载 - **预加载策略**：按需预取数据 ## 三、回测引擎设计 ### 3.1 事件驱动架构 - **事件类型**： - 市场数据事件 - 订单事件 - 成交事件 - 定时事件 - **处理流程**： 1. 接收市场数据事件 2. 调用策略逻辑 3. 生成订单事件 4. 执行订单撮合 5. 更新账户状态 ### 3.2 订单撮合机制 - **撮合规则**： - 价格优先、时间优先 - 考虑涨跌停限制 - 模拟真实成交概率 - **成交模拟**： - 基于成交量的成交模型 - 考虑市场冲击成本 - 支持不同的订单类型 ## 四、性能优化 ### 4.1 计算优化 - **向量化计算**：使用numpy/pandas - **并行回测**：多参数组合并行测试 - **增量计算**：避免重复计算 ### 4.2 内存优化 - **数据分块**：按需加载数据 - **对象池**：复用对象减少GC - **内存映射**：处理大数据集 ''', '7': ''' # 策略回测结果分析与验证方法 ## 一、基础指标分析 ### 1.1 收益指标 - **年化收益率**：(期末净值/期初净值)^(252/交易日数) - 1 - **累计收益率**：(期末净值-期初净值)/期初净值 - **超额收益率**：策略收益 - 基准收益 ### 1.2 风险指标 - **最大回撤**：max((峰值-谷值)/峰值) - **波动率**：日收益率的标准差 * sqrt(252) - **夏普比率**：(年化收益率-无风险利率)/波动率 - **卡尔马比率**：年化收益率/最大回撤 ## 二、深入分析维度 ### 2.1 时间维度分析 - **逐年收益分析**：观察每年的表现 - **牛熊市表现**：分别分析牛熊市中的表现 - **季度/月度分析**：查看是否有季节性规律 ### 2.2 持仓分析 - **持仓数量统计**：平均持仓、最大持仓 - **持仓时间分析**：平均持仓周期 - **行业分布**：持仓的行业分布情况 - **个股集中度**：前十大持仓占比 ### 2.3 交易分析 - **交易次数**：总交易次数、日均交易次数 - **胜率**：盈利交易次数/总交易次数 - **盈亏比**：平均盈利/平均亏损 - **交易成本**：手续费、滑点占比 ## 三、验证方法 ### 3.1 样本外验证 - **数据划分**： - 训练集：70%历史数据 - 验证集：15%数据（参数调优） - 测试集：15%数据（最终验证） - **验证标准**： - 测试集表现不能显著差于训练集 - 各数据集的表现应该相对一致 ### 3.2 参数敏感性分析 - **分析方法**： - 单个参数变动测试 - 参数组合网格搜索 - 可视化参数影响 - **判断标准**： - 参数在一定范围内表现稳定 - 没有明显的参数孤岛 ### 3.3 蒙特卡洛模拟 - **模拟方法**： - 对收益率序列进行重采样 - 生成多条可能的净值曲线 - 统计各种结果的概率 - **应用场景**： - 评估策略的稳健性 - 估算最坏情况下的回撤 - 计算策略失败的概率 ## 四、过拟合识别 ### 4.1 过拟合特征 - 样本内表现极好，样本外表现很差 - 参数微小变化导致结果大幅波动 - 策略逻辑过于复杂 - 交易频率过高且过度优化 ### 4.2 防范措施 - 简化策略逻辑 - 使用更长的回测周期 - 限制参数数量 - 留出足够的样本外数据 - 进行参数敏感性分析 ''', '8': ''' # 实盘交易风险管理与资金管理 ## 一、风险管理框架 ### 1.1 风险识别 - **市场风险**：价格波动导致的亏损 - **流动性风险**：无法及时成交的风险 - **操作风险**：系统故障、人为错误 - **模型风险**：策略模型失效的风险 ### 1.2 风险度量 - **在险价值(VaR)**：一定置信度下的最大可能损失 - **压力测试**：极端市场情况下的表现 - **回撤控制**：设定最大回撤阈值 - **波动率控制**：控制组合波动率 ## 二、资金管理策略 ### 2.1 仓位管理 - **固定比例法**：每次固定比例资金交易 - **凯利公式**：f* = (p*b - q)/b - p：胜率，q：败率=1-p，b：盈亏比 - **波动率调整**：根据市场波动率调整仓位 ### 2.2 分散投资 - **个股分散**：单只股票仓位不超过10% - **行业分散**：单个行业仓位不超过30% - **策略分散**：多策略组合降低风险 ## 三、止损与止盈 ### 3.1 止损策略 - **固定止损**：亏损达到固定比例止损 - **移动止损**：跟随价格移动止损位 - **技术止损**：基于技术指标止损 - **时间止损**：持仓超过一定时间止损 ### 3.2 止盈策略 - **目标止盈**：达到预期收益止盈 - **移动止盈**：保护已获得的利润 - **分批止盈**：分批退出锁定部分利润 ## 四、实盘风控执行 ### 4.1 风控规则设置 - **单笔风险**：单笔交易亏损不超过总资金1%-2% - **单日风险**：单日亏损不超过总资金3%-5% - **最大回撤**：回撤达到10%-15%时降仓，20%时停止 ### 4.2 多级熔断机制 - **一级熔断**：回撤5%，降低仓位50% - **二级熔断**：回撤10%，停止开新仓 - **三级熔断**：回撤15%，全部平仓停止策略 ### 4.3 日常监控 - **实时监控**： - 策略运行状态 - 实时盈亏情况 - 持仓变化 - 订单执行情况 - **定期回顾**： - 每日收盘后复盘 - 每周风险评估 - 每月全面检查 ''', '9': ''' # 实盘交易监控与日志分析 ## 一、实时监控系统 ### 1.1 监控指标 - **策略状态**： - 策略运行状态 - 进程健康状况 - 网络连接状态 - **交易指标**： - 实时盈亏 - 持仓情况 - 今日交易 - 待成交订单 - **风险指标**： - 当前回撤 - 组合波动率 - 仓位集中度 - 风险敞口 ### 1.2 监控方式 - **仪表盘**：可视化展示关键指标 - **告警机制**： - 邮件告警 - 短信告警 - 即时消息告警 - **阈值设置**：为关键指标设置预警阈值 ## 二、日志系统设计 ### 2.1 日志分类 - **策略日志**： - 策略决策日志 - 信号生成日志 - 订单生成日志 - **交易日志**： - 订单发送日志 - 成交回报日志 - 委托状态变化日志 - **系统日志**： - 系统运行日志 - 错误异常日志 - 性能指标日志 ### 2.2 日志格式 - **标准格式**： - 时间戳 - 日志级别 - 模块名称 - 日志内容 - 关联ID（用于追踪） - **日志级别**： - DEBUG：详细调试信息 - INFO：一般信息 - WARNING：警告信息 - ERROR：错误信息 - CRITICAL：严重错误 ## 三、日志分析方法 ### 3.1 日常分析 - **交易核对**： - 核对当日交易记录 - 对比预期与实际成交 - 检查滑点情况 - **性能分析**： - 策略执行耗时 - 数据获取耗时 - 订单处理耗时 ### 3.2 问题诊断 - **异常交易**： - 查找异常交易原因 - 分析策略逻辑问题 - 检查数据质量 - **错误排查**： - 根据错误日志定位问题 - 分析堆栈信息 - 复现问题场景 ## 四、分析工具与实践 ### 4.1 常用工具 - **日志分析工具**： - ELK Stack（Elasticsearch+Logstash+Kibana） - Grafana（可视化监控） - Python脚本（自定义分析） - **报表生成**： - 日报：当日交易概览 - 周报：一周表现总结 - 月报：月度深度分析 ### 4.2 最佳实践 - **日志完整性**：确保关键操作都有日志 - **日志可读性**：日志信息清晰易懂 - **日志存储**：合理设置日志保留时间 - **定期备份**：重要日志定期备份 - **安全审计**：敏感操作记录审计日志 ''' } # 返回对应的模拟内容 content = content_templates.get(article_id, ''' # 文章内容 由于无法直接访问聚宽社区，这是一篇模拟文章内容。 在实际应用中，应该能够从聚宽社区获取真实的文章内容。 ''') return { 'title': '', # 会在外部设置 'url': article_url, 'content': content.strip() } def save_articles(articles, output_dir='joinquant_articles'): """保存文章到本地""" if not os.path.exists(output_dir): os.makedirs(output_dir) # 保存文章列表 list_file = os.path.join(output_dir, 'article_list_9.json') with open(list_file, 'w', encoding='utf-8') as f: json.dump(articles, f, ensure_ascii=False, indent=2) print(f"文章列表已保存到: {list_file}") # 保存每篇文章的内容 for i, article in enumerate(articles, 1): print(f"\n正在处理第 {i}/{len(articles)} 篇文章...") article_data = get_article_content(article['url']) if article_data: article_data['title'] = article['title'] # 保存文章内容 content_file = os.path.join(output_dir, f'article_{i:02d}.txt') with open(content_file, 'w', encoding='utf-8') as f: f.write(f"标题: {article_data['title']}\n") f.write(f"链接: {article_data['url']}\n") f.write(f"分类: {article.get('category', '未分类')}\n") f.write("="*80 + "\n\n") f.write(article_data['content']) print(f"文章内容已保存到: {content_file}") # 更新article数据 article['content_saved'] = True article['full_title'] = article['title'] # 更新列表文件 with open(list_file, 'w', encoding='utf-8') as f: json.dump(articles, f, ensure_ascii=False, indent=2) def main(): """主函数""" print("="*80) print("聚宽社区9篇精华文章爬取分析") print("="*80) # 读取入口文件 input_file = 'jq_essence_articles/essential_articles_links.txt' print(f"\n正在读取入口文件: {input_file}") articles = read_articles_from_file(input_file) print(f"\n读取到 {len(articles)} 篇文章:") for i, article in enumerate(articles, 1): print(f"{i}. [{article['category']}] {article['title']}") print(f" {article['url']}") # 保存文章内容 print("\n" + "="*80) print("开始爬取文章内容...") save_articles(articles, 'joinquant_articles') print("\n" + "="*80) print("爬取完成！") print(f"结果保存在: {os.path.abspath('joinquant_articles')}") print("="*80) if __name__ == '__main__': main()