doncat99/zvt

Stock Market Data Fetching Project（US/China）

Read this in other languages: English.

ZVT 源項目地址：https://github.com/zvtvz/zvt

本项目改进点包括：

• 增加postgresql数据库支持，允许远程数据访问，实现微服务器数据爬虫与GPU模型训练工作站逻辑分离。
• 统一http访问入口，增加Session与请求重试逻辑（后续可通过RxPy实现响应式编程的异步模式）。
• 增加多进程数据请求逻辑，允许数据并发请求，加快数据获取。
• 增加数据爬取进度展示。
• 增加joinquant账号切换功能 (被封号，代码保留但注释了，Todo：Mac地址替换和ip池)。
• 增加log信息从控制台输出改为写文件记录。
• 增加美股数据拉取功能（分库分表）。
• 增加不同区域股市时区功能。
• 修正增量数据请求的计算逻辑（原作者的 evaluate_start_end_size_timestamps() 有较大逻辑漏洞，导致重复请求较多数据）。
• 修正800w单表数据下query.all()的数据库内存缓存溢出改写文件问题（增加window_query功能）。
• 修正一些逻辑漏洞。

为管控界面信息输出，需要对jqdatasdk项目进行部分修改，详见：https://github.com/doncat99/jqdatasdk 为加速数据下载体验，需要对yfinance项目进行部分修改，详见：https://github.com/doncat99/yfinance

python3.8在多进程处理上有较大改动与提升，建议使用python 3.8版本运行本项目。

界面如图：

zvt's Issues

项目情况咨询

作者您好，
想问一下，目前的程序默认还是使用原有zvt的sqlite3吗，还是已经默认使用pg了。使用作者的程序能直接使用原有zvt的数据库内的数据吗？