metspy's Introduction

Python metspy教程

Version: 0.1.10

Author: [email protected]

License: MIT

简介

metspy是一个可以爬取全球环境参数（AQI），包括PM2.5、NO2等，以及气象参数的Python包。 metspy基于Python3，依赖项包括：

socket
datetime
pathlib
bs4
requests
pickle
pandas
urllib
time

metspy由5个子模块组成：

config: 基础配置模块，伪装成浏览器进行数据爬取。如设置headers、设置socket连接时间。
initializer:
1. 初始化目标路径的dict，key为各个国家，value为各国对应的url。
1. 若路径存在，则加载对应pkl文件。
1. 将用户自定义下载路径的txt文件转换为所需的pkl格式。
spyder: 爬虫蜘蛛，最核心的模块。可选择用户自定义爬取模式或默认爬取模式进行；默认爬取模式还可以选择国家。
processor: 将爬取的records按站点保存成csv文件
dispatcher: 调度模块，也是所有程序的入口。主要功能：
1. 监听，从定义的时间开始到整点进行爬取
1. 选择用户自定义模式或默认模式
1. 结合调度其它模块，完成爬取。

开始

模块安装：在终端键入：

pip install metspy

简易运行

默认模式：自动爬取全球各个站点的数据，如果设置country_name参数则爬取指定国家。设置的运行小时为当日24小时制对应值的字符串。

from metspy.dispatcher import Dispatcher

def main():
	disp = Dispatcher(start_hour = "13")
	disp.deft_run(country_name = "China")

if __name__ == '__main__':
	main()

用户自定义模式：./static/user_url.txt中添加目标站点url，以回车间隔。该文件在初始化中自动生成。

from metspy.dispatcher import Dispatcher

def main():
	disp = Dispatcher(start_hour = "13")
	disp.cust_run("./static/urls.pkl")

if __name__ == '__main__':
	main()

结果保存在./records/目录下

metspy's People