用于爬取谷歌关键词搜索的url,便于红队,src等快速提取
使用方式:
源码直接运行需要解决:
go的环境,当出现下面的报错
go: go.mod file not found in current directory or any parent directory; see 'go help modules'
运行:
go env -w GO111MODULE=on
go mod init xxx //xxx代表文件名
可以直接编译:go build -o crawl_urls.exe url.go
直接使用exe文件:
直接找到文件存储目录运行cmd输入:Google_searchurl.exe
这里可以设置你的爬取数量和代理,这里代理默认是http的,也可以设置socks5