asoul/tsec

台灣上市上櫃股票爬蟲 Taiwan Stock Exchange Crawler

tsec's Issues

清除無效資料

Hello Asoul~
post_process.py 是不是考慮清除無效的資料
例如代號 2527 2016/5/31 的資料為 105/05/31,0,0,--,--,--,--,,0
您在參考看看

股票 3444 2018年07月13日 encode問題

當data有中文的時候（除息），就會出現這個樣子的error。
請問有沒有什麼encode方面的解決辦法呢？
而且我比較好奇的是為什麼會在price difference這個位置放“除息”的資料
然後我看到你在data這個folder裡面 3444.csv裡面直接是沒有了當天的資料，是不是你的try catch的部分有解決到這個問題呢？

UnicodeEncodeError: 'charmap' codec can't encode characters in position 52-53: character maps to <undefined>

各股票和指數怎麼會有 107/01/13 的交易資料？這天似乎沒有交易

證交所並沒有 107/01/13 的交易資料，查過各看盤軟體也都沒有這天的交易資料，這裡的資料庫卻有這天的交易資料。

twse 改版了 爬蟲要重寫了！

import requests
url = "http://www.twse.com.tw/exchangeReport/MI_INDEX?response=json&date=20170523&type=24&_=1495583462499"

response = requests.get(url)
改版後，從post變成get提出request，但需要回傳cookie
由於回傳值是json格式，經過分析，回傳內容中股價資料存在 json格式 中的 "data1":[["1437","勤益控","104,976"…]]

import json
data = json.loads(response.text)
print data.keys()
print data["data1"]
s = data["data1"]
type(s)
for item in s:
print item

for i in range(len(s)):
for j in range(len(s[1]):
print s[i][j]

invalid syntax on line 110 in crawl.py

I run the program crawl.py in Mac OS using Python3. Then I got the invalid syntax message as the followings:
$ python3 crawl.py
" File "crawl.py", line 110
print 'Crawling {}'.format(date_str)
^
SyntaxError: invalid syntax"

Also the same results on using python2

如何每日更新？

是每天跑一次
python crawl.py
嗎？

爬單檔股票

請問有辦法只爬單檔股票嗎？

Get EPS from tsec

Hi Asoul,

   Could I use tsec to get EPS of compnay (e.g. TSMC)?

Thanks in advance!

snowuyl