waynechang65/bot-api

API Server

🙋
I am Wayne, a director, a senior manager, an amateur software developer, a hacker, … and a curious person. In my spare time, I enjoy reading, playing games, watching japanese animation, programming, learning japanese language and try new things.	2718281828459045235360287471	3141592653589793

bot-api's Issues

初始化改進

目前是隨著Request進來後，檢查是否已初始化。若還沒初始化，即進行初始化。
不過，如果2個以上request進來，這時還沒初始化，就會演變成，2個都在初始化，看後初始化就win。理應系統執行之初就初始化一次，把Browser生成。接著後面再依request來生成各自page進行處理，處理完後再關掉該page。如果有任何exception發生，再重新初始化Browser才對。

PMC scrawler href error

抓資料時，有些時候網站href會自動加上Domain，所以造成重覆網址引發錯誤。
應該要判斷一下，抓到的資料是否自帶Domain，有自帶就不用加了。

不同的Request同時進來會造成抓資料錯誤

目前puppeteer的page只開一頁，所有request都在同一個page作事。當一個request進來後，立馬再接一個新的request時，舊的request會被打斷直接處理新的。
原因是：Page目前只開一頁
解法：理應動態隨著request進來啟動新的page做完後關閉。若一次10個request進來，就開10個pages同時處理，做完各自關掉，彼此不受干擾。