抓取動態網頁產生的資料?

flyqie · 发表于 2019-4-26 15:42:39

wss://ethstats.net/primus/
是用websocket推送数据的

ghost · 发表于 2019-4-26 17:17:43

我試了一個可以連 websocket 的工具,發現 server 端會一直送資料過來,連線根本不會斷.
但我只是要抓第一行的資料..
我想我只好再找別的有提供同樣資料的網頁試好了...

似毛非毛 · 发表于 2019-4-26 18:14:08

网页接受的就是那些不断地数据吧。然后js处理。再显示出来，。我看接受的数据有number一项。。你要的可能是要收集然后统计出来的。。

ghost · 发表于 2019-4-30 14:01:08

後來用 websocket 取得特定欄位資料與透過一般網頁擷取資料兩種方式都試出來了.
websocket 是透過 jq 去抓指定的 json 資料欄位,然後再切斷連線.
不過試了以後,用 websocket + jq 取資料要超過 0.5 秒,有時甚至超過 1 秒,
抓取另一個網頁上的指定字串只要 0.2 秒以內.
所以就不用 websocket 的連線取得資料了

		自动登录	找回密码
密码			注册

[Windows VPS] 抓取動態網頁產生的資料?

点评

点评