※ 引述《Sumiremywife (平安名堇我的婆)》之銘言
: 現在linkedin.com 防爬機制是不是超強啊。 怎麼做都會被擋 難道真的要購買代理池
嗎(
: 像是proxycurl)
: 問一下
: 我朋友在爬國外的資料庫
: 一直被擋
: 想問問看解法
→ surimodo : 領英查了一下不好爬應該是說 你朋友的數據量需求多大如果很大就是買代
理IP池 或者購買那種現成爬蟲方案很小 就小數據慢慢爬
我朋友目前是台大經濟系某教授助理
他老闆好像要他抓大概2萬筆資料要寫論文還是啥
我原本也跟他說
要不要請他花錢找代理
然後經費跟老闆報銷
然後
我朋友他老闆跟他說
要是你做不到這件事
那我也不用花錢請你了
點點點
原本我朋友入職以為只要寫一些簡單的爬蟲
試用期過後沒想到盡是幹些吃力不討好還違法的事情
我朋友在問說
有沒有推薦代理池廠商
尤其是對linkdin profile 服務好的代理池
因為有些廠商爬出來的資料不完整
萬一資料不完整一定被幹死