`
hipeace87
  • 浏览: 170357 次
  • 性别: Icon_minigender_1
  • 来自: 山东菏泽
社区版块
存档分类
最新评论

HttpWebRequest采集(三)多任务+多线程 web采集

阅读更多

一般情况下在采集时,单个线程的工作速度是相当的慢的。对于大量数据的采集中采集多任务+多线程的方式显得尤其重要。

这里晒下我的一个多任务+多线程的代码类图。

  因最近比较忙,代码也刚写一部分,还需完善,就先不发源码出来。



 对于有些加了IP限制的网站,我们只有使用代理来对付,所以要先准备N多个快速的HTTP代理了

  代理中国上每天都有更新,不过要想找到很快的代理还真不容易。

 

此结构仅供参考,大家有好的建议欢迎拍砖  技术交流群:199703615

  • 大小: 59.9 KB
0
0
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics