如何快速搜索大量网页? - Programming版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - 如何快速搜索大量网页?

相关主题
● 如何测试一个网站能同时容纳的最高在线连接	● 运算量较大的web service找哪个VPS？还是自己弄个服务器？
● Google App Engine	● 我说一句,感觉这里的人有些瞧不起国内的程序员
● 谁能科普一下Azure对小公司，创业有没有潜在的帮助？	● 史上最全！57个Web框架4轮横向对比 (zz)
● any cloud computing daniu? some baozi for help.	● 真神，原来amazon cloud的底层就是soa架构
● 有没有什么介绍云计算的书	● baidu offers services similar to EC2 ?
● D3這server到底有啥難度？這麼不stable？？ (转载)	● Amazon EC2 Q: what's the source ip for security group ?
● 怎么自学cloud/big data programming	● 我准备去开一个aws帐户了
● looking for a technical partner (part-time)	● 我老说说魏老师为啥扯谈吧

相关话题的讨论汇总
话题: 网页话题: 快速话题: 扫描话题: 一页话题: 电脑

进入Programming版参与讨论

1

(共1页)

b******t 发帖数: 4	1 比如一小时扫描１百万网页在家用计算个网络条件下（几台电脑和２０兆带宽）。。
v*******e 发帖数: 11604	2 写高级病毒，感染网络上别的电脑，让它们帮忙一起扫描。【在 b******t 的大作中提到】 : 比如一小时扫描１百万网页在家用计算个网络条件下（几台电脑和２０兆带宽）。。
p**r 发帖数: 5853	3 可能性不大，就算你算法写得好，或者被扫描的网页极其简单。 server response time也有个lag，一百万网页，平均36ms一页，不可能。我一台电脑扫2万个网页还扫了3个多小时。
S*A 发帖数: 7142	4 你要扫东西的话，可以去Amazon EC2 开多几个instance来扫。速度快容易 scale up。当然最后数据来拿出来费点钱，可以用邮硬盘服务。家里扫一个 IP 很容易被 BAN。
l******t 发帖数: 55733	5 没代理50ms一页走代理200ms一页
g*******t 发帖数: 7704	6 为啥要快速？

1

(共1页)

进入Programming版参与讨论

相关主题
● 我老说说魏老师为啥扯谈吧	● 有没有什么介绍云计算的书
● 这事情可以到此为止了	● D3這server到底有啥難度？這麼不stable？？ (转载)
● goodbug短短6行代码7个常识错误	● 怎么自学cloud/big data programming
● 春运系统的一个方案(ZT)请大家点评	● looking for a technical partner (part-time)
● 如何测试一个网站能同时容纳的最高在线连接	● 运算量较大的web service找哪个VPS？还是自己弄个服务器？
● Google App Engine	● 我说一句,感觉这里的人有些瞧不起国内的程序员
● 谁能科普一下Azure对小公司，创业有没有潜在的帮助？	● 史上最全！57个Web框架4轮横向对比 (zz)
● any cloud computing daniu? some baozi for help.	● 真神，原来amazon cloud的底层就是soa架构

相关话题的讨论汇总
话题: 网页话题: 快速话题: 扫描话题: 一页话题: 电脑

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)