由买买提看人间百态
登录
首页
论坛
未名存档
话题女王
小圈子
马甲追踪
版面排名
流量曲线
水枪排名
发帖量曲线
发帖版面饼图
发帖时间柱图
关于本站
帮助
boards
本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字
访问原贴
Programming版
- 问个用php抓网页的问题
相关主题
●
Re: USER_AGENT: python-requests/2.18.4
●
问个HTML DOM JavaScript相关的问题
●
问一个用R抓网上数据,抓下来的和网页不一致
●
用python urlopen 抓mitbbs页面的问题
●
what will happen if user disable JavaScript?
●
问java applet的问题
●
有谁可以帮忙写个小小小软件
●
在带有ajax的页面做screen scrape
●
问个perl Mechanize问题
●
Cannot recvfrom() on ipv6, HELP!
●
问个web page manipulation的问题
●
问一下关于http persistent connection的问题
●
问个UI的问题
●
关于http keep-alive的一个问题
●
问个Python问题
●
wwzz请进
相关话题的讨论汇总
话题: 网页
话题: 抓下来
话题: php
话题: source
话题: 问个
进入Programming版参与讨论
1
(共1页)
p*******t
发帖数: 501
1
我想从下面这个网站抓网页:
http://community.giffgaff.com/
但是发现,从浏览器窗口看到的网页和source code,跟我用php抓下来的网页和source
code不一样,而且有比较大的区别。请问有什么比较简单的方法能把网页原样抓下来
么?
比如说这个网页:
http://community.giffgaff.com/t5/user/viewprofilepage/user-id/9
抓下来的和browser里面看到的就不一样
d****y
发帖数: 910
2
这个是网站的自身设置(可以是web服务器的设置也可以是页面代码方面的设置等等)。
http://web-sniffer.net/
在这里输入你说的页面,如果选择user agent是Firefox的话,你可以看到所有HTML;如果是某个不知名的user agent,例如web-sniffer,就会返回一个HTTP 302跳转,让你什么也抓不到。
所以你自己用PHP写代码的话,HTTP请求的user agent要手工改成某个流行的浏览器的。
网站方面这个做法主要是为了阻止机器人、阻止spam attack等等。
1
(共1页)
进入Programming版参与讨论
相关主题
●
wwzz请进
●
问个perl Mechanize问题
●
一个较难的pythpn输出函数运行信息的project.
●
问个web page manipulation的问题
●
这种问题该怎么编程处理
●
问个UI的问题
●
good C++ open source project?
●
问个Python问题
●
Re: USER_AGENT: python-requests/2.18.4
●
问个HTML DOM JavaScript相关的问题
●
问一个用R抓网上数据,抓下来的和网页不一致
●
用python urlopen 抓mitbbs页面的问题
●
what will happen if user disable JavaScript?
●
问java applet的问题
●
有谁可以帮忙写个小小小软件
●
在带有ajax的页面做screen scrape
相关话题的讨论汇总
话题: 网页
话题: 抓下来
话题: php
话题: source
话题: 问个
未名新帖统计
// 7月16日
#
版面
帖数(主题数)
-
全站
4871 (796)
1
Military
3777 (569)
2
Stock
341 (51)
3
Joke
117 (17)
4
History
116 (3)
5
Automobile
100 (9)
6
USANews
55 (9)
7
Midlife
45 (1)
8
Headline
41 (41)
9
Dreamer
33 (13)
10
FleaMarket
32 (20)
11
Living
30 (7)
* 这里只显示发帖超过25的版面,努力灌水吧:-)
历史上的今天
faintcat妹妹看进来~~
发表于12年前.
NSC, PD 1/7/2007, EB2, ...
发表于11年前.
[FBA求购]MJVE2 758 MJVM2 ...
发表于6年前.
老生常谈,归与不归
发表于10年前.
【申请】Seattle西雅图 版版主——申请人...
发表于9年前.
宝宝出生,头骨骨折,求祝福
发表于9年前.
求推荐舒缓优美的古典音乐
发表于11年前.
百分之一的北京人上北大 中国网友愤怒(转载)
发表于10年前.
新人带狗狗Bailey来报道
发表于12年前.
全世界最有价值的运动队
发表于10年前.
请问大切诺基的质量如何
发表于6年前.
TNND,军版全是BKC
发表于15年前.
Inception
发表于12年前.
微软的有些家属可真恶心,为了卖保险脸都不要了
发表于10年前.
每周坐高铁的苦逼来说说感受吧!!
发表于9年前.