由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 自动分析网页的Python 库?
相关主题
no one use RUBY here, right?C/C++工程师需要懂java,javascript,PHP,或python吗?
需要学CPP吗?a few very simple python commands
各位大神帮忙在加州就是好,会javascript,python就可以开startup公司了。
2007年9月编程语言指数Ruby and Python
想检查谁浏览网页,用什么实现?练习javascript和python, 有什么side project推荐吗?
Perl/Python/.NET难道是搞网页的?还是不能喜欢python
[合集] 到底要学习Perl,还是Python?痛恨Python的和当年痛恨Java的一个道理
请教一个初级问题sencha ext js搞定客户端网页。
相关话题的讨论汇总
话题: 网页话题: python话题: 自动话题: post话题: 分析
进入Programming版参与讨论
1 (共1页)
n*********2
发帖数: 357
1
有没有方便的Python 库用来自动分析一个复杂的网页?
比如, 有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒
绝。 如果有一个方便的工具能自动分析该网页,然后自动构建合适的Post,那就比较
方便了。
再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件?如果有一个方便的工具能自动分析该网页,然后自动构建合适的request,那就比较方便了。
如果 Python 没有这样的库,别的语言(比如Java 或者JavaScript)也是可以的。
谢谢。
a9
发帖数: 21638
2
用fiddler,charles抓一下包。
或者直接用chrome分析一下也行。

【在 n*********2 的大作中提到】
: 有没有方便的Python 库用来自动分析一个复杂的网页?
: 比如, 有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒
: 绝。 如果有一个方便的工具能自动分析该网页,然后自动构建合适的Post,那就比较
: 方便了。
: 再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件?如果有一个方便的工具能自动分析该网页,然后自动构建合适的request,那就比较方便了。
: 如果 Python 没有这样的库,别的语言(比如Java 或者JavaScript)也是可以的。
: 谢谢。

n*********2
发帖数: 357
3
谢谢回复。
这个感觉还是太底层了点,感觉需要很多劳力。而且每个网站都不同,来一个新的网站
,就得从头再来。
有没有一些库将这些步骤自动化(减少人工干预)?

【在 a9 的大作中提到】
: 用fiddler,charles抓一下包。
: 或者直接用chrome分析一下也行。

n*****3
发帖数: 1584
4
data driven 的东西, 狠难很简单得 自动化

【在 n*********2 的大作中提到】
: 谢谢回复。
: 这个感觉还是太底层了点,感觉需要很多劳力。而且每个网站都不同,来一个新的网站
: ,就得从头再来。
: 有没有一些库将这些步骤自动化(减少人工干预)?

L***s
发帖数: 1148
5
http://www.crummy.com/software/BeautifulSoup/
特殊的需求要自己定制

方便了。

【在 n*********2 的大作中提到】
: 有没有方便的Python 库用来自动分析一个复杂的网页?
: 比如, 有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒
: 绝。 如果有一个方便的工具能自动分析该网页,然后自动构建合适的Post,那就比较
: 方便了。
: 再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件?如果有一个方便的工具能自动分析该网页,然后自动构建合适的request,那就比较方便了。
: 如果 Python 没有这样的库,别的语言(比如Java 或者JavaScript)也是可以的。
: 谢谢。

1 (共1页)
进入Programming版参与讨论
相关主题
sencha ext js搞定客户端网页。想检查谁浏览网页,用什么实现?
python+ beautifulsoup 爬网页怎么那么复杂?Perl/Python/.NET难道是搞网页的?
javascript太难debug了,没人能发明一个好用点的front-end language?[合集] 到底要学习Perl,还是Python?
目前看就是做web,python也被落在最后请教一个初级问题
no one use RUBY here, right?C/C++工程师需要懂java,javascript,PHP,或python吗?
需要学CPP吗?a few very simple python commands
各位大神帮忙在加州就是好,会javascript,python就可以开startup公司了。
2007年9月编程语言指数Ruby and Python
相关话题的讨论汇总
话题: 网页话题: python话题: 自动话题: post话题: 分析