我熟悉BeautifulSoup和urllib2来从网页上抓取数据.但是,如果在我想要刮取的结果返回之前需要在页面中输入参数怎么办？

我正在尝试使用此网站获取两个地址之间的地理距离：http://www.freemaptools.com/how-far-is-it-between.htm

我希望能够转到页面,输入两个地址,单击“显示”,然后提取“距离作为乌鸦飞行”和“按陆地运输距离”值并将其保存到字典中.

有没有办法使用Python将数据输入网页？

解决方法:

看看机械化或刮擦等工具：

> http://pypi.python.org/pypi/mechanize
> http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/
> http://www.ibm.com/developerworks/linux/library/l-python-mechanize-beautiful-soup/
> http://zesty.ca/scrape/

Packt Publishing也有一篇关于此事的文章：

> http://www.packtpub.com/article/web-scraping-with-python