作者:数据科学家联盟
来源:知乎
以下观点仅供交流讨论,不作为投资建议牛跑了熊来了,最近基金股票可谓一片绿油油,与其听取别人哪个基金更好,不如自己爬一爬数据一探究竟。整理了python爬数据的方法,希望对大家有用。01
本文涉及到的知识点
1、python字符串:分割、拼接、中文字符判断;2、python正则表达式;3、爬虫requests请求库、xpath获取数据、代理服务器;4、selenium用法:无头浏览器、元素定位、显式等待、数据获取;5、python操作mongodb02
网站分析
代码和数据我们到后面再贴上,先来分析下目标网站,这样有利于我们爬取过程更加清晰目标网站:开放式基金排行_天天基金网我们爬取的就是里的数据:我们随便点开一个基金,就可以进入其详情页面,不知道你发现没有,该基金详情页面的url就是首页该基金的基金代码和