python爬取公司财务报表（Python抓取上市公司财务数据）

本文介绍通过python来抓取上市公司简介和行业，昨天我讲解了上市公司列表的抓取，我们拿到上市公司列表后，就可以实现循环抓取各个上市公司的详情数据。本文将初次涉及到python的scrapy模块使用，将介绍模块中常用的类和方法，还包括xpath介绍和使用。

先回顾一下本主题“Python抓取上市公司财务数据”的内容体系，分成9节来为‬大家讲解，从0到1来详细拆解程序开发流程和编码实现，这套体系内容适合给Python零基础的小白学者学习，同时也对熟悉python但对数据采集不熟练的量化专家提供一套Python抓取的最佳实践。其包含的主要章节如下：

1. Centos7搭建代码库和Python运行环境

2. Win10搭建Python开发环境

3. Python爬虫应用运行（Docker）镜像准备

4. 编码实现上市公司列表抓取

5. 编码实现上市公司简介和行业板块抓取

6. 编码实现上市公司企业财务摘要抓取

7. 编码实现上市公司历年财务数据抓取

8. 编码实现上市公司财务数据抓取结果入库（Mysql）

9. Python代码提交及部署运行

本文讲解的是其中的第5章节，主要包括：

1）公司简介页面的数据结构分析

2）编写公司信息数据抓取和解析程序

3）公司简介抓取程序的运行

4）所属行业页面数据抓取和解析

本文涉及到的相关基础知识主要有Selector类的使用、xpath表达式的使用，以字符串的处理。其中，Selector类支持xpath和css两种提取元素选择器方式，提取的元素可以使用的方法有：

1. extract方法来获取所选元素的内容，结果为数组；

2. extract_first，它只提取第一个元素的值，如果无符合条件的元素，则返回None。

对于xpath的基本使用语法的表达式含义主要为如下：

1） node_name为选取此节点的所有子节点；

2） 表达式/代表绝对路径匹配，从根节点选取；

3） 表达式//代表相对路径匹配，从所有节点中查找当前选择的节点，包括子节点和后代节点，其第一个/表示根节点；

4） 表达式.代表选取当前节点；

5） 表达式..代表选取当前节点的父节点；

6） 表达式@代表选取属性值，通过属性值选取数据。常用元素属性有@id、@name、@type、@class、@tittle、@href。

xpath提供了100多个内建函数，我们抓取常用的内建函数主要使用了text()，用来文本匹配，表示值取当前节点中的文本内容。

另外，我们对解析结果字符串的处理常用的有：

1. 字符串切割子串，它和数组的切割子数组类似，可以直接使用[x:y]、[x:]或[:y]的方式来取子串。其中x和y为数值，代表下要切割的起始、结束下标值。如果使用负数，则为从字符串结尾开始反向计算下标位置，如'abc'[1:]和'abc'[-2:]的结果均为'bc'；

2. 字符串两边的空格去除可以使用strip方法，如'\ta b \r\n'.strip()的结果为'a b'。

一、公司简介页面的数据结构分析

第一步：打开公司简介页面

打开公司简介页面，以新华医疗（600587）为例，如下：

第二步：打开页面的浏览器检查工具

我们通过右键-点击“检查”（或快捷键F12），如下图：

第三步：使用元素选择器选择公司简介表格

点击元素的选择器图标，如下图：

再将鼠标移动到公司简介表格的首行，并点击选中，如下图：

第四步：复制表格首行的xpath信息

我们选择首行所在的<tr>标签，点击右键-复制-复制XPath，如下图：

得到的XPath信息为：//*[@id="comInfo1"]/tbody/tr[1]

二、编写公司信息数据抓取和解析程序

第一步：打开Scrapy_detail.py模块文件

打开项目文件夹scrapy-finance，并选中scrapy_detail.py右键-Edit with IDLE-Edit with IDLE 3.10(64-bit)，如下图：

打开后，如下图：

第二步：编写代码抓取结果的XPath提取

编写scrapy_detail函数抓取页面数据代码，包含参数code股票代码，detail_dir详情存储目录，overwrite是否重写结果文件（若需将抓取结果覆盖）。并先编写根据XPath提取元素部分，如下：

def scrapy_detail(self, code, detail_dir, overwrite): detail_url = "https://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpInfo/stockid/%s.phtml" resp = request.urlopen(detail_url%(code), timeout=30) print("request url:" resp.geturl()) rt_code = resp.getcode() if rt_code==200: content = resp.read() response = HtmlResponse(url=detail_url, body=content) sel = Selector(response=response) print (sel.xpath('//*[@id="comInfo1"]/tbody/tr[1]')) print (sel.xpath('//*[@id="comInfo1"]/tbody ')) print (sel.xpath('//*[@id="comInfo1"]')) else: print("error return code:%d" % rt_code) return True

上述代码对xpath路径及其父级路径的提取结果都进行了打印。该方法定义在ScrapyDetail类中，格式需注意增加一层缩进。

另外，在模块顶部增加依赖模块的加载，引入代码如下：

from urllib import request import ssl ssl._create_default_https_context = ssl._create_unverified_context from scrapy.selector import Selector from scrapy.http import HtmlResponse

以上代码说明如下：

1. from urllib import request为从urllib模块中加载request子模块，http请求我们使用request模块的urlopen方法；

2. import ssl和ssl._create_default_https_context = ssl._create_unverified_context是在https安全请求时，设置为做不认证的模式。不做此设置会导致https类型的请求会失败。

3. Selector为选择器类，提供xpath、css的路径提取方法；

4. HtmlResponse为Response的子类，用于下载http请求的返回信息；

为了测试scrapy_detail函数，我们在run方法中增加调用，参数赋值为：

（1） code参数局部赋值，使用样例企业新华医疗（600587）作为测试；

（2） detail_dir作为ScrapyDetail类的成员变量进行赋值；

（3） overwrite设置成true，以方便后续重跑测试。

代码编写好后，如下图：

第三步：运行测试XPath提取结果

使用快捷键Ctrl F5运行后，结果如下：

根据运行结果可知，通过请求拿到的表格格式略有不同，表格里面没有tbody标签，因此只有最顶级的xpath能取到元素。

第四步：修改调试XPath提取结果

我们将xpath路径换成//*[@id="comInfo1"]/tr[1]，并增加打印第一行的所有列的xpath为//*[@id="comInfo1"]/tr[1]/td，以及表格的所有行后的xpath为//*[@id="comInfo1"]/tr，如下图：

保存后运行模块，结果如下：

根据结果输出，我们成功获取到了表格中的行和列元素数据。

第五步：编写公司简介表格数据的循环解析

编写xpath循环解析表格行，并每两列作为一个键值对，存储在info_dict字典中，代码如下：

tr_list_sel = sel.xpath('//*[@id="comInfo1"]/tr') for tr_sel in tr_list_sel: one_row = tr_sel.xpath('td//text()').extract() key = None val = "" for one_sel in one_row: if one_sel.endswith('：'): val = "" key = one_sel[:len(one_sel)-1] else: val = val ("\t" if val else "") one_sel if key: info_dict[key] = val.strip() print (info_dict)

其中:

1） 先用//*[@id="comInfo1"]/tr解析出每行的元素选择器；

2） 设置xpath为td//text()来循环提取出每列中的文本；

3） 对多列文本的数组进行循环处理，将'：'结尾的作为键，随后的列作为对应的值，存储在info_dict中；

4） 循环全部结束后，打印输出解析结果字典info_dict。

在scrapy_detail函数中增加以上解析逻辑后，如下图所示：

第六步：测试运行简介表格解析结果

运行scrapy_detail.py模块，运行效果如下图所示：

代码成功解析出了上市公司的公司简介。

第七步：编写将解析结果存储到文件

增加文件存在判断，代码如下：

res_file = "%s/detail_%s.data"%(detail_dir, code) if not overwrite and os.path.isfile(res_file): print ("skip scrapy, result exist in:" res_file) return False

将该代码逻辑放在函数scrapy_detail的开头，如下图：

解析结果字典info_dict需要写入文件，我们将写文件逻辑放在函数write_file中，代码如下：

def write_file(self, info_dict, res_file): if info_dict: try: fb = open(res_file, 'w') fb.write(json.dumps(info_dict) '\n') except IOError as err: print ('IO Error:', err) else: fb.close()

由于用到了json模块，我们需要在模块顶部增加import json来加载，如下图：

并在scrapy_detail函数中，将解析结束后的打印字典换成写文件，如下图：

其中参数info_dict为解析结果字典，res_file为将写入的文件路径。最后，使用快捷键Ctrl S保存更新后的模块代码。

三、公司简介抓取程序的运行

第一步：创建结果数据存储的文件夹detail_data

打开项目文件夹scrapy_finance，右键-新建-新建文件夹，如下图：

新建的文件夹命名成detail_data，如下图：

第二步：测试运行scrapy_detail模块

切换回scrapy_detail.py的编辑窗口，使用快捷键ctrl F5运行模块，结果如下图：

第三步：查看简介数据抓取结果

打开detail_data文件夹，查看结果文件，如下图：

运行结果成功保存到了detail_600587.data数据文件中。

四、所属行业页面数据抓取和解析

第一步：打开所属行业页面

打开公司所属行业页面，以新华医疗（600587）为例，如下：

第二步：使用元素选择器选择所属行业板块的值

我们通过右键-点击“检查”（或快捷键F12），点击左下角的元素的选择器图标，如下图：

再将鼠标移动到所属行业板块的值（本示例的值为“医疗器械”），并点击选中，如下图：

第三步：复制所属行业板块的值的xpath信息

选中<tr>标签，点击右键-复制-复制XPath，如下图：

得到表格该值的字段xpath信息为：//*[@id="con02-0"]/table[1]/tbody/tr[3]/td[1]

第四步：编写代码抓取并提取所属行业板块的值

在ScrpayDetail类中增加函数scrapy_industry，并编写代码如下：

def scrapy_industry(self, code, detail_dir, overwrite): res_file = "%s/industry_%s.data"%(detail_dir, code) if not overwrite and os.path.isfile(res_file): print ("skip scrapy, result exist in:" res_file) return False detail_url = "https://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpOtherInfo/stockid/%s/menu_num/2.phtml" resp = request.urlopen(detail_url%(code)) print("request url:" resp.geturl()) rt_code = resp.getcode() if rt_code==200: content = resp.read() response = HtmlResponse(url=detail_url, body=content) sel = Selector(response=response) one_sel = sel.xpath('//*[@id="con02-0"]/table[1]/tr[3]/td[1]/text()').extract_first() self.write_file({"industry" : one_sel}, res_file) else: print("error return code: %d" % rt_code) return True

该方法实现中，将请求响应的内容直接使用刚刚获取到的xpath信息，再拼接上/text()来获取其元素下一级文本内容。解析结果直接以字典的形式写入文件中，write_file在前面已经定义实现了。相关依赖的模块在前面步骤中已经增加过加载代码，就不用重复添加了。代码编写完成后，效果如下图：

在run方法中，增加scrapy_industry方法的调用，并将overwrite设置为False，以避免重复抓取前面的公司简介页，并增加os模块的加载，如下图：

使用Ctrl S快捷键保存所编写的模块代码。

第五步：所属行业板块抓取程序的运行

使用快捷键ctrl F5运行scrapy_detail.py模块，结果如下图：

第六步：查看所属行业板块抓取结果

打开detail_data文件夹，查看结果文件，如下图：

运行结果成功保存到了industry_600587.data数据文件中。

五、结语

本文讲解了如何对新浪财经的上市公司简介页的数据结构进行分析，通过元素选择器找到xpath信息，并通过编写python程序来实现数据的抓取和表格数据解析成键值对字典，最后将字典数据存储到结果文件中。最后使用同样的流程对所属行业页面进行了抓取、解析和存储。中间还遇到了浏览器和urllib请求到的网页数据不一致的坑，希望大家能及时发现这种坑，以程序响应的数据为准，同时能掌握其调试和分析的思路。

下一节将介绍“上市公司的财务摘要数据的抓取”，详细拆解实现过程，以逐步深入的方式让小白学者也能完全掌握python抓取上市公司财务数据的编码实操过程。学到现在，你应该对网页数据的结构和解析基本掌握了，后续将逐步侧重加强数据处理和存储分析方面的讲解。看到这里请点赞支持下，对该主题感兴趣的朋友可以关注下我的后续动态～

,