我们打开一个stata使用“公告链接.dta”copy这两个上市公司所有公告的网页源代码。

clear

set more off

cap mkdir E:/新浪公告/公告内容

cd E:/新浪公告/公告内容

use E:/新浪公告/公告链接, clear

levelsof v, local(levels)

foreach v in `levels' {

if ustrregexm("`v'","(.+?);") local url = ustrregexs(1)

if ustrregexm("`v'",";(.+?);") local stkcd = ustrregexs(1)

if ustrregexm("`v'",";(d+)$") local num = ustrregexs(1)

cap copy "`url'" `stkcd'_`num'.txt, replace

while _rc != 0 {

sleep `=10000*uniform()'

cap copy "`url'" `stkcd'_`num'.txt, replace

}

dis "`stkcd'_`num'"

}

2

我们将所有的公告链接放在一个局部宏`levels’中，对所有的公告链接做循环。使用正则表达式"(.+?);"把开头到第一个分号前的网址提取出来放入`url’中，使用";(.+?);"把两个分号中间的股票代码提取出来放入`stkcd’中，使用";(d+)$"把第二个分号后的数字提取出来放入`num’中。

这里需要注意一点，local后面是不能接if选项的：

所以我们把if提前，相当于

if ustrregexm("`v'","(.+?);") {

local url = ustrregexs(1)

}

3

我们打开另一个stata来进行字符串处理并提取公告内容，我们用同样的方法将股票代码和编号放在局部宏`stkcd'、`num'中，使文件名一一对应。这个时候就轮到fileexists()函数出场啦！我们用fileexists()函数判断文件是否存在，如果不等于1即不存在，则休息2秒。程序如下：

clear

set more off

cd E:/新浪公告/公告内容

use E:/新浪公告/公告链接, clear

levelsof v, local(levels)

foreach v in `levels' {

if ustrregexm("`v'",";(.+?);") local stkcd = ustrregexs(1)

if ustrregexm("`v'",";(d+)$") local num = ustrregexs(1)

while fileexists("`stkcd'_`num'.txt") != 1 {

sleep 2000

continue

}

clear

unicode encoding set gb18030

unicode translate `stkcd'_`num'.txt, transutf8

unicode erasebackups, badidea

set obs 1

gen v = fileread("`stkcd'_`num'.txt")

replace v = ustrregexra(v,"[dD]+<pre>","")

replace v = ustrregexra(v,"<br>[dD]+","")

save `stkcd'_`num', replace

}

由于<pre>在源代码中是唯一的，我们删除开头到<pre>的所有内容，然后删除从<br>开始到结尾的所有内容。

需要注意，由于公告内容行与行之间存在换行符，而正则表达式“.”不能匹配换行符与回车符，因此，我们使用含义相反的一组元字符dD来匹配任意字符（详见推文）。

这样两个stata同时运行就大大提高效率啦！

什么？！没看懂！！不要紧！！戳下面，听爬虫小将的详细讲解，也欢迎大家的批评指正哟！

文字编辑：王 明

关于我们

微信公众号“爬虫俱乐部”分享实用的stata命令，欢迎转载、打赏。爬虫俱乐部是由李春涛教授领导下的研究生及本科生组成的大数据分析和数据挖掘团队。

投稿要求：

1）必须原创，禁止抄袭；

2）必须准确，详细，有例子，有截图；

注意事项：

1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。

2）邮件请注明投稿，邮件名称为“投稿”+“推文名称”。

3）应广大读者要求，现开通有偿问答服务，如果大家遇到关于stata分析数据的问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。