您的位置:一分快三全天精准计划 > 1分快3全天计划官方网站-编程 > 根据前两篇的博文

根据前两篇的博文

2020-01-22 03:33

根据前两篇的博文:

基于curl数据采集之单页面采集函数get_html的使用

基于curl数据采集之单页面并行采集函数get_htmls的使用

已经可以得到了我们需要的html文件,现在需要处理得到的文件获取到我们需要的采集的数据。

对于html文档的解析,没有像XML那样的解析类,因为HTML文档有很多不成对的标签,很不严格。这个时候就需要采用其他的一些辅助类了,simplehtmldom是一个类似于JQuery方式操作HTML文档的解析类。可以很方便的得到想要的数据,可惜速度慢。这里不是我们这里讨论的重点,我主要使用正则来匹配我所需要的采集的数据,可以很快速的得到我需要采集的信息。

考虑到get_html可以判断返回的数据,但是get_htmls没有办法判断,为了方便调式和调用写了如下两个函数:复制代码 代码如下:function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){ if{ if(!preg_match($pattern,$html,$matches,$flags,$offset)){ echo $err_msg."! 错误信息: ".get_preg_err_msg()."n"; return false; } }else{ if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){ echo $err_msg."! 错误信息: ".get_preg_err_msg()."n"; return false; } } return $matches;}function get_preg_err_msg(){ $error_code = preg_last_error(); switch{ case PREG_NO_ERROR : $err_msg = 'PREG_NO_ERROR'; break; case PREG_INTERNAL_ERROR: $err_msg = 'PREG_INTERNAL_ERROR'; break; case PREG_BACKTRACK_LIMIT_ERROR: $err_msg = 'PREG_BACKTRACK_LIMIT_ERROR'; break; case PREG_RECURSION_LIMIT_ERROR: $err_msg = 'PREG_RECURSION_LIMIT_ERROR'; break; case PREG_BAD_UTF8_ERROR: $err_msg = 'PREG_BAD_UTF8_ERROR'; break; case PREG_BAD_UTF8_OFFSET_ERROR: $err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR'; break; default: return '未知错误!'; } return $err_msg.': '.$error_code;}可以这样调用:复制代码 代码如下:$url = ' = get_html;$matches = get_matches('!!',$html,'没有找到链接',true);if{ var_dump;}或者这样调用:复制代码 代码如下:$urls = array(' = get_htmls;foreach{ $matches = get_matches('!!',$html,'没有找到链接',true); if{ var_dump; }}就可以得到所需的信息,无论单页面采集还是多页面采集,最终PHP还是只能处理一个页面,由于使用get_matches了,可以对返回的值进行判断真假,得到正确的数据,由于使用正则的时候遇到了超过正则回溯的问题,增加get_preg_err_msg来提示正则信息。

由于采集数据的时候,经常是采集列表页,根据列表页得到的内容页链接再采集内容页,或者更多的层次,那么循环嵌套会很多,对于代码的控制会感觉力不从心。那我们是否可以把采集列表页的代码和采集内容页的代码,或者更多的层次的采集代码分离开,甚至循环都简化呢?

本文由一分快三全天精准计划发布于1分快3全天计划官方网站-编程,转载请注明出处:根据前两篇的博文

关键词: