基于PHPQuery的PHP通用采集类
鸟欲高飞先振翅,人求上进先读书。以下是小编为大家搜索整理的基于PHPQuery的PHP通用采集类,希望能给大家带来帮助!更多精彩内容请及时关注我们应届毕业生考试网!
一、采集类源码
代码如下:
/**
*通用列表采集类
*版本V1.3
*作者:JAE
*/
require_once '../phpQuery/phpQuery/';
class QueryList{
private $pageURL;
private $regArr = array();
public $jsonArr = array();
private $regRange;
private $html;
/************************************************
* 参数: 页面地址 选择器数组 块选择器
* 【选择器数组】说明:格式array("名称"=>array("选择器","类型"),.......)
* 【类型】说明:值 "text" ,"html" ,"属性"
*【块选择器】:指 先按照规则 选出 几个大块 ,然后再分别再在块里面 进行相关的选择
*************************************************/
function QueryList($pageURL,$regArr=array(),$regRange='')
{
$this->pageURL = $pageURL;
//为了能获取https://
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$this->pageURL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$this->html = curl_exec($ch);
curl_close($ch);
if(!empty($regArr))
{
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
}
function setQuery($regArr,$regRange='')
{
$this->jsonArr=array();
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
private function getList()
{
$hobj = phpQuery::newDocumentHTML($this->html);
if(!empty($this->regRange))
{
$robj = pq($hobj)->find($this->regRange);
$i=0;
foreach($robj as $item)
{
while(list($key,$reg_value)=each($this->regArr))
{
$iobj = pq($item)->find($reg_value[0]);
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i][$key] = trim(pq($iobj)->text());
break;
case 'html':
$this->jsonArr[$i][$key] = trim(pq($iobj)->html());
break;
default:
$this->jsonArr[$i][$key] = pq($iobj)->attr($reg_value[1]);
break;
}
}
//重置数组指针
reset($this->regArr);
$i++;
}
}
else
{
while(list($key,$reg_value)=each($this->regArr))
{
$lobj = pq($hobj)->find($reg_value[0]);
$i=0;
foreach($lobj as $item)
{
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i++][$key] = trim(pq($item)->text());
break;
case 'html':
$this->jsonArr[$i++][$key] = trim(pq($item)->html());
break;
default:
$this->jsonArr[$i++][$key] = pq($item)->attr($reg_value[1]);
break;
}
}
}
}
}
function getJSON()
{
return json_encode($this->jsonArr);
}
}
二、使用例子
代码如下:
require 'Query/';
//采集OSC的'代码分享列表,标题 链接 作者
$url = "";
$reg = array("title"=>array("_title a:eq(0)","text"),"url"=>array("_title a:eq(0)","href"),"author"=>array("img","title"));
$rang = "_list li";
$hj = new QueryList($url,$reg,$rang);
$arr = $hj->jsonArr;
print_r($arr);
//如果还想采当前页面右边的 TOP40活跃贡献者 图像,得到JSON数据,可以这样写
$reg = array("portrait"=>array("_top img","src"));
$hj->setQuery($reg);
$json = $hj->getJSON();
echo $json . "
";
//采OSC内容页内容
$url = "_186288_23816";
$reg = array("title"=>array("le h1","text"),"con"=>array("ent","html"));
$hj = new QueryList($url,$reg);
$arr = $hj->jsonArr;
print_r($arr);
-
PHP 数组和字符串互相转换实现方法
PHP数组和字符串互相转换是比较常用的,下面给大家介绍PHP数组和字符串互相转换实现方法,一起来了解一下吧!PHP数组和字符串互相转换实现方法PHP中由于数组和字符串这两种变量类型是如此常用,以至于PHP具有两个函数,可以在字符串和数组之间互相进行转换代码如下:$ar...
-
PHP的漏洞-如何防止PHP漏洞
漏洞无非这么几类,XSS、sql注入、命令执行、上传漏洞、本地包含、远程包含、权限绕过、信息泄露、cookie伪造、CSRF(跨站请求)等。下面是小编为大家带来的关于PHP的漏洞的知识,欢迎阅读。+sql注入其中占大头的自然是XSS与SQL注入,对于框架类型或者有公共文件的,建...
-
PHP考试笔试题
用宝珠打扮自己,不如用知识充实自己。以下是小编为大家搜索整理的PHP考试笔试题,希望能给大家带来帮助!更多精彩内容请及时关注我们应届毕业生考试网!1、{PHP题目}标识符是变量的名称。PHP中的标识符用$+变量名来表示。标识符在PHP中遵循下列选项中的那些规则?()...
-
如何实现yii2 数据库读写分离配置
导语:开始使用数据库首先需要配置数据库连接组件,下面小编给大家提供了如何实现yii2数据库读写分离配置,大家可以参考阅读,更多详情请关注应届毕业生考试网。开始使用数据库首先需要配置数据库连接组件,通过添加db组件到应用配置实现("基础的"Web应用是config/),DSN(Da...