基於PHPQuery的PHP通用採集類
鳥欲高飛先振翅,人求上進先讀書。以下是小編為大家搜索整理的基於PHPQuery的PHP通用採集類,希望能給大家帶來幫助!更多精彩內容請及時關注我們應屆畢業生考試網!
一、採集類源碼
代碼如下:
/**
*通用列表採集類
*版本V1.3
*作者:JAE
*/
require_once '../phpQuery/phpQuery/';
class QueryList{
private $pageURL;
private $regArr = array();
public $jsonArr = array();
private $regRange;
private $html;
/************************************************
* 參數: 頁面地址 選擇器數組 塊選擇器
* 【選擇器數組】説明:格式array("名稱"=>array("選擇器","類型"),.......)
* 【類型】説明:值 "text" ,"html" ,"屬性"
*【塊選擇器】:指 先按照規則 選出 幾個大塊 ,然後再分別再在塊裏面 進行相關的選擇
*************************************************/
function QueryList($pageURL,$regArr=array(),$regRange='')
{
$this->pageURL = $pageURL;
//為了能獲取https://
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$this->pageURL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$this->html = curl_exec($ch);
curl_close($ch);
if(!empty($regArr))
{
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
}
function setQuery($regArr,$regRange='')
{
$this->jsonArr=array();
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
private function getList()
{
$hobj = phpQuery::newDocumentHTML($this->html);
if(!empty($this->regRange))
{
$robj = pq($hobj)->find($this->regRange);
$i=0;
foreach($robj as $item)
{
while(list($key,$reg_value)=each($this->regArr))
{
$iobj = pq($item)->find($reg_value[0]);
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i][$key] = trim(pq($iobj)->text());
break;
case 'html':
$this->jsonArr[$i][$key] = trim(pq($iobj)->html());
break;
default:
$this->jsonArr[$i][$key] = pq($iobj)->attr($reg_value[1]);
break;
}
}
//重置數組指針
reset($this->regArr);
$i++;
}
}
else
{
while(list($key,$reg_value)=each($this->regArr))
{
$lobj = pq($hobj)->find($reg_value[0]);
$i=0;
foreach($lobj as $item)
{
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i++][$key] = trim(pq($item)->text());
break;
case 'html':
$this->jsonArr[$i++][$key] = trim(pq($item)->html());
break;
default:
$this->jsonArr[$i++][$key] = pq($item)->attr($reg_value[1]);
break;
}
}
}
}
}
function getJSON()
{
return json_encode($this->jsonArr);
}
}
二、使用例子
代碼如下:
require 'Query/';
//採集OSC的'代碼分享列表,標題 鏈接 作者
$url = "";
$reg = array("title"=>array("_title a:eq(0)","text"),"url"=>array("_title a:eq(0)","href"),"author"=>array("img","title"));
$rang = "_list li";
$hj = new QueryList($url,$reg,$rang);
$arr = $hj->jsonArr;
print_r($arr);
//如果還想採當前頁面右邊的 TOP40活躍貢獻者 圖像,得到JSON數據,可以這樣寫
$reg = array("portrait"=>array("_top img","src"));
$hj->setQuery($reg);
$json = $hj->getJSON();
echo $json . "
";
//採OSC內容頁內容
$url = "_186288_23816";
$reg = array("title"=>array("le h1","text"),"con"=>array("ent","html"));
$hj = new QueryList($url,$reg);
$arr = $hj->jsonArr;
print_r($arr);
-
php遞歸創建和刪除文件夾的代碼
php中遞歸創建和刪除文件夾的代碼,供大家學習參考。就跟隨本站小編一起去了解下吧,想了解更多相關信息請持續關注我們應屆畢業生考試網!方法一複製代碼代碼如下:<?php/***目錄生成類:UtilsMakeDir*@authoryepeng*@since2010.3.18*/classUtilsMakeDir{//基目錄建...
-
PHP的SPL標準庫的用法介紹
本文介紹下,php編程中SPL中的用法,SPL,PHP標準庫(StandardPHPLibrary),此從PHP5.0起內置的組件和接口,有需要的朋友參考下。PHPSPL的用法SPL,PHP標準庫(StandardPHPLibrary),此從PHP5.0起內置的組件和接口,並且從PHP5.3已逐漸的成熟。SPL其實在所有的PHP5開發環境中被內置,...
-
PHP緩存技術
PHP具有非常強大的功能,所有的CGI的功能PHP都能實現,而且支持幾乎所有流行的數據庫以及操作系統。最重要的是PHP可以用C、C++進行程序的擴展!以下是小編為大家搜索整理的PHP緩存技術,希望能給大家帶來幫助!更多精彩內容請及時關注我們應屆畢業生考試網!全頁面靜態...
-
php修改上傳文件大小限制實例詳解
php在默認情況下,只允許上傳一定大小的文件,當上傳文件大小超過這個值時,將會出錯。本文章將向大家講解中如何修改上傳文件大小限制。需要修改的設置有三個地方,請看下文:1、修改max_execution_time在php中,默認的頁面最久執行時間為30秒,超過30秒,該腳本就停止執行....