網(wǎng)絡(luò)編程教程模板無憂>建站教程>網(wǎng)絡(luò)編程>PHP教程>

如何讓你的站跟新浪的新聞數(shù)據(jù)保持同步_PHP教程

教程Tag：暫無Tag,歡迎添加,賺取U幣!

推薦：詳解ASP.NET和PHP全面對(duì)比
誰是速度之王？剛剛在9月編程語言排行榜上取得歷史性突破的PHP在Web開發(fā)領(lǐng)域最到的對(duì)手可能就是基于微軟.NET技術(shù)的ASP.NET。近日，微軟的Joe Stagner在博客上發(fā)表了一系列文章比較了PHP和ASP.NET性能方面的文章，引起了來自雙方程序員的大量回應(yīng)。Joe表示，

采集已經(jīng)不是什么新名詞了，很多站長為了省事，也局限于人力的缺乏，使用程序來給自己的網(wǎng)站添磚加瓦，比如本人的個(gè)人網(wǎng)站www.xxfsw.com也采集了大量的新聞，那么如果實(shí)現(xiàn)呢？今天我們運(yùn)用php來實(shí)現(xiàn)這個(gè)功能。

談到采集，我們不得不說兩個(gè)東西，第一個(gè)是如何獲取遠(yuǎn)程網(wǎng)站的源代碼，這個(gè)可以通過php的一個(gè)擴(kuò)展curl來獲取，另一個(gè)是如果去匹配你需要的信息，這個(gè)的解決辦法是正則表達(dá)式。

Windows下開啟curl的方法如下：

1、拷貝PHP目錄中的libeay32.dll， ssleay32.dll， php5ts.dll， php_curl.dll文件到 system32 目錄。

2、修改php.ini：配置好 extension_dir ，去掉 extension = php_curl.dll 前面的分號(hào)。

3、重起apache。

Linux下開啟curl的方法如下：

進(jìn)入安裝原php 的源碼目錄，

cd ext
cd curl
phpize
./configure --with-curl =DIR
make

就會(huì)在PHPDIR/ext/curl /moudles/下生成curl .so的文件。

復(fù)制curl .so文件到extensions的配置目錄，修改php .ini就好了。

然后你就可以利用curl來獲取到指定url的網(wǎng)頁源碼了，這里給大家一個(gè)封裝好的函數(shù)：

以下為引用的內(nèi)容：
function getwebcontent($url){
    $ch = curl_init();
    $timeout = 10;
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
    curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
    $contents = trim(curl_exec($ch));
    curl_close($ch);
    return $contents;
}

接下來就應(yīng)該說到php中的正則表達(dá)式了：

1.中括號(hào)

［0-9］匹配0-9

［a-z］匹配a-z小寫字母

［A-Z］匹配A-Z大寫字母

［a-zA-Z］匹配所有大小寫字母

可以使用ascii來制定更多

2.量詞

以下為引用的內(nèi)容：
p+匹配至少一個(gè)含p的字符串
p*陪陪任何包含0個(gè)或多個(gè)p的字符串
p?匹配任何包含0個(gè)或一個(gè)p的字符串
p{2}匹配包含2個(gè)p的序列的字符串
p{2,3}匹配任何包含2個(gè)或3個(gè)的字符串
p$匹配任何以p結(jié)尾的字符串
^p匹配任何以p開頭的字符串
[^a-zA-Z]匹配任何不包含a-zA-Z的字符串
p.p匹配任何包含p、接下來是任何字符、再接下來有又是p的字符串
^.{2}$匹配任何值包含2個(gè)字符的字符串
<b>(.*)b>匹配任何被<b>>包圍的字符串
p(hp)*匹配任何一個(gè)包含p,后面是多個(gè)或0個(gè)hp的字符串

3.預(yù)定義字符范圍

以下為引用的內(nèi)容：
[:alpha:]同[a-zA-Z]
[:alnum:]同[a-zA-Z0-9]
[:cntrl:]匹配控制字符，比如制表符，反斜杠，退格符
[:digit:]同[0-9]
[:graph:]所有ASCII33~166范圍內(nèi)可以打印的字符
[:lower:]同[a-z]
[:punct:]標(biāo)點(diǎn)符號(hào)
[:upper:]同[A-Z]
[:space:]空白字符，可以是空格、水平制表符、換行、換頁、回車
[:xdigit:]十六進(jìn)制符同[a-fA-F0-9]

廢話不多說，直接上我的源碼吧，有什么不懂的可以上百度查查。

以下為引用的內(nèi)容：
<?php
header("Content-type: text/html; charset=utf-8");
getinfo("http://rss.sina.com.cn/rollnews/news/gn_total.js",1);
getinfo("http://rss.sina.com.cn/rollnews/news/gj_total.js",2);
getinfo("http://rss.sina.com.cn/rollnews/news/sh_total.js",3);
getinfo("http://rss.sina.com.cn/rollnews/sports/sports_total.js",4);
getinfo("http://rss.sina.com.cn/rollnews/tech/tech1_total.js",5);
getinfo("http://rss.sina.com.cn/rollnews/finance/finance1_news_total.js",6);
getinfo("http://rss.sina.com.cn/rollnews/ent/ent_total.js",7);
getinfo("http://rss.sina.com.cn/rollnews/jczs/jczs_total.js",8);
function getinfo($infourl,$catid)
{
    $pagecontent=getwebcontent($infourl);
    preg_match_all("/title:\"(.*?)\"/", $pagecontent, $match);
    $titlearr=$match[1];
    preg_match_all("/link:\"(.*?)\"/", $pagecontent, $match);
    $urlarr=$match[1];
    for ($i=1;$i<count($urlarr);$i++){
        echo "go {$titlearr[$i-1]}\n";
        $title=iconv("gbk","utf-8",$titlearr[$i-1]);
        $content=iconv("gbk","utf-8",getnewscontent($urlarr[$i]));
        $content=mysql_escape_string($content);
        if(!insertdb($title,$content,$catid)) break;
    }
}
function insertdb($title,$content,$catid){
    將數(shù)據(jù)寫入你的庫
}
function getnewscontent($newsurl){
    $newscontent=getwebcontent($newsurl);
    preg_match_all("/<div class=\"blkContainerSblkCon\" id=\"artibody\">([\s\S]*?)/",$newscontent,$match);
    $content=preg_replace("/<a.*?<\/a>/si","",$match[1][0]);
    $content=preg_replace("/<div style=\"overflow:hidden;zoom:1;\" class=\"otherContent_01\">.*?<\/div>/si","",$content);
    $content=preg_replace("/<div class=\"blk-video\">.*?<div class=\"clearcl\"><\/div>/si","",$content);
    $content=str_replace("<div style=\"clear:both;height:0;visibility:hiddden;overflow:hidden;\"></div>","",$content);
    return $content;
}
function getwebcontent($url){
    $ch = curl_init();
    $timeout = 10;
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
    curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
    $contents = trim(curl_exec($ch));
    curl_close($ch);
    return $contents;
}
?>

然后如何實(shí)現(xiàn)比較實(shí)時(shí)的同步呢，這可以利用windows下的任務(wù)計(jì)劃或linux下的crontab 了，定時(shí)（比如十分鐘）執(zhí)行這個(gè)程序，這樣，你就不再愁網(wǎng)站沒有內(nèi)容了。

分享：共享西西弗斯自動(dòng)求職系統(tǒng)
做這個(gè)系統(tǒng)的背景是前段時(shí)間幫女朋友找工作，大家也許都有過這樣的感受，發(fā)出一份份簡(jiǎn)歷都石沉大海，為什么呢？經(jīng)過測(cè)試，我發(fā)現(xiàn)是因?yàn)猷]件的閱讀率并不高，也就是說你發(fā)出的大多數(shù)簡(jiǎn)歷別人看都沒有看過，更不用說約你面試了。怎么辦呢？只能靠一種戰(zhàn)術(shù)----

PHP在線視頻教程 PHP視頻教程打包下載

PHP+MYSQL網(wǎng)站設(shè)計(jì)入門實(shí)踐

PHP100視頻教程DVD光盤-第二季

PHP??LAMP兄弟連原創(chuàng)視頻教程

來源：模板無憂/所屬分類：PHP教程/更新時(shí)間：2009-12-08

[收藏][報(bào)錯(cuò)][返回列表]

相關(guān)PHP教程：

如何讓你的站跟新浪的新聞數(shù)據(jù)保持同步_PHP教程

PHP在線視頻教程 PHP視頻教程打包下載

PHP教程Rss訂閱編程教程搜索

PHP教程推薦

猜你也喜歡看這些