軟件帝為你帶來火車采集器(LocoySpider) 9.12綠色安裝版免費下載。
火車采集器系統支持遠程圖片下載,圖片批量水印,Flash下載,下載文件地址探測,自制作發表的cms模塊參數,自定義發表的內容等有關采集器。火車采集器對于數據的采集其可以分為兩部分,一是采集數據,二是發布數據。
火車采集器功能:
火車采集器(LocoySpider)是一款功能強大且易于上手的專業采集軟件,強大的內容采集和數據導入功能能將您采集的任何網頁數據發布到遠程服務器,自定
火車頭采集器標志
火車頭采集器標志
義用戶cms系統模塊,不管你的網站是什么系統,都有可能使用上火車采集器,系統自帶的模塊文件支持:風訊文章,動易文章,動網論壇,PHPWIND論壇,Discuz論壇,phpcms文章,phparticle文章,LeadBBS論壇,魔力論壇,Dedecms文章,Xydw文章,驚云文章等的模塊文件。更多cms模塊請自己參照制作修改,也可到官方網站與大家交流制作。 同時您也可以使用系統的數據導出功能,利用系統內置標簽,將采集到的數據對應表的字段導出到本地任何一款Access,MySql,MS SqlServer內。
LocoySpider采用Visual C編寫,可獨立在Windows2008下運行(windows2003 自帶.net1.1框架。最新版的火車采集器是2008版,需要升級到.net2.0框架才能使用),如您在Windows2000、Xp等環境下使用,請先到微軟官方下載一個.net framework2.0或更高環境組件?;疖嚥杉鱒2009 SP2 04月29日
數據抓取原理
火車采集器如何去抓取數據,取決于您的規則。您要獲取一個欄目的網頁里的所有內容,需要先將這個網頁的網址采下來,這就是采網址。程序按您的規則抓取列表頁面,從中分析出網址,然后再去抓取獲得網址的網頁里的內容。再根據您的采集規則,對下載到的網頁分析,將標題內容等信息分離開來并保存下來。如果您選擇了下載圖片等網絡資源,程序會對采集到的數據進行分析,找出圖片,資源等的下載地址并下載到本地。
數據發布原理
在我們將數據采集下來后數據默認是保存在本地的,我們可以使用以下幾種方式對數據進行處理。
1、不做任何處理。因為數據本身是保存在數據庫的(access、db3、mysql、sqlserver),您如果只是查看數據,直接用相關軟件打開查看即可。
2、Web發布到網站。程序會模仿瀏覽器向您的網站發送數據,可以實現您手工發布的效果。
3、直接入數據庫。您只需寫幾個SQL語句,程序會將數據按您的SQL語句導入到數據庫中。
4、保存為本地文件。程序會讀取數據庫里的數據,按一定格式保存為本地sql或是文本文件。
工作流程
火車采集器采集數據是分成兩個步驟的,一是采集數據,二是發布數據。這兩個過程是可以分開的。
1、采集數據,這個包括采集網址,采集內容。這個過程是獲得數據的過程。我們做規則,在采的過程中也算是對內容做了處理。
2、發布內容就是將數據發布到自己的論壇,CMS的過程,也是實現數據為已有的過程??梢杂肳EB在線發布,數據庫入庫或存為本地文件。
具體的使用其實是很靈活的,可以根據實際來決定。比如我可以采集時先采集不發布,有時間了再發布,或是同時采集發布,或是先做發布配置,也可以在采集完了再添加發布配置??傊?,具體過程由您而定,火車采集器的強大功能之一也就是體現在靈活中。
????火車采集器V9.9版
1.優化效率修復運行大量任務時運行卡頓問題
2.修復大量代理時配置文件鎖死程序退出問題
3.修復部分情況下mysql鏈接不上問題
4.其它界面和功能優化
火車采集器V9.8版
1: “遠程管理” 正式升級為 “私有云”,全面優化調整。
2: 發布模塊增加自定義頭信息的增加。
3: 采集線程間隔調整,增加自定義區間設置。
4:長時間使用后的運行卡頓問題修復。
5: 二級代理,IP輸入框修改為普通TextBox。增加代理免驗證的功能。
6: 分組丟失、死循環問題修復。
7: ftp上傳,增加超時處理。
火車采集器火車采集器V9.6版
1: 多級網址列表,對于列表名增加重命名功能以及上下調整的功能。
2: 修復SqlServer數據庫格式下,未能正確顯示采集數量的問題。
3: 修復在新增標簽時,若上一個編輯為固定格式數據,則新增的標簽顯示內容錯誤的問題。
4: 修復數據包登錄中,若登錄失效,未能自動重新登錄的問題。
5: 修復FTP上傳失敗后,本地數據也被刪除的問題。
6: 修復邊采集邊發時,文件上傳FTP失敗的問題。
7: 優化Excel保存時,對于ID,PageUrl顯示列的位置。
8: 修復任務不能多選操作的問題。
9: 邊采集邊發布時,最大發布數的功能調整(原:最大發布數無效。 現:最大發布數生效,且在任務完成后,不會將以前的未發布數據再次發布)
10:修復對于存儲過程語句,當數據為空值時,意外判斷為“語句錯誤”的問題。
11:二級代理功能,修復定時撥號失效的問題。
12:二級代理功能,定時獲取API功能優化,重新獲取時,會自動刪除上一批數據。
13:批量網址增加數據庫導入的模式
14:導出到文件時,對于不合理的錯誤命名增加提示。
15:導出規則時,對于規則名稱過長的規則,增加提示的功能。
16:規則編輯時,對于“包含”、“不包含”數據,復制粘貼多行時,會自動區分為多個數據。
17:添加對于芝麻代理的合作支持。
火車采集器V9.4版
1,批量網址更新,日期可以支持大于今天的數據。標簽可以采用多參數同步變化
2,標簽組合,增加對于循環組合的支持。
3,優化網址庫排重邏輯,大大加快大網址庫下的任務加載速度,優化網址庫排重內存占用。
4,數據庫發布模塊,增加“insert ignore”模式的支持
5, 新增任務的云端備份、同步功能
6,http遠程服務器,增加對于單條數據修改的API支持。
7,水印增加指定大小的壓縮功能
8,修復FTP,SFTP鏈接未能正確斷開的問題
9,修復Word2007無法保存圖片的問題
10,修復標簽超長時候的顯示錯誤問題。
11,修復標簽數據替換中的替換錯誤問題。
12,修復了數據倒序發布的問題。
13,優化了幾個會導致采集器長時間運行后內存無法釋放的問題。
??? 
軟件帝精品

軟件帝正在為你下載火車采集器(LocoySpider) 9.12綠色安裝版
今日熱點
猜你喜歡: