ページ

▼
ラベル node.js の投稿を表示しています。 すべての投稿を表示
ラベル node.js の投稿を表示しています。 すべての投稿を表示
2015年11月16日月曜日

node.jsでRSSをパースする

›
この前までクローリングとかやったので、今度はRSSをパースしてみる。 ここでnodeでXMLを読み込む際に便利なxml2jsをインストールしておく # /usr/local/node/bin/npm install xml2js xml2js@0.4.15 node_mod...
2015年11月10日火曜日

特定サイトをクローリングする

›
ある特定のドメインのサイトを一定階層までダウンロードしてみる。 /** * メイン処理 */ // ライブラリ読み込み var client = require('cheerio-httpcli'); var request = require(...
2015年11月9日月曜日

取得したHTMLから画像ファイルだけを抽出してダウンロードする

›
取得したHTMLから画像リンクだけを抽出する。 これはリンクを抽出をした場合とほぼ一緒。aタグかimgタグかだけの違い。 var client = require('cheerio-httpcli'); var URL = require(...
2015年11月8日日曜日

node.jsでHTMLスクレイピングしてリンクを抽出する

›
node.jsでスクレイピングする時に便利なcheerio-httpcliをインストールしておく。 一応、インストール時の出力をメモ代わりに残しておこう。 # /usr/local/node/bin/npm install cheerio-httpcli cheerio-h...