ページ

▼
ラベル JavaScript の投稿を表示しています。 すべての投稿を表示
ラベル JavaScript の投稿を表示しています。 すべての投稿を表示
2015年11月20日金曜日

CasperJSでログインしてみよう

›
今回はCasperJSを使って、よく使う朝日新聞デジタルの無料会員IDでログインをしてみる。 ログイン部分のソースを確認して,form名やテキストボックスの名前を取得する。 var user = "ユーザ名"; var pass = "パスワ...
2015年11月18日水曜日

CasperJSでFlickrの検索結果を取得する

›
先ほどの画面キャプチャの応用というか、横展開というか。 // CasperJSオブジェクトの生成 var casper = require('casper').create(); // これ以降、run()メソッドまでの前の処理がrun()実行時に行われる ...

（続）CasperJSで画面キャプチャを撮る〜日本語を利用できるようにする

›
タイトルの通り、 昨日 の続き。なるほど、 TTFフォントをインストールしていない からフォントが豆腐になったのか。 Linuxなので IPAフォント を使ってみよう。書体はゴシックでいいや。 # wget http://dl.ipafont.ipa.go.jp/IPAe...
2015年11月17日火曜日

CasperJSで画面キャプチャを撮る

›
CasperJSで画面キャプチャも取れるらしい。マニュアルとか作る時超便利やんなんか思いながらやってみる。 // CasperJSオブジェクトの生成 var casper = require('casper').create(); // これ以降、run()...
2015年11月16日月曜日

PhantomJSとCasperJS

›
世の中にはいろいろ便利なJavaScriptのライブラリがあるものです。今回はコマンドラインから利用できる PhantomJS と、そのPhantomJSを便利に使うことができるようになる CasperJS を使ってみる。 まずはインストールから。npmを使う。 # /u...

node.jsでRSSをパースする

›
この前までクローリングとかやったので、今度はRSSをパースしてみる。 ここでnodeでXMLを読み込む際に便利なxml2jsをインストールしておく # /usr/local/node/bin/npm install xml2js xml2js@0.4.15 node_mod...
2015年11月10日火曜日

特定サイトをクローリングする

›
ある特定のドメインのサイトを一定階層までダウンロードしてみる。 /** * メイン処理 */ // ライブラリ読み込み var client = require('cheerio-httpcli'); var request = require(...
2015年11月9日月曜日

取得したHTMLから画像ファイルだけを抽出してダウンロードする

›
取得したHTMLから画像リンクだけを抽出する。 これはリンクを抽出をした場合とほぼ一緒。aタグかimgタグかだけの違い。 var client = require('cheerio-httpcli'); var URL = require(...
2015年11月8日日曜日

node.jsでHTMLスクレイピングしてリンクを抽出する

›
node.jsでスクレイピングする時に便利なcheerio-httpcliをインストールしておく。 一応、インストール時の出力をメモ代わりに残しておこう。 # /usr/local/node/bin/npm install cheerio-httpcli cheerio-h...