爬虫一向都很有意思，当你把想要的内容从网络中抓取并保存下来的时候，一定会得到“占有”它的满满的幸福感 (๑´ڡ`๑)
\n大部分爬虫是很繁琐的，需要手动写出许多规则来过滤大部分的无效内容；有些就很简单了，可以通过网站提供的 API 来获取信息，这也是为开发者们提供的便利。本文主要记录爬取 一言 - ヒトコト 站点 API 的过程。
\n\n爬取通过 API 能够得到的所有内容，基于 Node.js 。
\n使用 MongoDB 存储数据，mongoose 操作数据。
\n首先访问一次 API 地址：http://api.hitokoto.us/rand，看看它到底提供了哪些数据（手动格式化了一下）：
\n{\n \"hitokoto\": \"我从小就害怕虫子\",\n \"cat\": \"g\",\n \"author\": \"firo\",\n \"source\": \"小小闲\",\n \"like\": 9,\n \"date\": \"2012.07.22 12:02:01\",\n \"catname\": \"其他\",\n \"id\": 1342929721000\n}随后就能组织写入数据库的数据结构了，与上述 json 数据格式保持一致，保存并命名为 hitokoto.js：
\nvar mongoose = require('mongoose');\nvar Schema = mongoose.Schema;\n\n// 新建 Schema\nvar hitokotoSchema = new Schema({\n hitokoto: String,\n cat: String,\n author: String,\n source: String,\n like: Number,\n date: String,\n catname: String,\n _id: Number,\n});\n\n// 导出 model\nmodule.exports = mongoose.model('Hitokoto', hitokotoSchema);然后新建 index.js 文件，导入上面的数据模型，获取 API 信息并根据已经组织好的数据结构写入数据库：
\nvar Hitokoto = require('./hitokoto');\nvar mongoose = require('mongoose');\nvar http = require('http');\n\n// 连接数据库，首先确保已在本地运行 mongod\nmongoose.connect('mongodb://localhost/hitokoto');\nmongoose.connection.on('error', function() {\n console.log('mongodb connection error');\n});\n\n// 循环发送 GET 请求\n// 不用 setTimeout，任性，可能造成的问题暂时不管了 XD\nsetInterval(function() {\n http\n .get('http://api.hitokoto.us/rand', function(res) {\n res.on('data', function(chunk) {\n // 以 JSON 格式取得数据\n data = JSON.parse(chunk);\n // 查询获取到的数据是否已经写入数据库\n Hitokoto.find({ _id: data.id }, function(err, current) {\n if (err) return console.log(err);\n\n // 是则立即返回，进行下一次读取\n if (current.length != 0) return;\n // 否则将新数据写入数据库\n var hitokoto = new Hitokoto({\n hitokoto: data.hitokoto,\n cat: data.cat,\n author: data.author,\n source: data.source,\n like: data.like,\n date: data.date,\n catname: data.catname,\n _id: data.id,\n });\n\n hitokoto.save(function(err) {\n if (err) return console.log(err);\n console.log(data.id + ' saved!');\n });\n });\n });\n })\n .on('error', function(err) {\n console.log(err);\n });\n}, 1500); // 读取时间间隔1.5秒最后应该就可以正常运行了，保存成功的 id 值会在终端进行输出：
\nnpm install mongoose\nnode index.js截止到目前为止，共获取到 483 条一言的数据，可能还有几条，也可能没有了，不知道有没有办法知道是否全部爬完，或者有更高效的方法进行爬取？
\n其实本想把一言这么好玩的东西放进博客的，无奈审美太渣，感觉放哪儿都不好看，还是不破坏主题了，就这样吧 233
","frontmatter":{"title":"Hitokoto.us（一言）的 API 爬虫","date":"2015 年 05 月 05 日","description":null}}},"pageContext":{"slug":"/web-crawler-for-hitokoto/","previous":{"fields":{"slug":"/install-sublime-linter/"},"frontmatter":{"title":"整理 SublimeLinter 的安装步骤"}},"next":{"fields":{"slug":"/hexo-cfg/"},"frontmatter":{"title":"Hexo 设置备份"}}}}}