nodejs--npm常用命令及nodejs执行文件、fs（writeFileSync readFileSync mkdirSync mkdir statSync ）、axios和cheerio_axios fs.readfilesync

npm

npm

npm 是 nodejs 的包管理工具。千万千万别再用 cnpm 了

# npm安装插件的时候会特别慢，可以通过设置淘宝镜像来解决这个问题
npm i nrm -g # 安装一个nrm模块，用来切换npm的仓库镜像地址
nrm ls # 列出当前可以使用的镜像仓库地址
nrm use taobao # 设置当前的安装仓库镜像地址为淘宝镜像， 此操作在一台电脑只需要设置一次就好
1
2
3
4

npm 中常用的命令

npm init # 初始化一个node项目
npm i xx # 安装依赖项
npm i xx -g # 全局安装
npm i xx@version # 安装指定版本的模块
npm uninstall xx # 卸载模块
1
2
3
4
5

nodejs 执行文件

node xx # node加文件名
1

方法二：

nodejs常用模块

FileSystem文件系统，是nodejs中的一个很常用的基础模块，可以操作系统文件
因为fs是一个内置模块 ，创建一个文件夹后，在内部需要先 执行命令 npm init -y 此时 文件夹会新增一个名为package.json的文件 在进行一下相关的操作

fs

// commonJS
const fs = require('fs'); // 引入fs模块
// require引入模块的时候会先从系统内置模块(包)中查找模块名
//  然后再去node_modules目录中查找，node_modules文件夹是我们通过npm i 安装的第三方依赖所在的目录
//  最后在当前项目中查找
1
2
3
4
5

writeFile

fs.writeFileSync  写入文件（写入时第一个参数可创建文件）
fs.writeFile 	异步写文件

const fs = require("fs");
// 同步的方式写入文件
//  参数一表示文件名(如果有这个文件就添加内容，如果没有就创建文件并添加内容)
//  参数二表示文件内容
fs.writeFileSync("./你好.txt", "我是一段文字，很长很长。。。");
console.log("同步的写文件");

// 异步写文件（当页面中的console都打印完即运行完 再来执行此函数）
fs.writeFile("./你好2.txt", "我还是一段文字", function (e) {
  if (e) {
    console.log(e);
  }
  console.log("写入文件完成");
});
console.log("写文件");
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

const fs = require("fs");
const people = [
  {
    id: 1,
    name: "MT",
  },
  {
    id: 2,
    name: "沈剑心",
  },
  {
    id: 3,
    name: "哪吒",
  },
];

fs.writeFileSync("./people.json", JSON.stringify(people));
//people.json文件中的内容变成 [{"id":1,"name":"MT"},{"id":2,"name":"沈剑心"},{"id":3,"name":"哪吒"}]  是个对象，不是字符串
// 所以在这里JSON.stringify 不是装换成json字符串的意思 ，且必须存在不能去掉，也不能改成JSON.parse。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

readflie

fs.readFileSync 读取文件

const fs = require("fs");

// 同步的方式读取文件
//  文件路径
const res = fs.readFileSync("./people.json").toString();
// console.log(res);
// console.log(JSON.parse(res).length);
//不能去掉 toString  否则会出现下图所示 字节
// 需要先toString转换成字符串 然后parse变成对象
const people = JSON.parse(res);
let strHtml = "<ul>";
people.forEach((person) => (strHtml += `<li>${person.name}</li>`));
strHtml += "</ul>";
fs.writeFileSync("./people.html", strHtml); // 可以在文件夹里里面生成一个网页文件
// people.html 文件中的内容是变成 <ul><li>MT</li><li>沈剑心</li><li>哪吒</li></ul>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

fs目录操作

fs.mkdirSync          创建文件夹（即目录）
fs.mkdir                  异步创建目录
fs.statSync             获取文件的数据
fs.existsSync          判断指定的文件是否存在

const fs = require("fs");
fs.mkdirSync("./data/20200629", {
  recursive: true, // 循环进行创建
}); // 创建文件夹

// 创建一个文件夹名为data ，在它的内部在创建一个名为name的文件夹
// 多用于循环
fs.mkdirSync("./data/"+name, {
  recursive: true, 
}); 

// nodejs的很多操作都是异步
//  在异步操作的回调函数中 第一个参数表示异常信息
//  nodejs的默认机制是错误优先

// 异步的创建目录
fs.mkdir(
  "./data/2020",
  {
    recursive: true,
  },
  function (err) {
    if (err) {
      console.log(err);
    }
    console.log("完成");
  }
);

// 获取文件的数据
const stat = fs.statSync("./你好2.txt");
console.log(stat);

// existsSync判断指定的文件是否存在
console.log(fs.existsSync("./books"));

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

爬虫

爬虫又叫网络蜘蛛，可以去其他网站上进行数据抓取

当系统上线之前，会去友商的平台上做数据爬取。把数据存储到自己的系统中

国内做爬虫的常用开发语言:python、java、php。nodejs也能写爬虫

需要使用到的插件

# axios 用来发起网络请求的插件，这个插件是以后我们需要经常使用到的.axios不止能在nodejs中使用还能在浏览器中使用
# cheerio 用来对字符串做解析，可以把字符串转换为类jQ对象的形式，进行解析
npm i axios cheerio # 安装插件,在npm安装模块的时候，可以一次安装多个,多个用空格分割
1
2
3

axios 、cheerio 和 fs.mkdirSync

const fs = require("fs");
const cheerio = require("cheerio");
const axios = require("axios").default; // 发起一个网络请求获取数据
// cheerio.load 把一个字符串转换为一个类似于jQ的对象
// const $ = cheerio.load(`<div class="content">
//   <h1>我是一个h1标签</h1>
//   <p>我是一个p标签</p>
// </div>`);
const books = [];
axios
  .get(
    "https://www.17k.com/top/refactor/top100/01_subscribe/01_subscribe__top_100_pc.html"
  )
  .then((res) => {
  	// cheerio把字符串转换为类jQ对象的形式
    const $ = cheerio.load(res.data);

    $(".BOX")
      .eq(0) // 获取指定索引位置的数据，返回一个jq实例
      .find("table tr") // find 查找符合元素选择条件的数据
      .each(function (index) {
        if (index > 0) {
          // 不取第一项
          // console.log($(this).find("td").eq(2).find("a").text());
          let book = {};
          book.id = index;
          book.title = $(this).find("td").eq(2).find("a").text();
          book.link =
            "https:" + $(this).find("td").eq(2).find("a").attr("href");
          fs.mkdirSync("./books/" + book.title, {
            recursive: true,
          });
          books.push(book);
        }
      });
    fs.writeFileSync("./books.json", JSON.stringify(books));
  });

// console.log($("h1").text());

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40