当前位置:   article > 正文

利用正则表达式进行爬取数据以及正则表达式的一些使用方法_正则表达时获取的数据

正则表达时获取的数据

1.8 本地数据爬取

Pattern:表示正则表达式 Matcher:文本匹配器,作用按照正则表达式的规则去读取字符串,从头开始读取。 在大串中去找符合匹配规则的子串。

代码示例:

  1. package com.itheima.a08regexdemo;
  2. import java.util.regex.Matcher;
  3. import java.util.regex.Pattern;
  4. public class RegexDemo6 {
  5.    public static void main(String[] args) {
  6.        /* 有如下文本,请按照要求爬取数据。
  7.                Java自从95年问世以来,经历了很多版本,目前企业中用的最多的是Java8和Java11,
  8.                因为这两个是长期支持版本,下一个长期支持版本是Java17,相信在未来不久Java17也会逐渐登上历史舞台
  9.                要求:找出里面所有的JavaXX
  10.         */
  11.        String str = "Java自从95年问世以来,经历了很多版本,目前企业中用的最多的是Java8和Java11," +
  12.                "因为这两个是长期支持版本,下一个长期支持版本是Java17,相信在未来不久Java17也会逐渐登上历史舞台";
  13.        //1.获取正则表达式的对象
  14.        Pattern p = Pattern.compile("Java\\d{0,2}");
  15.        //2.获取文本匹配器的对象
  16.        //拿着m去读取str,找符合p规则的子串
  17.        Matcher m = p.matcher(str);
  18.        //3.利用循环获取
  19.        while (m.find()) {
  20.            String s = m.group();
  21.            System.out.println(s);
  22.       }
  23.   }
  24.    private static void method1(String str) {
  25.        //Pattern:表示正则表达式
  26.        //Matcher: 文本匹配器,作用按照正则表达式的规则去读取字符串,从头开始读取。
  27.        //         在大串中去找符合匹配规则的子串。
  28.        //获取正则表达式的对象
  29.        Pattern p = Pattern.compile("Java\\d{0,2}");
  30.        //获取文本匹配器的对象
  31.        //m:文本匹配器的对象
  32.        //str:大串
  33.        //p:规则
  34.        //m要在str中找符合p规则的小串
  35.        Matcher m = p.matcher(str);
  36.        //拿着文本匹配器从头开始读取,寻找是否有满足规则的子串
  37.        //如果没有,方法返回false
  38.        //如果有,返回true。在底层记录子串的起始索引和结束索引+1
  39.        // 0,4
  40.        boolean b = m.find();
  41.        //方法底层会根据find方法记录的索引进行字符串的截取
  42.        // substring(起始索引,结束索引);包头不包尾
  43.        // (0,4)但是不包含4索引
  44.        // 会把截取的小串进行返回。
  45.        String s1 = m.group();
  46.        System.out.println(s1);
  47.        //第二次在调用find的时候,会继续读取后面的内容
  48.        //读取到第二个满足要求的子串,方法会继续返回true
  49.        //并把第二个子串的起始索引和结束索引+1,进行记录
  50.        b = m.find();
  51.        //第二次调用group方法的时候,会根据find方法记录的索引再次截取子串
  52.        String s2 = m.group();
  53.        System.out.println(s2);
  54.   }
  55. }

1.9 网络数据爬取(了解)

需求:

把连接:https://m.sengzan.com/jiaoyu/29104.html?ivk sa=1025883i中所有的身份证号码都爬取出来。

代码示例:

  1. public class RegexDemo7 {
  2.    public static void main(String[] args) throws IOException {
  3.        /* 扩展需求2:
  4.            把连接:https://m.sengzan.com/jiaoyu/29104.html?ivk sa=1025883i
  5.            中所有的身份证号码都爬取出来。
  6.        */
  7.        //创建一个URL对象
  8.        URL url = new URL("https://m.sengzan.com/jiaoyu/29104.html?ivk sa=1025883i");
  9.        //连接上这个网址
  10.        //细节:保证网络是畅通
  11.        URLConnection conn = url.openConnection();//创建一个对象去读取网络中的数据
  12.        BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream()));
  13.        String line;
  14.        //获取正则表达式的对象pattern
  15.        String regex = "[1-9]\\d{17}";
  16.        Pattern pattern = Pattern.compile(regex);//在读取的时候每次读一整行
  17.        while ((line = br.readLine()) != null) {
  18.            //拿着文本匹配器的对象matcher按照pattern的规则去读取当前的这一行信息
  19.            Matcher matcher = pattern.matcher(line);
  20.            while (matcher.find()) {
  21.                System.out.println(matcher.group());
  22.           }
  23.       }
  24.        br.close();
  25.   }
  26. }

1.10 爬取数据练习

需求:

把下面文本中的座机电话,邮箱,手机号,热线都爬取出来。

来黑马程序员学习Java,手机号:18512516758,18512508907或者联系邮箱:boniu@itcast.cn,座机电话:01036517895,010-98951256邮箱:bozai@itcast.cn,热线电话:400-618-9090 ,400-618-4000,4006184000,4006189090手机号的正则表达式:1[3-9]\d{9}

代码示例:

  1. package com.itheima.a08regexdemo;
  2. import java.util.regex.Matcher;
  3. import java.util.regex.Pattern;
  4. public class RegexDemo8 {
  5.    public static void main(String[] args) {
  6.        /*
  7.            需求:把下面文本中的座机电话,邮箱,手机号,热线都爬取出来。
  8.            来黑马程序员学习Java,
  9.            手机号:18512516758,18512508907或者联系邮箱:boniu@itcast.cn,
  10.            座机电话:01036517895,010-98951256邮箱:bozai@itcast.cn,
  11.            热线电话:400-618-9090 ,400-618-4000,4006184000,4006189090
  12.            手机号的正则表达式:1[3-9]\d{9}
  13.            邮箱的正则表达式:\w+@[\w&&[^_]]{2,6}(\.[a-zA-Z]{2,3}){1,2}座机电话的正则表达式:θ\d{2,3}-?[1-9]\d{4,9}
  14.            热线电话的正则表达式:400-?[1-9]\\d{2}-?[1-9]\\d{3}
  15.        */
  16.        String s = "来黑马程序员学习Java," +
  17.                "电话:18512516758,18512508907" + "或者联系邮箱:boniu@itcast.cn," +
  18.                "座机电话:01036517895,010-98951256" + "邮箱:bozai@itcast.cn," +
  19.                "热线电话:400-618-9090 ,400-618-4000,4006184000,4006189090";
  20.        System.out.println("400-618-9090");
  21.        String regex = "(1[3-9]\\d{9})|(\\w+@[\\w&&[^_]]{2,6}(\\.[a-zA-Z]{2,3}){1,2})" +
  22.                "|(0\\d{2,3}-?[1-9]\\d{4,9})" +
  23.                "(400-?[1-9]\\d{2}-?[1-9]\\d{3})";
  24.        //1.获取正则表达式的对象
  25.        Pattern p = Pattern.compile(regex);
  26.        //2.获取文本匹配器的对象
  27.        //利用m去读取s,会按照p的规则找里面的小串
  28.        Matcher m = p.matcher(s);
  29.        //3.利用循环获取每一个数据 while(m.find()){
  30.        String str = m.group();
  31.        System.out.println(str);
  32.   }
  33. }

1.11 按要求爬取

需求:

有如下文本,按要求爬取数据。

Java自从95年问世以来,经历了很多版本,目前企业中用的最多的是Java8和Java11,因为这两个是长期支持版本,下一个长期支持版本是Java17,相信在未来不久Java17也会逐渐登上历史舞台。

需求1:

爬取版本号为8,11.17的Java文本,但是只要Java,不显示版本号。

需求2:

爬取版本号为8,11,17的Java文本。正确爬取结果为:Java8 Java11 Java17 Java17

需求3:

爬取除了版本号为8,11,17的Java文本。 代码示例:

  1. public class RegexDemo9 {
  2.    public static void main(String[] args) {
  3.        /*
  4.            有如下文本,按要求爬取数据。
  5.                Java自从95年问世以来,经历了很多版本,目前企业中用的最多的是Java8和Java11,
  6.                因为这两个是长期支持版本,下一个长期支持版本是Java17,相信在未来不久Java17也会逐渐登上历史舞台
  7.            需求1:爬取版本号为8,11.17的Java文本,但是只要Java,不显示版本号。
  8.            需求2:爬取版本号为8,11,17的Java文本。正确爬取结果为:Java8 Java11 Java17 Java17
  9.            需求3:爬取除了版本号为8,11.17的Java文本,
  10.        */
  11.        String s = "Java自从95年问世以来,经历了很多版本,目前企业中用的最多的是Java8和Java11," +
  12.            "因为这两个是长期支持版本,下一个长期支持版本是Java17,相信在未来不久Java17也会逐渐登上历史舞台";
  13.        //1.定义正则表达式
  14.        //?理解为前面的数据Java
  15.        //=表示在Java后面要跟随的数据
  16.        //但是在获取的时候,只获取前半部分
  17.        //需求1:
  18.        String regex1 = "((?i)Java)(?=8|11|17)";
  19.        //需求2:
  20.        String regex2 = "((?i)Java)(8|11|17)";
  21.        String regex3 = "((?i)Java)(?:8|11|17)";
  22.        //需求3:
  23.        String regex4 = "((?i)Java)(?!8|11|17)";
  24.        Pattern p = Pattern.compile(regex4);
  25.        Matcher m = p.matcher(s);
  26.        while (m.find()) {
  27.            System.out.println(m.group());
  28.       }
  29.   }
  30. }

1.12 贪婪爬取和非贪婪爬取

只写+和表示贪婪匹配,如果在+和后面加问号表示非贪婪爬取
+? 非贪婪匹配
*? 非贪婪匹配
贪婪爬取:在爬取数据的时候尽可能的多获取数据
非贪婪爬取:在爬取数据的时候尽可能的少获取数据
​
举例:
如果获取数据:ab+
贪婪爬取获取结果:abbbbbbbbbbbb
非贪婪爬取获取结果:ab

代码示例:

  1. public class RegexDemo10 {
  2.    public static void main(String[] args) {
  3.        /*
  4.            只写+和*表示贪婪匹配
  5.            +? 非贪婪匹配
  6.            *? 非贪婪匹配
  7.            贪婪爬取:在爬取数据的时候尽可能的多获取数据
  8.            非贪婪爬取:在爬取数据的时候尽可能的少获取数据
  9.            ab+:
  10.            贪婪爬取:abbbbbbbbbbbb
  11.            非贪婪爬取:ab
  12.        */
  13.        String s = "Java自从95年问世以来,abbbbbbbbbbbbaaaaaaaaaaaaaaaaaa" +
  14.                "经历了很多版木,目前企业中用的最多的是]ava8和]ava11,因为这两个是长期支持版木。" +
  15.                "下一个长期支持版本是Java17,相信在未来不久Java17也会逐渐登上历史舞台";
  16.        String regex = "ab+";
  17.        Pattern p = Pattern.compile(regex);
  18.        Matcher m = p.matcher(s);
  19.        while (m.find()) {
  20.            System.out.println(m.group());
  21.       }
  22.   }
  23. }

1.13 String的split方法中使用正则表达式

  • String类的replaceAll()方法原型:

  1. public String replaceAll(String regex,String newStr)
  2. //参数regex表示一个正则表达式。可以将当前字符串中匹配regex正则表达式的字符串替换为newStr。
  • 代码示例:

  1. /*
  2.            有一段字符串:小诗诗dqwefqwfqwfwq12312小丹丹dqwefqwfqwfwq12312小惠惠
  3.            要求1:把字符串中三个姓名之间的字母替换为vs
  4.            要求2:把字符串中的三个姓名切割出来*/
  5. String s = "小诗诗dqwefqwfqwfwq12312小丹丹dqwefqwfqwfwq12312小惠惠";
  6. //细节:
  7. //方法在底层跟之前一样也会创建文本解析器的对象
  8. //然后从头开始去读取字符串中的内容,只要有满足的,那么就用第一个参数去替换。
  9. String result1 = s.replaceAll("[\\w&&[^_]]+", "vs");
  10. System.out.println(result1);

1.15 正则表达式-分组括号( )

细节:如何识别组号?

只看左括号,不看有括号,按照左括号的顺序,从左往右,依次为第一组,第二组,第三组等等

/
  1. //需求1:判断一个字符串的开始字符和结束字符是否一致?只考虑一个字符
  2. //举例: a123a b456b 17891 &abc& a123b(false)
  3. // \\组号:表示把第X组的内容再出来用一次
  4. String regex1 = "(.).+\\1";
  5. System.out.println("a123a".matches(regex1));
  6. System.out.println("b456b".matches(regex1));
  7. System.out.println("17891".matches(regex1));
  8. System.out.println("&abc&".matches(regex1));
  9. System.out.println("a123b".matches(regex1));
  10. System.out.println("--------------------------");
  11. //需求2:判断一个字符串的开始部分和结束部分是否一致?可以有多个字符
  12. //举例: abc123abc b456b 123789123 &!@abc&!@ abc123abd(false)
  13. String regex2 = "(.+).+\\1";
  14. System.out.println("abc123abc".matches(regex2));
  15. System.out.println("b456b".matches(regex2));
  16. System.out.println("123789123".matches(regex2));
  17. System.out.println("&!@abc&!@".matches(regex2));
  18. System.out.println("abc123abd".matches(regex2));
  19. System.out.println("---------------------");
  20. //需求3:判断一个字符串的开始部分和结束部分是否一致?开始部分内部每个字符也需要一致
  21. //举例: aaa123aaa bbb456bbb 111789111 &&abc&&
  22. //(.):把首字母看做一组
  23. // \\2:把首字母拿出来再次使用
  24. // *:作用于\\2,表示后面重复的内容出现日次或多次
  25. String regex3 = "((.)\\2*).+\\1";
  26. System.out.println("aaa123aaa".matches(regex3));
  27. System.out.println("bbb456bbb".matches(regex3));
  28. System.out.println("111789111".matches(regex3));
  29. System.out.println("&&abc&&".matches(regex3));
  30. System.out.println("aaa123aab".matches(regex3));

1.16 分组练习

需求:

将字符串:我要学学编编编编程程程程程程。

替换为:我要学编程

  1. String str = "我要学学编编编编程程程程程程";
  2. //需求:把重复的内容 替换为 单个的
  3. //学学               学
  4. //编编编编           编
  5. //程程程程程程       程
  6. // (.)表示把重复内容的第一个字符看做一组
  7. // \\1表示第一字符再次出现
  8. // + 至少一次
  9. // $1 表示把正则表达式中第一组的内容,再拿出来用
  10. String result = str.replaceAll("(.)\\1+", "$1");
  11. System.out.println(result);

1.17 忽略大小写的写法

  1. //(?i) :表示忽略后面数据的大小写
  2. //忽略abc的大小写
  3. String regex = "(?i)abc";
  4. //a需要一模一样,忽略bc的大小写
  5. String regex = "a(?i)bc";
  6. //ac需要一模一样,忽略b的大小写
  7. String regex = "a((?i)b)c";

1.18 非捕获分组

非捕获分组:分组之后不需要再用本组数据,仅仅是把数据括起来。

  1. //身份证号码的简易正则表达式
  2. //非捕获分组:仅仅是把数据括起来
  3. //特点:不占用组号
  4. //这里\\1报错原因:(?:)就是非捕获分组,此时是不占用组号的。
  5. //(?:) (?=) (?!)都是非捕获分组//更多的使用第一个
  6. //String regex1 ="[1-9]\\d{16}(?:\\d|x|x)\\1";
  7. String regex2 ="[1-9]\\d{16}(\\d Xx)\\1";
  8. //^([01]\d|2[0-3]):[0-5]\d:[@-5]\d$
  9. System.out.println("41080119930228457x".matches(regex2));

1.19 正则表达式练习

  1. 手机号码:1[3-9]\\d{9}
  2. 座机号码:0\\d{2,3}-?[1-9]\\d{4,9}
  3. 邮箱号码:\\w+@[\\w&&[^_]]{2,6}(\\.[a-zA-Z]{2,3}){1,2}
  4. 24小时:([01]\\d|2[0-3]):[0-5]\\d:[0-5]\\d
  5.   ([01]\\d|2[0-3])(:[0-5]\\d){2}
  6. 用户名: \\w{4,16}
  7. 身份证号码,简单校验:
  8. [1-9]\\d{16}(\\d|X|x)
  9. [1-9]\\d{16}[\\dXx]
  10. [1-9]\\d{16}(\\d(?i)X)
  11. 身份证号码,严格校验:
  12. [1-9]\\d{5}(18|19|20)\\d{2}(0[1-9]|1[0-2])(0[1-9|[12])\\d|3[01])\\d{3}[\\dXx]

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/763106
推荐阅读
相关标签
  

闽ICP备14008679号