黑马程序员——JAVA基础之正则表达式,网络爬虫

------Java培训、Android培训、iOS培训、.Net培训、期待与您交流! -------

正则表达式:

概念:用于操作字符串的符合一定规则的表达式

特点:用于一些特定的符号来表示一些代码的操作,可以调用底层的代码对字符串进行操作。简化了代码的书写。

正则表达式利弊:

好处:正则的出现,对字符串的复杂操作变得更为简单。

弊端:符号的出现虽然简化了书写,但是却降低了阅读性。

常用符号:

构造 匹配
 
字符
x 字符 x
\\ 反斜线字符
\0n 带有八进制值 0 的字符 n (0 <= n <= 7)
\0nn 带有八进制值 0 的字符 nn (0 <= n <= 7)
\0mnn 带有八进制值 0 的字符 mnn(0 <= m <= 3、0 <= n <= 7)
\xhh 带有十六进制值 0x 的字符 hh
\uhhhh 带有十六进制值 0x 的字符 hhhh
\t 制表符 ('\u0009')
\n 新行(换行)符 ('\u000A')
\r 回车符 ('\u000D')
\f 换页符 ('\u000C')
\a 报警 (bell) 符 ('\u0007')
\e 转义符 ('\u001B')
\cx 对应于 x 的控制符






字符类
[abc] ab 或 c(简单类)
[^abc] 任何字符,除了 ab 或 c(否定)
[a-zA-Z] a 到 z 或 A 到 Z,两头的字母包括在内(范围)
[a-d[m-p]] a 到 d 或 m 到 p[a-dm-p](并集)
[a-z&&[def]] de 或 f(交集)
[a-z&&[^bc]] a 到 z,除了 b 和 c[ad-z](减去)
[a-z&&[^m-p]] a 到 z,而非 m 到 p[a-lq-z](减去)





预定义字符类
. 任何字符(与行结束符可能匹配也可能不匹配)
\d 数字:[0-9]
\D 非数字: [^0-9]
\s 空白字符:[ \t\n\x0B\f\r]
\S 非空白字符:[^\s]
\w 单词字符:[a-zA-Z_0-9]
\W 非单词字符:[^\w]









边界匹配器
^ 行的开头
$ 行的结尾
\b 单词边界
\B 非单词边界
\A 输入的开头
\G 上一个匹配的结尾
\Z 输入的结尾,仅用于最后的结束符(如果有的话)
\z 输入的结尾




Greedy 数量词
X? X,一次或一次也没有
X* X,零次或多次
X+ X,一次或多次
X{n} X,恰好 n 次
X{n,} X,至少 n 次
X{n,m} X,至少 n 次,但是不超过 m 次
Reluctant 数量词
X?? X,一次或一次也没有
X*? X,零次或多次
X+? X,一次或多次
X{n}? X,恰好 n 次
X{n,}? X,至少 n 次
X{n,m}? X,至少 n 次,但是不超过 m 次

常见操作:

到底用四种功能中的哪一个呢?或者哪几个呢?

思路方式:

1,如果只想知道该字符是否对是错,使用匹配。

2,想要将已有的字符串变成另一个字符串,替换。

3,想要按照自定的方式将字符串变成多个字符串。切割。获取规则以外的子串。

4,想要拿到符合需求的字符串子串,获取。获取符合规则的子串。

匹配:其实用的就是String类中的matches方法。

/**
* 匹配:
* 手机号段只有 13xxx 15xxx 18xxxx
*
*/
public class CheckDemo
{
public static void main(String[] args)
{
String tel = "15394485938";
String telReg = "1[358]\\d{9}";
System.out.println(tel.matches(telReg));
}
}

切割:其实用的就是String类中的split方法。

/**
* 切割:
* 切割演示
*/
public class SplitDemo
{
public static void main(String[] args)
{
splitDemo("sdwdwd","w");
} public static void splitDemo(String str,String reg)
{ String[] arr = str.split(reg);
System.out.println(arr.length);
for(String s : arr)
{
System.out.println(s);
}
}
}
import java.util.TreeSet;

/**
需求:
将ip地址进行地址段顺序的排序。
192.68.1.254 102.49.23.013 10.10.10.10 2.2.2.2 8.109.90.301 思路:
还按照字符串自然顺序,只要让他们每一段都是3位即可。
1、按照每一段需要的最多的0进行补齐,那么每一段就会至少保证有3位。
2、将每一段只保留3位。这样,所有的ip地址都是每一段3位。 */
public class SplitTest
{
public static void main(String[] args)
{
String ip = "192.68.1.254 102.49.23.013 10.10.10.10 2.2.2.2 8.109.90.30"; ip = ip.replaceAll("(\\d+)","00$1");//保证每段至少三位
System.out.println(ip); ip = ip.replaceAll("0*(\\d{3})","$1");//每段只保留三位
System.out.println(ip); String[] arr = ip.split(" ");//按照空格切 TreeSet<String> ts = new TreeSet<String>();//定义一个TreeSet集合,利用元素自然排序 for(String s : arr)
{
ts.add(s);
} for(String s : ts)
{
System.out.println(s.replaceAll("0*(\\d+)","$1"));//把每段前面多余的0替换掉
}
}
}

按叠词完成切割:为了让规则被重用,可将规则封装成一个组,用()完成。组的出现都有编号,从1开始。想要使用已有的组可通过\n(n就是组的编号)的形式来获取。

组:

用小括号标示,每定义一个小括号,就是一个组,而且有自动编号,从1开始。

只要使用组,对应的数字就是使用该组的内容。别忘了,数组要加\\。

(aaa(wwww(ccc))(eee))技巧,从左括号开始数即可。有几个左括号就是几组。

对于组中所匹配的字符,可以用$n来获取。$在正则中表示行的结尾,所以出现在正则中不能用来表示组,一般用于替换中。

替换:其实用的就是String类中的replaceAll();

/**
* 替换演示:
*
*/
public class ReDemo
{
public static void main(String[] args)
{
String str = "我我...我我...我要..要要...要要...进进进....进进...黑黑黑...黑马..马.马马...马...马"; str = str.replaceAll("\\.+","");
System.out.println(str); str = str.replaceAll("(.)\\1+","$1"); System.out.println(str);
}
}

获取:

先要将正则表达式编译成正则对象。使用的是Pattern中静态方法 compile(regex);

通过Pattern对象获取Matcher对象。

Pattern用于描述正则表达式,可以对正则表达式进行解析。

而将规则操作字符串,需要从新封装到匹配器对象Matcher中。然后使用Matcher对象的方法来操作字符串。

如何获取匹配器对象:通过Pattern对象中的matcher方法。该方法可以正则规则和字符串想关联。并返回匹配器对象。

使用Matcher对象中的方法即可对字符串进行各种正则操作。

/**
* 获取:将字符串中的符合规则的子串取出。
*
*/
import java.util.regex.*; class RegexDemo2
{
public static void main(String[] args)
{
getDemo();
}
public static void getDemo()
{
String str = "ming tian jiu yao fang jia le ,da jia。";
System.out.println(str);
String reg = "\\b[a-z]{4}\\b"; //将规则封装成对象。
Pattern p = Pattern.compile(reg); //让正则对象和要作用的字符串相关联。获取匹配器对象。
Matcher m = p.matcher(str); while(m.find())
{
System.out.println(m.group());
System.out.println(m.start()+"...."+m.end());
}
}
}

网络爬虫(蜘蛛)

实际上是一个功能,用于搜集网络上的指定信息

可用于收集邮箱,qq号等之类的信息。

如通过关键字搜索blog,实际就是使用的“蜘蛛”,通过查找关键字获取相关的blog

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.regex.Matcher;
import java.util.regex.Pattern; public class GetWebMail
{
//获取网页中mail
public static void main (String[] args) throws Exception
{
//封装网页地址
URL url=new URL("http://tieba.baidu.com/p/1390896758");
//连接服务器
URLConnection conn=url.openConnection();
//带缓冲区的网页读取流
BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String line=null;
//定义匹配邮件地址的正则表达式
String regex="\\w+@\\w+(\\.\\w+)+";
Pattern p=Pattern.compile(regex);//封装正则表达式
//读取网页数据
while ((line=br.readLine())!=null)
{
//正则关联数据
Matcher m=p.matcher(line);
//寻找匹配邮箱
while (m.find())
{
System.out.println(m.group());//输出匹配邮箱
}
}
}
}
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.util.regex.Matcher;
import java.util.regex.Pattern; public class GetFileMail
{
//获取文件中mail
public static void main (String[] args) throws Exception
{
//将文件封装成对象
File file=new File("E:\\mail.txt");
//创建带缓冲区的读取流
BufferedReader br=new BufferedReader(new FileReader(file));
String line=null; //定义正则表达式
String regex="\\w+@[a-zA-Z]+(\\.[a-zA-z]+)+";
//创建Pattern对象,封装正则表达式
Pattern p=Pattern.compile(regex); //读取文件中数据
while ((line=br.readLine())!=null)
{
//关流字符串
Matcher m=p.matcher(line);
while (m.find())//寻找匹配的字符串
{
System.out.println(m.group());//输出匹配的字符串
}
}
}
}

------Java培训、Android培训、iOS培训、.Net培训、期待与您交流! -------

上一篇:ie9 placeholder兼容


下一篇:ListMultimap 容器