URL编码问题
问题描述
使用 Tomcat 开发一个 Java Web 项目的时候，相信大多数人都遇到过url出现中文乱码的情况，绝大多数人为了避免出现这种问题，所以设计 url 一般都会尽量设计成都是英文字符。但总避免一种情况就是当你的系统中拥有搜索功能时，你无法预料到用户输入的是中文还是其他符号，此时还是会存在中文乱码的问题，那么为什么会产生中文乱码问题，下面给大家详细解析。
什么是 URL
URL 叫统一资源定位符，也可以说成我们平时在地址栏输入的路径。通过这个url（路径）我们可以发送请求给服务器，服务器寻找具体的服务器组件然后再向用户提供服务。
什么是 URL 编码
url 编码简单来说就是对 url 的字符 按照一定的编码规则进行转换。
为什么需要 URL 编码
人类的语言太多，不可能用一个通用的格式去表示这么多的字符，所以则需要编码，按照不同的规则来表示不同的字符。
那么现在进入正题
GET 请求 和 POST请求是如何进行url编码的
对于 GET 请求，我们都知道请求参数是直接跟在url后面，当 url 组装好之后浏览器会对其进行 encode 操作。此过程主要是对 url 中一些特殊字符进行编码以转换成 可以用 多个 ASCII 码字符表示。具体会以什么样的编码格式是由浏览器决定的（具体的规则可以参见 http://www.ruanyifeng.com/blog/2010/02/url_encoding.html ）
进行URL encode之后，浏览器就会以iso-8859-1的编码方式转换为二进制随着请求头一起发送出去。
当请求发送到服务器之后，Tomcat 接收到这个请求，会对请求进行解析。具体的解析过程就不在这里详解，可以去参看一下 Tomcat 的源码，但在使用请求参数有中文时，我相信肯定很多人都会出现 404 的情况
下面将分别以Tomcat7、Tomcat8两种版本来说明这其中出现404的原因
关于URL含有中文导致404
第一种情况：URL 含有中文，出现404
当前测试的 Servlet
直接访问的结果
从测试图可以看出当 URL 含有中文时，直接在浏览器访问会出现 404，浏览器已经正确的发出了 HTTP 请求，所以这可以排除是浏览器的问题，那么问题应该是出现在服务器端，那么这个问题就应该从 Tomcat 如何解析请求着手查起。
Tomcat 解析请求时通过调用 AbstractInputBuffer.parseRequestLine 方法，这是一个抽象类，一般都将会委托org.apache.coyote.http11.InternalInputBuffer 子类来执行，那么我现在来看看 parseRequestLine 方法是如何执行的
public boolean parseRequestLine(boolean useAvailableDataOnly) throws IOException {
//前面省略，主要都是通过流的读取字节的操作解析请求的内容
//
// Reading the URI，这段代码主要是从流中读取 URL 的字节到buf中，再将buf的字节set进请求中
//
boolean eol = false;
while (!space) {
// Read new bytes if needed
if (pos >= lastValid) {
if (!fill())
throw new EOFException(sm.getString("iib.eof.error"));
}
// Spec says single SP but it also says be tolerant of HT
if (buf[pos] == Constants.SP || buf[pos] == Constants.HT) {
space = true;
end = pos;
} else if ((buf[pos] == Constants.CR)
|| (buf[pos] == Constants.LF)) {
// HTTP/0.9 style request
eol = true;
space = true;
end = pos;
} else if ((buf[pos] == Constants.QUESTION)
&& (questionPos == -1)) {
questionPos = pos;
}
pos++;
}
request.unparsedURI().setBytes(buf, start, end - start);
if (questionPos >= 0) {
request.queryString().setBytes(buf, questionPos + 1,
end - questionPos - 1);
request.requestURI().setBytes(buf, start, questionPos - start);
} else {
request.requestURI().setBytes(buf, start, end - start);
}
//后面一样省略，都是对请求流中的内容读取字节出来，set到请求对应的内容块
return true;
}
因为请求有很多内容，这个方法只是按照内容块将对应的字节 set 进请求，接下来 Tomcat 会基于请求来进一步解析，下一步是调用 AbstractProcessor.prepareRequest 方法，该方法主要是检查请求的内容是否合法，若都合法，则会将 request、response委托给 adapter 去调用service方法
public void service(org.apache.coyote.Request req,
org.apache.coyote.Response res)
throws Exception {
//省略代码
//service会调用该方法去解析请求，并对url进行解码
boolean postParseSuccess = postParseRequest(req, request, res, response);
//后面省略
}
protected boolean postParseRequest(org.apache.coyote.Request req,
Request request,
org.apache.coyote.Response res,
Response response)
throws Exception {
//省略
// Copy the raw URI to the decodedURI，解码从这里开始
// 这一步只是将未解码的 URL 字节复制给 decodedURL
MessageBytes decodedURI = req.decodedURI();
decodedURI.duplicate(req.requestURI());
// Parse the path parameters. This will:
// - strip out the path parameters
// - convert the decodedURI to bytes
parsePathParameters(req, request);
// 这一步是将 URL 中含有%的16进制数据合并
// URI decoding
// %xx decoding of the URL
try {
req.getURLDecoder().convert(decodedURI, false);
} catch (IOException ioe) {
res.setStatus(400);
res.setMessage("Invalid URI: " + ioe.getMessage());
connector.getService().getContainer().logAccess(
request, response, 0, true);
return false;
}
// 真正对 URL 解码操作在这一步
convertURI(decodedURI, request);
protected void convertURI(MessageBytes uri, Request request)
throws Exception {
ByteChunk bc = uri.getByteChunk();
int length = bc.getLength();
CharChunk cc = uri.getCharChunk();
cc.allocate(length, -1);
// 这一步是获取解码使用编码格式，从这里可以看出编码格式与 connector 有关
// 在默认情况下，如果没有配置Encoding，则为 null
String enc = connector.getURIEncoding();
if (enc != null) {
//根据编码格式来对 URL 进行解码
}
// 所以当我们没有配置时，会直接跳下去执行，以 ISO-8859-1的编码格式来解码 URL
// Default encoding: fast conversion for ISO-8859-1
byte[] bbuf = bc.getBuffer();
char[] cbuf = cc.getBuffer();
int start = bc.getStart();
for (int i = 0; i < length; i++) {
cbuf[i] = (char) (bbuf[i + start] & 0xff);
}
uri.setChars(cbuf, 0, length);
}
在Tomcat 7 里面，没有配置 connector 的编码，它会默认使用 ISO-8859-1 的编码格式来解码，所以该 URL 最后解码的结果是
可以看出解码后的 URL 出现了中文乱码，所以最后因为没有匹配到对应的 Servlet ，所以出现404
那么当我们在 Tomcat 的配置文件配置编码格式之后，再使用同样的 URL 去访问，这时就能成功访问了
URL 解码结果
测试结果
问题来了
当我们使用 Tomcat 8的时候，不管我们是否有设置 connector 的编码，当我们使用含有中文 URL 去访问资源，均会出现404的情况
注：Tomcat 8的默认编码是 UTF-8，而Tomcat 7 的默认编码是ISO-8859-1
那么既然Tomcat 8是以 UTF-8 进行解码的，所以 URL 能够正确解码成功，不会出现 URL 乱码，那么问题是出现在哪里呢？
我们知道请求最终会委托给一个请求包装对象，如果找不到，那么就会访问失败，所以现在从这里请求映射开始着手找原因。
Tomcat 匹配请求的 Mapper 有多种策略，一般是使用全名匹配
- 全名匹配：根据请求的全路径来设置对应 wrappers 对象
匹配方法如下
private final void internalMapExactWrapper
(Wrapper[] wrappers, CharChunk path, MappingData mappingData) {
Wrapper wrapper = exactFind(wrappers, path);
if (wrapper != null) {
mappingData.requestPath.setString(wrapper.name);
mappingData.wrapper = wrapper.object;
if (path.equals("/")) {
// Special handling for Context Root mapped servlet
mappingData.pathInfo.setString("/");
mappingData.wrapperPath.setString("");
// This seems wrong but it is what the spec says...
mappingData.contextPath.setString("");
} else {
mappingData.wrapperPath.setString(wrapper.name);
}
}
}
在 Tomcat 7 下 wrappers 对象集的内存快照
可以看到 wrappers 对象存在我们要访问的资源，所以使用Tomcat 7 我们可以最终访问到目标资源
在 Tomcat 8 下，wrapper 对象的内存快照
可以看到Mapper 对象的 name 出现乱码
所以之所以会造成这种原因是因为不同版本的 Tomcat 在生成 Servlet 对应的 Mapper对象时，解析路径使用的编码格式不同，具体编码可以去查看 Tomcat 如何解析 Servlet。
最后总结：
开发 Java Web 项目的时候，尽量避免设计含有中文字符的 URL，并且统一开发环境，比如Tomcat 版本。因为可能有些bug或问题出现原因是源于版本的不同，与自己的源程序逻辑无关，一旦出现这种问题，要找出问题的原因是需要花费很多时间的。
关于请求参数有中文乱码问题
在 Web 开发中，我们通常会有许多带有请求参数的请求，一般来说我们需要调用 request.setCharacterEncoding(“utf-8”); 方法来设置解析参数的编码，但是一般情况下，该方法只对于 Post请求有用，而对于 Get 请求获取参数仍然会出现乱码。
测试的 Servelt
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
request.setCharacterEncoding("utf-8");
response.setCharacterEncoding("utf-8");
String name = request.getParameter("name");
System.out.println(name);
request.getRequestDispatcher("Test.jsp").forward(request, response);
}
测试结果
可以看到即使设置了编码，但是请求参数仍然是乱码。
那么 Tomcat 是如何解析请求参数的呢？
Tomcat 源码如下
protected void parseParameters(){
//以上代码省略
//获取我们设置的编码
String enc = getCharacterEncoding();
boolean useBodyEncodingForURI = connector.getUseBodyEncodingForURI();
if (enc != null) {
parameters.setEncoding(enc);
if (useBodyEncodingForURI) {
parameters.setQueryStringEncoding(enc);
}
} else {
parameters.setEncoding(org.apache.coyote.Constants.DEFAULT_CHARACTER_ENCODING);
if (useBodyEncodingForURI) {
parameters.setQueryStringEncoding
(org.apache.coyote.Constants.DEFAULT_CHARACTER_ENCODING);
}
}
parameters.handleQueryParameters();
}
public void handleQueryParameters() {
if( didQueryParameters ) {
return;
}
didQueryParameters=true;
if( queryMB==null || queryMB.isNull() ) {
return;
}
if(log.isDebugEnabled()) {
log.debug("Decoding query " + decodedQuery + " " +
queryStringEncoding);
}
try {
decodedQuery.duplicate( queryMB );
} catch (IOException e) {
// Can't happen, as decodedQuery can't overflow
e.printStackTrace();
}
// 解析 get 请求的参数是通过 parameter里面的 queryStringEncoding 来解码的
processParameters( decodedQuery, queryStringEncoding );
}
从源码可以看出 Tomcat 通过 String enc = getCharacterEncoding(); 来获取我们设置的编码，当前设置为 utf-8，但是当useBodyEncodingForURI 为 false 时，它只会讲 enc 的值赋值给 encoding 而不会赋值给 queryStringEncoding。
在解析参数时，对于 Post 请求，Tomcat 使用 encoding 来解码；对于 get 请求，Tomcat 使用 queryStringEncoding 来解析参数，因为此时 useBodyEncodingForURI 为 false 时，Tomcat 使用默认编码来解析，Tomcat 7的默认编码是 ISO-8859-1，所以解析之后参数出现乱码；Tomcat 8 默认编码是 UTF-8，因此解析不会出现乱码。
对于使用 Tomcat 7 出现请求参数乱码的解决方法：
- 在 Tomcat 的 server,xml 的配置文件中，对于 connector 的配置中，加上如下的配置，那么对于 get 请求，也能够通过request.setCharacterEncoding(“utf-8”); 来设定编码格式
<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"
URIEncoding="UTF-8" useBodyEncodingForURI="true"/>
- 创建一个请求包装对象，重写请求的获取参数方法，并通过过滤器将请求委托给包装对象，具体代码如下：
public class EncodingRequest extends HttpServletRequestWrapper {
private HttpServletRequest request;
private boolean hasEncode = false;
public EncodingRequest(HttpServletRequest request) {
super(request);
this.request = request;
}
@Override
public String getParameter(String name) {
String[] values = getParameterValues(name);
if (values == null) {
return null;
}
return values[0];
}
@Override
public String[] getParameterValues(String name) {
Map<String, String[]> parameterMap = getParameterMap();
String[] values = parameterMap.get(name);
return values;
}
@Override
public Map getParameterMap() {
Map<String, String[]> parameterMap = request.getParameterMap();
String method = request.getMethod();
if (method.equalsIgnoreCase("post")) {
return parameterMap;
}
if (!hasEncode) {
Set<String> keys = parameterMap.keySet();
for (String key : keys) {
String[] values = parameterMap.get(key);
if (values == null) {
continue;
}
for (int i = 0; i < values.length; i++) {
String value = values[i];
try {
value = new String(value.getBytes("ISO-8859-1"),
"utf-8");
values[i] = value;
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
}
hasEncode = true;
}
}
return parameterMap;
}
}
本文只是个人的测试的结果，如有错误，请提出，互相交流。