一.流程及主要请求接口
每日凌晨1点开始，服务器定时自动请求淘宝联盟数据,请求完毕之后，执行一个存储过程对数据进行整理，删除过期...购买数量<...的商品......，请求接口分别有（tbk_item_get_response、tbk_ju_tqg_get_response、tbk_dg_item_coupon_get_response 、taobao.ju.items.search）
1.tbk_item_get_response:
通用商品请求api接口，这个接口可以传入所需商品的详情参数进行请求， 联盟app和阿里百川手淘app都有这个接口的权限，但是这个接口无法请求到带有优惠券的商品..... 下面说下联盟app和阿里百川手淘app接口的区别，如果申请阿里百川类型的的app，是没有优惠券这个接口请求权限的,但是阿里百川的接口请求次数每日是100万，而联盟的请求次数每日限制10万,各有好处，我这里是将两个都注册了，api分开使用就行了。阿里百川的appid负责客户端登录，查询用户淘宝账户信息／ 联盟appid负责服务端请求商品......。
2.taobao.ju.items.search:
这个接口是请求聚划算的商品，这个接口的商品都比较好，我看到很多导购app上有聚划算标志的商品,但我当前请求这个接口反馈的数据为null,淘宝技术双11比较忙所以叫我过了去问。
3.tbk_dg_item_coupon_get_response
这个接口是必需的,联盟优惠券接口，如果你是注册的阿里百川手淘sdk，就无法请求改接口，所以要请求该接口必需要申请联盟的appid,
3.tbk_ju_tqg_get_response
抢购api，这个api共用，联盟app和百川app都能申请，请购上面主要的商品就是店铺大额优惠券，比如够卖100返减50的优惠券....所有券都是1元一张。
二.途中所遇问题
1.数据请求方法
我这里请求用的java，服务端提供了httpclient封装好的sdk,但是有坑，直接调用返回数据会报错，而且乱码，当然我使用时遇到了这个问题，也许你不会遇到，建议先试用官方封装的httpclient sdk如果不行，看我下面的方法
public class ZTaobaokePost {
private static final String SIGN_METHOD_MD5 = "md5";
private static final String SIGN_METHOD_HMAC = "hmac";
private static final String CHARSET_UTF8 = "utf-8";
private static final String CONTENT_ENCODING_GZIP = "gzip";
//http://gw.api.tbsandbox.com/router/rest
// 阿里百川
private static final String serverUrl = ?
private static final String appKey = ?; // 可替换为您的沙箱环境应用的appKey
private static final String appSecret = ?; // 可替换为您的沙箱环境应用的appSecret
private static final String sessionKey = ?; // 必须替换为沙箱账号授权得到的真实有效sessionKey
//淘宝联盟
private static final String serverUrlLM = ?
private static final String appKeyLM = ?; // 可替换为您的沙箱环境应用的appKey
private static final String appSecretLM =? // 可替换为您的沙箱环境应用的appSecret
private static final String sessionKeyLM = ?; // 必须替换为沙箱账号授权得到的真实有效sessionKey
//isOrNoSessionKey==0没有 1=有sessionKey授权
public static String shareTaobaokePost( Map<String, String> params ) throws IOException {
params.put("platform", "2");
params.put("app_key", appKeyLM);
// params.put("", "");
// 签名参数
params.put("sign", signTopRequest(params, appSecretLM, SIGN_METHOD_HMAC));
// 请用API
return callApi(new URL(serverUrl), params);
}
/**
* 对TOP请求进行签名。
*/
private static String signTopRequest(Map<String, String> params, String secret, String signMethod) throws IOException {
// 第一步：检查参数是否已经排序
String[] keys = params.keySet().toArray(new String[0]);
Arrays.sort(keys);
// 第二步：把所有参数名和参数值串在一起
StringBuilder query = new StringBuilder();
if (SIGN_METHOD_MD5.equals(signMethod)) {
query.append(secret);
}
for (String key : keys) {
String value = params.get(key);
if (isNotEmpty(key) && isNotEmpty(value)) {
query.append(key).append(value);
}
}
// 第三步：使用MD5/HMAC加密
byte[] bytes;
if (SIGN_METHOD_HMAC.equals(signMethod)) {
bytes = encryptHMAC(query.toString(), secret);
} else {
query.append(secret);
bytes = encryptMD5(query.toString());
}
// 第四步：把二进制转化为大写的十六进制
return byte2hex(bytes);
}
/**
* 对字节流进行HMAC_MD5摘要。
*/
private static byte[] encryptHMAC(String data, String secret) throws IOException {
byte[] bytes = null;
try {
SecretKey secretKey = new SecretKeySpec(secret.getBytes(CHARSET_UTF8), "HmacMD5");
Mac mac = Mac.getInstance(secretKey.getAlgorithm());
mac.init(secretKey);
bytes = mac.doFinal(data.getBytes(CHARSET_UTF8));
} catch (GeneralSecurityException gse) {
throw new IOException(gse.toString());
}
return bytes;
}
/**
* 对字符串采用UTF-8编码后，用MD5进行摘要。
*/
private static byte[] encryptMD5(String data) throws IOException {
return encryptMD5(data.getBytes(CHARSET_UTF8));
}
/**
* 对字节流进行MD5摘要。
*/
private static byte[] encryptMD5(byte[] data) throws IOException {
byte[] bytes = null;
try {
MessageDigest md = MessageDigest.getInstance("MD5");
bytes = md.digest(data);
} catch (GeneralSecurityException gse) {
throw new IOException(gse.toString());
}
return bytes;
}
/**
* 把字节流转换为十六进制表示方式。
*/
private static String byte2hex(byte[] bytes) {
StringBuilder sign = new StringBuilder();
for (int i = 0; i < bytes.length; i++) {
String hex = Integer.toHexString(bytes[i] & 0xFF);
if (hex.length() == 1) {
sign.append("0");
}
sign.append(hex.toUpperCase());
}
return sign.toString();
}
private static String callApi(URL url, Map<String, String> params) throws IOException {
String query = buildQuery(params, CHARSET_UTF8);
byte[] content = {};
if (query != null) {
content = query.getBytes(CHARSET_UTF8);
}
HttpURLConnection conn = null;
OutputStream out = null;
String rsp = null;
try {
conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("POST");
conn.setDoInput(true);
conn.setDoOutput(true);
conn.setConnectTimeout(30000000);
conn.setReadTimeout(300000000);
conn.setRequestProperty("Host", url.getHost());
conn.setRequestProperty("Accept", "text/xml,text/javascript");
conn.setRequestProperty("User-Agent", "top-sdk-java");
conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + CHARSET_UTF8);
out = conn.getOutputStream();
out.write(content);
rsp = getResponseAsString(conn);
} finally {
if (out != null) {
out.close();
}
if (conn != null) {
conn.disconnect();
}
}
return rsp;
}
private static String buildQuery(Map<String, String> params, String charset) throws IOException {
if (params == null || params.isEmpty()) {
return null;
}
StringBuilder query = new StringBuilder();
Set<Entry<String, String>> entries = params.entrySet();
boolean hasParam = false;
for (Entry<String, String> entry : entries) {
String name = entry.getKey();
String value = entry.getValue();
// 忽略参数名或参数值为空的参数
if (isNotEmpty(name) && isNotEmpty(value)) {
if (hasParam) {
query.append("&");
} else {
hasParam = true;
}
query.append(name).append("=").append(URLEncoder.encode(value, charset));
}
}
return query.toString();
}
private static String getResponseAsString(HttpURLConnection conn) throws IOException {
String charset = getResponseCharset(conn.getContentType());
if (conn.getResponseCode() < 400) {
String contentEncoding = conn.getContentEncoding();
if (CONTENT_ENCODING_GZIP.equalsIgnoreCase(contentEncoding)) {
return getStreamAsString(new GZIPInputStream(conn.getInputStream()), charset);
} else {
return getStreamAsString(conn.getInputStream(), charset);
}
} else {// Client Error 4xx and Server Error 5xx
throw new IOException(conn.getResponseCode() + " " + conn.getResponseMessage());
}
}
private static String getStreamAsString(InputStream stream, String charset) throws IOException {
try {
Reader reader = new InputStreamReader(stream, charset);
StringBuilder response = new StringBuilder();
final char[] buff = new char[1024];
int read = 0;
while ((read = reader.read(buff)) > 0) {
response.append(buff, 0, read);
}
return response.toString();
} finally {
if (stream != null) {
stream.close();
}
}
}
private static String getResponseCharset(String ctype) {
String charset = CHARSET_UTF8;
if (isNotEmpty(ctype)) {
String[] params = ctype.split(";");
for (String param : params) {
param = param.trim();
if (param.startsWith("charset")) {
String[] pair = param.split("=", 2);
if (pair.length == 2) {
if (isNotEmpty(pair[1])) {
charset = pair[1].trim();
}
}
break;
}
}
}
return charset;
}
private static boolean isNotEmpty(String value) {
int strLen;
if (value == null || (strLen = value.length()) == 0) {
return false;
}
for (int i = 0; i < strLen; i++) {
if ((Character.isWhitespace(value.charAt(i)) == false)) {
return true;
}
}
return false;
}
}
2.多线程轮询控制中遇到的问题
由于服务器的配置1g 1核，所以暂时只选择了每次20个线程，每个线程100条数据,每次线程轮询反回2000条数据，然后将2000条数据使用事务插入数据库， 这里遇到一个也坑，很多时候轮询返回数据之后，执行事务插入时，是一个异步过程，所以没等数据插入成功线程池就执行了关闭，然后又跑去轮询新的线程请求，这样就会出现一个 线程池的线程关闭代码没有执行成功，导致线程没被成功释放掉。当这样的情况多发生几次没被释放的线程达到服务器的承受范围时,服务器就卡着了,这个问题解决方法,将线程池类定义成单例模式，在每次重新轮询时，判断线程池是否成功关闭，如果没,新轮询前再关闭一次，解决了这个问题。