转载：https://www.toutiao.com/i6642477603657613831/
1
如果训练/测试都来自同一时间线，那么就可以非常巧妙地使用特性。虽然这只是一个kaggle的案例，但可以利用这个优势。例如：在出租车出行持续时间挑战赛中，从训练数据中随机抽取测试数据。在这种情况下，可以使用不同类别变量的平均目标变量作为特征（特征转化率）。在这种情况下， Beluga 实际上使用了不同工作日的平均目标变量。然后，将相同的平均值映射为一个变量，并将其映射到测试数据中。
2 logloss裁剪技术
在必须预测概率的分类问题情况下，将概率剪切在0.05-0.95之间会好得多，这样就对自己的预测变得不是十分确定。
3.以gzip格式提交到kaggle
df.to_csv('submission.csv.gz', index=False, compression='gzip')
4.如何最好地使用纬度和经度特征
A.两个经纬度之间的Haversine距离
def haversine_array(lat1, lng1, lat2, lng2):
lat1, lng1, lat2, lng2 = map(np.radians, (lat1, lng1, lat2, lng2))
AVG_EARTH_RADIUS = 6371 # in km
lat = lat2 - lat1
lng = lng2 - lng1
d = np.sin(lat * 0.5) ** 2 + np.cos(lat1) * np.cos(lat2) * np.sin(lng * 0.5) ** 2
h = 2 * AVG_EARTH_RADIUS * np.arcsin(np.sqrt(d))
return h
B.两个经纬度之间的曼哈顿距离
def dummy_manhattan_distance(lat1, lng1, lat2, lng2):
a = haversine_array(lat1, lng1, lat1, lng2)
b = haversine_array(lat1, lng1, lat2, lng1)
return a + b
C.两个经纬度之间的方位
def bearing_array(lat1, lng1, lat2, lng2):
AVG_EARTH_RADIUS = 6371 # in km
lng_delta_rad = np.radians(lng2 - lng1)
lat1, lng1, lat2, lng2 = map(np.radians, (lat1, lng1, lat2, lng2))
y = np.sin(lng_delta_rad) * np.cos(lat2)
x = np.cos(lat1) * np.sin(lat2) - np.sin(lat1) * np.cos(lat2) * np.cos(lng_delta_rad)
return np.degrees(np.arctan2(y, x))
D.取放点之间的中心纬度和经度
train.loc[:, 'center_latitude'] = (train['pickup_latitude'].values + train['dropoff_latitude'].values) / 2
train.loc[:, 'center_longitude'] = (train['pickup_longitude'].values + train['dropoff_longitude'].values) / 2
使用经纬度数据的第二种方式是为取放点的经纬度创建集群，它的工作方式是通过设计在数据中创建了一些行政区
from sklearn.cluster import MiniBatchKMeans
coords = np.vstack((train[['pickup_latitude', 'pickup_longitude']].values,train[['dropoff_latitude', 'dropoff_longitude']].values, test[['pickup_latitude', 'pickup_longitude']].values,test[['dropoff_latitude', 'dropoff_longitude']].values))
sample_ind = np.random.permutation(len(coords))[:500000]
kmeans = MiniBatchKMeans(n_clusters=100, batch_size=10000).fit(coords[sample_ind])
train.loc[:, 'pickup_cluster'] = kmeans.predict(train[['pickup_latitude', 'pickup_longitude']])
train.loc[:, 'dropoff_cluster'] = kmeans.predict(train[['dropoff_latitude', 'dropoff_longitude']])
test.loc[:, 'pickup_cluster'] = kmeans.predict(test[['pickup_latitude', 'pickup_longitude']])
test.loc[:, 'dropoff_cluster'] = kmeans.predict(test[['dropoff_latitude', 'dropoff_longitude']])
然后，使用这些集群创建了一些特征，例如比如计算某一天外出和入境的次数。
在Beluga写的文章中，还使用了PCA方法来转换经度和纬度坐标。在这种情况下，它不是进行降维，而是进行了坐标的变换，2D—>2D变换，它实际上做了如下操作。
pca = PCA().fit(coords)
train['pickup_pca0'] = pca.transform(train[['pickup_latitude', 'pickup_longitude']])[:, 0]
train['pickup_pca1'] = pca.transform(train[['pickup_latitude', 'pickup_longitude']])[:, 1]
train['dropoff_pca0'] = pca.transform(train[['dropoff_latitude', 'dropoff_longitude']])[:, 0]
train['dropoff_pca1'] = pca.transform(train[['dropoff_latitude', 'dropoff_longitude']])[:, 1]
test['pickup_pca0'] = pca.transform(test[['pickup_latitude', 'pickup_longitude']])[:, 0]
test['pickup_pca1'] = pca.transform(test[['pickup_latitude', 'pickup_longitude']])[:, 1]
test['dropoff_pca0'] = pca.transform(test[['dropoff_latitude', 'dropoff_longitude']])[:, 0]
test['dropoff_pca1'] = pca.transform(test[['dropoff_latitude', 'dropoff_longitude']])[:, 1]
5.创建直观的附加特征
- A）日期时间特征：基于时间的特征，如“晚上”、“中午”、“夜晚”、“上月购买行为”，“上周购买行为”等；
- B）思想特征：假设有购物车数据，并且想要对行程进行分类（参阅Walmart Recruiting：Kaggle的行程类型分类）；
此外，还可以考虑创建一个像“时尚”这样的特征，可以通过添加属于男装时尚、女装时尚、青少年时尚类别的项目来创建这个变量。
另外，也可以创建一个像“稀有”这样的特征，它是根据我们拥有的数据标记一些稀有物品然后计算购物车中稀有物品的数量而创建的，这些特征可能是有效的或无效的。根据我的观察，它们通常能够提供很多价值。
6.
- A）交互特征：如果有特征A和B，并创建特征A * B、A + B、A / B、AB，这会使得特征空间爆炸。如果你有10个特征，并且要创建两个可变交互特征，这将为模型添加 180个特征。并且，绝大多数时候，都会有超过10个的特征。
- B）使用散列的存储桶特征：假设你有数千的特征，并按顺序排好，但考虑到算法的训练时间，并不想使用所有的数千千个特征。一般是使用一些哈希算法来实现这一点，最后完成文本分类任务。
例如：
假设有6个特征A、B、C、D、E、F：
并且有一行数据是：A：1、B：1、C：1、D：0、E：1、F：0
可能决定使用散列函数，以便这6个特征对应于3个桶并创建使用此特征的数据哈希矢量。
处理完后，数据可能如下所示：Bucket1：2，Bucket2：2，Bucket3：0
A：1、B：1、C：1、D：0、E：1、F：0 之所以发生这种情况是因为A和B掉落在桶1中、C和E落在桶2中、D和F落在桶3中。这里只是总结了上述的观察结果，你也可以用你想要的任何数学函数替换掉上述的加法操作。
之后，将使用Bucket1、Bucket2、Bucket3作为机器学习的变量。