项目实训题目:饮食健康管理系统设计与实现
我的工作:数据清洗
具体工作事项:数据清洗;错误数据处理;图片大小归一化;图片存放位置归并;与数据库同学沟通;不对应(冗余或缺失)图片的删除与处理等。
本博客旨在记录工作内容。
# 保留对应的
import numpy as np
intact=np.load("MeishiChina_interaction_data_train_afterdelete_new.npy")
print(intact)
intactlie = intact[:,0]
# print(intactlie)
ids = intactlie
di = {}
for i in ids:
if i not in di.keys():
di[i]=1
else:
di[i]+=1
values = list(di.values())
keys = list(di.keys())
print(values)
print(keys)
保留了对应的索引。
import csv
with open('100用户+食谱+url.csv','rb') as csvfile:
reader = csv.DictReader(csvfile)
column = [row['userID'] for row in reader]
print(column)
import pandas as pd
item = pd.read_csv('100用户+食谱+ur1l.csv')
id = pd.read_csv('用户ID与url.csv')
for i in id['userID'].values:
if i in item['userID'].values:
id.userID[i] = 000000
print(id)
print(item)
id.to_csv('terminal4.csv', encoding='utf8', index='url')
import csv
f = open('seq_sim_all.csv', 'w', encoding = 'utf-8', newline='')
csv_writer = csv.writer(f)
csv_writer.writerow(['Database ID', 'Name', 'Organism'])
with open('ID.csv','r',encoding='utf8') as fp1:
# 使用列表推导式,将读取到的数据装进列表
list1 = [i for i in csv.reader(fp1)] # csv.reader 读取到的数据是list类型
print(list1)
with open('name_or.csv','r',encoding='utf8') as fp2:
list2 = [i for i in csv.reader(fp2)]
print(list2)
for i in list1:
for j in list2:
if i[0] == j[0]:#匹配到ID,就将内容写入到seq_sim_all.csv中
csv_writer.writerow([i[0], j[1], j[2]])
print(i[0], j[0], j[1], j[2])
因为某些原因,换了需求,本来是找200个用户现在找100个,所以改变了代码。
在原有数据中进行删除操作。
得到结果