czczup/urbanregionfunctionclassification

第五届百度西安交大大数据竞赛 城市区域功能分类 Baseline

城市区域功能分类

简介

使用遥感图像和访问数据两个模态，在特征层进行融合，大概能拿到0.57的准确率。

快速起步

1.1 依赖环境

tensorflow-gpu==1.8
opencv-python
pandas 

1.2 数据准备

数据集下载：link

将数据放在data文件夹下，如下所示：

• data/test_image/test/xxxxxx.jpg
• data/test_visit/test/xxxxxx.txt
• data/train_image/train/00x/xxxxxx_00x.jpg
• data/train_visit/xxxxxx_00x.txt

把压缩文件放在data文件夹里直接解压应该就是上面这样。

我把给的训练集划分了一部分当验证集，具体过程看check_data.ipynb。

划分后的文件名记录在data/train.txt和data/valid.txt中。

1.3 数据转换

把visit数据转换为7x26x24的矩阵，这一步耗时比较长，大概要一个小时。

python visit2array.py

转换后的数据存储在:

• data/npy/train_visit
• data/npy/test_visit

1.4 生成tfrecord

python tfrecord.py

生成的tfrecord存储在：

• data/tfrecord/train.tfrecord
• data/tfrecord/valid.tfrecord

备注：由于这里直接加载了所有数据，大约要占用5G内存。

1.5 训练

python train.py

为了调参方便，每组实验存在不同的文件夹里。 需要输入显卡的编号和文件夹名称，比如：

device id: 0
dir id: 1001

查看tensorboard：

cd model/
tensorboard --logdir=./

1.6 测试

python test.py

测试完成后在result文件夹中生成结果。

urbanregionfunctionclassification's Issues

help!!!

大佬，能问下train.py文件中read_and_decode_train函数里为啥要对读入的训练图像进行裁剪、翻转等操作？另外，扩充到8万多张图片，也没有图片扩充代码吗？

AttributeError: 'NoneType' object has no attribute 'to_bytes'

Loading training set...
Loading completed...
Traceback (most recent call last):
File "tfrecord.py", line 67, in
_convert_dataset(data, "../data/tfrecord/", "train")
File "tfrecord.py", line 51, in convert_dataset
data = item[0].to_bytes()
AttributeError: 'NoneType' object has no attribute 'to_bytes'

help！！！

请问，程序中使用的数据集格式能具体举个例子么，我对文本数据不熟悉，想要把它用到图像上来。