数据简介

在当下互联网迅速发展的今天，每时每刻都会产生大量数据 在常见的应用场景中，最常见莫过于IP数据了 IP数据有利于我们统计用户的来源，使我们更好的进行业务，细分应用场景等 在互联网背景下这些用户数据有着重要的价值 那么我们怎么样来处理这些IP数据呢？

IP地址的解析

不多说了，笔者写了相关的文章，详见 数据挖掘：使用python+requests结合高德+百度+腾讯地图API处理IP数据，获得IP地理位置信息 基于IP的地理位置定位其实还是有不足的，有一些移动号码，他们的IP显示的是开户地的IP，但实际上他们早就不在开户地，也还有些运营商如联通，其网络链路令人难于琢磨 不过基本上，这还是有一定参考价值的

导入与观察数据

假设我们的学习数据是‘8.1.xls’ 取第二行做表头，第一列做索引

data=pd.read_excel('8.1.xls',header=1,index_col=0)

我们可以看到数据的基本结构

data.head(10)

其中的第6行就是我们的IP地址

处理数据

其实在本文开头所引用的IP地址定位文章中就已经简单提到如何是用了，笔者以某APP用户数据为例，来解释具体怎么用 当然这些用户数据都是匿名的，我也不会在本文体现出数据 首先当然是我们的处理函数（详见文章）

def ipapi(ip): url1="https://restapi.amap.com/v4/ip?key=你的key" data={} back={} data["ip"]=ip api1=rq.get(url1,params=data) api1=json.loads(api1.text) if api1['errcode']==0: back['province']=api1['data']['pcd']['province'] back['city']=api1['data']['pcd']['city'] back['county']=api1['data']['pcd']['county'] back['lng']=api1['data']['lng'] back['lat']=api1['data']['lat'] back['code']='Gaode' return back url2="http://api.map.baidu.com/location/ip?ak=你的key&coor=你的编码方式" data={} back={} data["ip"]=ip api2=rq.get(url2,params=data) api2=json.loads(api2.text) if api2['status']==0: back['province']=api2['content']['address_detail']['province'] back['city']=api2['content']['address_detail']['city'] back['county']='NULL' back['lng']=api2['content']['point']['x'] back['lat']=api2['content']['point']['y'] back['code']='Baidu' return back url3="https://apis.map.qq.com/ws/location/v1/ip?key=你的key" data={} back={} data["ip"]=ip api3=rq.get(url3,params=data) api3=json.loads(api3.text) if api3['status']==0: back['province']=api3['result']['ad_info']['province'] back['city']=api3['result']['ad_info']['city'] back['county']='NULL' back['lng']=api3['result']['location']['lng'] back['lat']=api3['result']['location']['lat'] back['code']='Tencent' return back qsz={'province': 'NULL', 'city': 'NULL', 'county': 'NULL', 'lng': 'NULL', 'lat': 'NULL', 'code': 'NULL'} return qsz

这会返回一个字典，我们可以用他们做一个字典列表，并转换为DataFrame，与我们原来的数据连接 值得注意的是，有些IP强到3家服务api都分类不了，这时返回一个空字典，便于以后处理 为了观察的方便，我们每隔100输出一下ip转换进行到哪一步了 假设我们有cols行，IP数据大致在第6列

ips=[] for i in range(cols): str=data.iloc[i,5] ips.append(ipapi(str)) if i%100==0: print(str) print(i)

得到字典列表之后，我们将字典转换为DataFrame

data2=pd,DataFrame(ips)

处理完之后，你就得到了一份匿名的经纬度数据 你也可以将其与原数据连接，如

data3= pd.concat([data,data2],axis=1)

但为了保护隐私，我们主要是采用匿名化的数据 为了其能被高德所识别，我们需要将其转化为标准格式 用一个函数，将经纬度连接并用逗号分隔

def to_stdc(x): try: if len(x)!=6 or x['lng']=='NULL': return 'NUll' st=str(x['lng'])+','+str(x['lat']) return st except: return 'NULL' mapt=data2.apply(to_stdc,axis=1) mapp = pd.concat([data2,mapt],axis=1)

将数据保存，然后进入高德Map Lab将其可视化

mapp.to_excel('map8.1.xls')

数据分析

这个时候导入高德Map Lab，数据格式已经符合要求，选择想要的图类，然后就可以进行分析了 为了保护隐私，具体的图就不放了 应该容易做