定时爬取金十数据中心的信息

    技术2026-02-10  19

    记录一下前些时间一个客户叫我帮忙的的小单子,金十数据中心的的货币兑换率信息。 网址:https://datacenter.jin10.com/reportType/dc_ssi_trends 找到接口就可以了,就是按部就班式的爬取。 这里没有什么反爬,直接上代码:

    import time import json import requests def dig(timeid): url='https://datacenter-api.jin10.com/sentiment/list?_='+timeid#时间戳 print(url) header={'user-agent':'Mozilla/5.0', 'x-app-id':'rU6QIu7JHe2gOUeR', 'x-csrf-token':'', 'x-version':'1.0.0' } data=requests.get(url,headers=header) res=json.dumps(data.json(), indent=2, ensure_ascii=False) for each in data.json()["data"]: print(each["currency_pair"]) print(str(each["buy_rate"])+'\\'+str(each["sell_rate"])) #print(each["sell_rate"]) print('+'*70) def gettime(): while True: t=time.time() now=time.localtime(t) #print(now) if now[4]==12:#这里设置定时每个小时的12分时爬取一次 timeid=str(int(t*1000)) dig(timeid) #break def main(): gettime() if __name__=="__main__": print('one hour agin') main()

    运行结果:

    Processed: 0.012, SQL: 9