python爬蟲就是向網(wǎng)頁服務(wù)器發(fā)送請求抓取數(shù)據(jù)返回的程序，而根據(jù)抓取數(shù)據(jù)的方式不同，抓取回來的數(shù)據(jù)除了網(wǎng)頁源代碼之外還有json格式的 。而這篇文章所介紹的內(nèi)容就是python爬蟲提取json數(shù)據(jù)然后對其進行解析的方法，感興趣的話可以往下看看作為參考 。

一、提取json數(shù)據(jù)
python爬蟲一般都是采用requests這個第三方庫調(diào)用方法來抓取數(shù)據(jù)，而返回來的并不是只有數(shù)據(jù)，而是一個叫做response的響應(yīng)對象 。在這個對象中text屬性獲取到的沒有處理過的源數(shù)據(jù)，而json()這個方法就可以將其中的json數(shù)據(jù)給提取出來并對其進行初步解析 。
這個解析能夠?qū)⑵滢D(zhuǎn)為python可以識別和輸出的對應(yīng)類型，詳細(xì)代碼示例如下所示：
import requestsurl='https://image.baidu.com/search/acjson?tn=resultjson_com'resp=requests.get(url)json_data=https://www.ycpai.cn/python/resp.json()print(json_data)【Python爬蟲提取json數(shù)據(jù)怎么做？Python爬蟲json數(shù)據(jù)解析如何實現(xiàn)】二、解析json數(shù)據(jù)
而這個json數(shù)據(jù)雖然可以將其輸出，但是還需要進一步解析才可以去使用它 。那么這一步就需要用到內(nèi)置模塊json了，其中的loads()方法能夠?qū)son數(shù)據(jù)轉(zhuǎn)為字典格式，這樣就可以使用循環(huán)迭代以及切片語法來將其中的數(shù)據(jù)給取出來了 。而這些取數(shù)據(jù)時需要填入的字典鍵，就是json格式數(shù)據(jù)之中的屬性名，代碼示例如下所示：
for i in json_data:  name = i['title']   img = i['cover']   rate = i['rate']   with open(mulu+'/'+'rm.txt', 'a+', encoding='utf-8') as f:    f.write('pf：' + rate + 'mz：' + name + 'dz：' + img + '\n')需要注意只有取到的數(shù)據(jù)是json格式才需要使用這種方式進行解析，如果只是單純的一段字符串保存起來的數(shù)據(jù)，調(diào)用json()方法所得到的的數(shù)據(jù)就可以直接使用了 。






微信掃碼，學(xué)習(xí)更方便


現(xiàn)在報名贈100例知識點合集

猜你喜歡

• Python爬蟲代理ip如何使用？Python爬蟲怎么用代理ip發(fā)送請求
• Python發(fā)送帶參數(shù)的get請求怎么做？Python爬蟲如何發(fā)送有參數(shù)的請求
• Python怎么用requests庫寫爬蟲程序？如何使用requests抓取網(wǎng)頁數(shù)據(jù)
• 嗎啡是鴉片中最主要的生物堿從鴉片提取而成純凈的嗎啡為什么貨白色的粉末或結(jié)
• Excel 高手請進，多個表跨表格數(shù)據(jù)提取并生成新文件
• 什么軟件可以提取視頻里的音樂
• 從身份證號碼中提取出生年月日 如何操作
• 住房公積金提取需要什么材料 住房公積金提取需要帶什么資料
• 西雙版納公積金怎么提??？
• 我們永城的住房公積金是怎么提取的？