留言信息反查53KF具体数据python与sem

53客服可以根据聊天内容搜索到具体访客数据，但是只能一条一条来，更不用说开放什么api了。在做数据分析中除了要统计转换外，无效分析也是必须的，然而客服反馈回来的无效往往只有电话号码。这里更难受的又来了，53下载下来的数据只有 关键词、咨询页面等信息，并不包含电话。。。所以无法直接vlookup。

好在天无绝人之路，53提供html下载的数据包含聊天内容，可以通过html提取出对应留言信息的ip地址，然后和excel版本的数据整合；也可以直接在html中提取所有需要的数据。

下载53的html数据后，提取所有的ip、时间放入数组；

然后整理出每个访客的对话内容，清除换行、空格等干扰信息；

逐行读取无效电话内容，假如对话内容包含，则是无效，输出对应ip时间，到数组；

导出结果。

#-*-coding:utf-8-*-

importpandasaspd

frombs4importBeautifulSoup

path=input('输入文件名:')

path=path+'.html'

withopen(path,'r',encoding='UTF-8')asf:

Soup=BeautifulSoup(f.read(),'lxml')

table=Soup.find('table').find_all('tr')

i=0

j=0

ips=[]

tms=[]

dhs=[]

jg=[]

forttrintable:

try:

tds=ttr.find_all('td',class_="td_0")

ip=tds[11].get_text().replace('

','').replace('\r','').replace('\r

','')

time=tds[3].get_text().replace('

','').replace('\r','').replace('\r

','')

ips.append(ip)

tms.append(time)

i=i+1

except:

pass

worker_msgs=Soup.find_all('tr',class_="worker_msg")

dh=open("dh.txt",'r',encoding='UTF-8')

forlineindh.readlines():

l=list(line.split())

dhs.append(l)

forttrinworker_msgs:

uu=ttr.get_text()

uu=uu.replace('

','').replace('\r','').replace('\r

','')

fordhindhs:

ifdh[0]inuu:

l=[dh[0],ips[j],tms[j]]

jg.append(l)

print(l)

j=j+1

name=['info','ip','time']

test=pd.DataFrame(columns=name,data=jg)

print(test)

test.to_csv('ip_jmk_time.csv',encoding='UTF-8')

VLOOKUP函数是Excel中的一个纵向查找函数，功能是按列查找，很终返回该列所需查询序列所对应的值；与之对应的HLOOKUP是按行查找的。具体使用方法：

baike.baidu.com/item/VLOOKUP函数/

=VLOOKUP(F925,I:K,3,0)

这里通过电话号码查询，返回无效资源的ip地址，现在客服反馈的无效资源就包含了电话，无效原因，和ip地址。

1、初级分析，通过vlookup函数利用ip将无效原因输出到53excel版本的数据中，满足基本的时间段或者是地域的无效分析。

优点：操作简单

缺点：重复操作，分析内容有限

2、加入数据模型，系统分析 关键词、搜索词、单元、计划、时间、地域的无效情况。

优点：分析全面，一次解决

缺点：初次操作难度较高

在powerquery中导入包含ip的无效资源数据ip_jmk，然后在转换数据中使用List.Contains函数，标记转化是否是无效。

=Table.AddColumn(重命名的列4,"是否无效",eachifList.Contains(ip_jmk[ip],[ip])then"是"elsenull)

List.Contains({1,2,3,4},3)

true

List.Contains指示列表list中是否包含值value，返回逻辑值。

其实也不难，不过是开始找这个函数找了好久，本人小白翻遍PowerQueryM函数才找到这个可以利用的function。

更委如劳土改观圆便号路格议思那连论保阶花报化向流大是回条走民证而山己全她义面六听全织如多些图你律去离一代满油手流任即置车第必点国度农与走须深片效来在导发及即质因则产风量带容非亲属家5。留言信息反查53KF具体数据python与sem。sem 托管,sem的前景,SEM畸结构