devbox
煮酒与君饮
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

python抓取招聘信息_sojob

作者：煮酒与君饮 | 2024-08-06 23:55:58

赞

踩

sojob

selenium应用中的坑

  1. selenium库的使用能够很好的让你绕过反爬机制，应为程序在运行的过程中完全符合浏览器的行为，既然是完全符合历览器的行为那么也就不会被轻易的挡在外面，但是在应用过程中还是存在问题的。
  2. spider在获取数据的时候，就是它能看到的，然后是你指定的数据，只要程序员爸爸给了合适的定位操作，spider就能通过定位拿到数据，但是前端的大佬们，往往在写页面的时候，有时候标签的使用会变化，也就让我们的定位无法准确的定位，这时候，你的spider就会出现宕机的危机。
  3. 解决方法：
    1. 在开始编写代码之前，事先打开网页，进行查看，主要观察的地方是，你所获取内容在页面上的展示方式和地方。
    2. 异常处理，利用异常处理来保证你的spider不会死亡，而且通过异常的抛出你也能够进行发先，定位标记的错误，及时进行代码的优化。
    3. 访问时适当的加入等待机制，合适的等待机制，爬取的效率虽然会稍微的降低，但是稳定的数据获取，能够减少你的返工次数。

应用实例：

猎聘网的有关ptython的职位信息的获取（仅用于练习和代码测试）

利用chrome的自动控制，进行数据的获取

主要获取的字段为，公司名称、职位名称、薪资、应聘要求。

最后将数据存放到数据库中。

  1. import pymysql
  2. import sys
  3.  
  4. def save(table):
  5.     print('------------------------------')
  6.     global conn
  7.     conn = pymysql.connect(host='127.0.0.1',
  8.                            user='root',
  9.                            passwd='XXX',
  10.                            port=8080,
  11.                            charset='utf8')
  12.     global cur
  13.     cur = conn.cursor()
  14.     print('获取游标')
  15.     try:
  16.         cur.execute("create database lp character set utf8;")
  17.     except Exception as e:
  18.         print(e)
  19.     cur.execute('use lp;')
  20.     try:
  21.         cur.execute("create table "+table+"(id int,company char(100),job char(200),\
  22.                 address char(100),salary char(100),ask varchar(5000))character set utf8;"
  23.                 )
  24.     except Exception as e:
  25.         print(e)
  26.     print('创建表完成')
  27. def inser_data(table,id,company,job,address,salary,ask):
  28.     sql_insert = 'insert into '+table+'(id,company,job,address,salary,ask) values (%s,%s,%s,%s,%s,%s);'
  29.     try:
  30.         cur.execute(sql_insert,[id,company,job,address,salary,ask])
  31.     except Exception as e:
  32.         print(e)
  33.     conn.commit()
  34.  
  35.  
  36. def my_txt(table,ask):
  37.     f = open(table+'.txt','a+',encoding='utf-8')
  38.     f.write(ask)
  39.     f.close()
  40.  
  1. '''
  2. 职位要求得数据全部存储在本地txt文档制作词云
  3. 公司名称，职位名称和薪资字段全部存放于数据库
  4. 由于薪资字段得数据显示方式为“XX-XX”的范围所以全部以字符串的形式进行存放
  5. '''
  6. from selenium import webdriver
  7. from time import sleep
  8. import random
  9. import re
  10. from lp_spider import save_data
  11. # from  lp_spider import py_cloud
  12. start_url = 'https://www.liepin.com/zhaopin/'
  13.  
  14. def open_url():
  15.     global driver
  16.     driver = webdriver.Chrome()
  17.     driver.get(start_url)
  18.     driver.maximize_window()
  19.  
  20. def get_page(type):
  21.     #隐形等待，网页完全打开
  22.     driver.implicitly_wait(20)
  23.     #输入需要查找的类型
  24.     driver.find_element_by_xpath('//*[@id="sojob"]/div[1]/form/div[1]/div/div/div[1]/input').send_keys(type)
  25.     #点击进行查找
  26.     driver.find_element_by_xpath('//*[@id="sojob"]/div[1]/form/div[1]/div/div/div[1]/button').click()
  27.     # 滑动滑块
  28.     driver.execute_script('window.scrollBy(0, 500)')
  29.  
  30.  
  31.  
  32. def get_info(table):
  33.     global id  # 标号
  34.     id = 0
  35.     for j in range(1,101):
  36.         for i in range(1,41):
  37.  
  38.             global company  # 公司名称
  39.             global job  # 职位名称
  40.             global salary  # 薪资
  41.             global Ask  # 职位要求
  42.             try:
  43.                 ty = driver.find_element_by_xpath('//*[@id="sojob"]/div[2]/div/div[1]/div[1]/ul/li['+str(i)+']/i/b').text
  44.             except:
  45.                 ty = '无'
  46.             print(ty)
  47.             if ty == '企':
  48.                 #sleep(random.choice(range(5, 15)))
  49.                 #打开对应页面
  50.                 try:
  51.                     #打开对应的页面
  52.                     driver.find_element_by_xpath('//*[@id="sojob"]/div[2]/div/div[1]/div[1]/ul/li['+str(i)+']/div/div[1]/h3/a').click()
  53.                     #print(i)
  54.                     #跳转
  55.                     print('站点地址：',end=' ')
  56.                     print(driver.current_url)
  57.                     handles = driver.window_handles
  58.                     driver.switch_to.window(handles[len(handles)-1])
  59.                     #print(driver.current_url)
  60.                     driver.implicitly_wait(20)
  61.                     #开始进行获取信息
  62.                     try:
  63.                         company = driver.find_element_by_xpath(
  64.                             '//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[1]/h3/a[@title]').text
  65.                     except Exception as e:
  66.                         print(e)
  67.                         try:
  68.                             company = driver.find_element_by_xpath(
  69.                                 '//*[@id="job-hunter"]/div[1]/div[1]/div[1]/div[1]/div/div[1]/h3').text
  70.                         except Exception as e:
  71.                             print(e)
  72.                             company = driver.find_element_by_xpath(
  73.                                 '//*[@id="job-hunter"]/div[1]/div[1]/div[1]/div[1]/div/div[1]/h1[@title]').text
  74.  
  75.                     #print(company)
  76.                     try:
  77.                         job = driver.find_element_by_xpath('//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[1]/h1').text
  78.                     except Exception as e:
  79.                         print(e)
  80.                         job = driver.find_element_by_xpath('//*[@id="job-hunter"]/div[1]/div[1]/div[1]/div[1]/div/div[1]/h1[@title]').text
  81.                     #print(job)
  82.                     #sleep(random.choice(range(1,5)))
  83.                     try:
  84.                         salary = driver.find_element_by_xpath('//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/p[1]').text
  85.                         salary_m = re.findall('[\u4e00-\u9fa5]+',salary)
  86.                         if (salary_m[0] == '面议'):
  87.                             salary = ['面议']
  88.                         else:
  89.                             salary = driver.find_element_by_xpath(
  90.                                 '//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/p[1]').text
  91.                             if (len(salary)<8):
  92.                                 salary = [salary]
  93.                             else:
  94.                                 salary = re.findall('[0-9]*.[0-9]*.[\u4e00-\u9fa5]+', salary)
  95.  
  96.                     except Exception as e:
  97.                         print(e)
  98.                         salary = driver.find_element_by_xpath(
  99.                             '//*[@id="job-hunter"]/div[1]/div[1]/div[1]/div[1]/div/div[2]/div/div/p[1]').text
  100.                         if (len(salary) < 8):
  101.                             salary = [salary]
  102.                         else:
  103.                             salary = re.findall('[0-9]*.[0-9]*.[\u4e00-\u9fa5]+', salary)
  104.                     #print(salary)#!salary经过处理后变成字典形式
  105.                     try:
  106.  
  107.                         address = driver.find_element_by_xpath('//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/p[2]/span/a').text
  108.                     except Exception as e:
  109.                         print(e)
  110.                         try:
  111.                             address = driver.find_element_by_xpath('//*[@id="job-hunter"]/div[1]/div[1]/div[1]/div[1]/div/div[2]/div/div/p[2]/span').text
  112.                         except Exception as e:
  113.                             print(e)
  114.                             try:
  115.                                 address = driver.find_element_by_xpath('//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/p[2]/span/text()').text
  116.                             except Exception as e:
  117.                                 print(e)
  118.                                 address = driver.find_element_by_xpath('//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/p[2]/span').text
  119.                     #print(address)
  120.                     #移动滑动条
  121.                     driver.execute_script('window.scrollBy(0,400)')
  122.                     #sleep(10)
  123.                     try:
  124.                         Ask= driver.find_element_by_xpath('//*[@id="job-view-enterprise"]/div[1]/div[1]/div[1]/div[1]/div[3]/div').text
  125.  
  126.                     except Exception as e:
  127.                         Ask = driver.find_element_by_xpath('//*[@id="job-hunter"]/div[1]/div[1]/div[1]/div[1]/div/div[3]/div').text
  128.                     #Ask = Ask.replace("\n",'')
  129.                     try:
  130.                         Ask = Ask.replace("任职要求：", "")
  131.                     except:
  132.                         #print(Ask)
  133.                         pass
  134.                     try:
  135.                         Ask = Ask.replace("岗位职责：", "")
  136.                     except:
  137.                         #print(Ask)
  138.                         pass
  139.                     try:
  140.                         Ask = Ask.replace("职位描述：", "")
  141.                     except:
  142.                         #print(Ask)
  143.                         pass
  144.                     try:
  145.                         Ask = Ask.replace("岗位要求：", "")
  146.                     except:
  147.                         #print(Ask)
  148.                         pass
  149.                     try:
  150.                         Ask = Ask.replace("职责描述：", "")
  151.  
  152.                     except:
  153.                         #print(Ask)
  154.                         pass
  155.                     try:
  156.                         Ask = Ask.replace("任职资格：", "")
  157.                     except:
  158.                         #print(Ask)
  159.                         pass
  160.                     # print(Ask)
  161.                     driver.close()
  162.                     handles = driver.window_handles
  163.                     sleep(random.choice(range(1, 5)))
  164.                     driver.switch_to.window(handles[len(handles)-2])
  165.                     # #滑动滑块
  166.                     # driver.execute_script('window.scrollBy(0, 145)')
  167.                     print(j, end='.')
  168.                     print(i)
  169.                     #print('————————————————————————————————————————————————————————————————————————' * 10)
  170.                     save_data.inser_data(table,str(id), company, job, address, salary[0], Ask)
  171.                     save_data.my_txt(table,Ask)
  172.                     id = id + 1
  173.                 except:
  174.                     pass
  175.             else:
  176.                 print(j, end='.')
  177.                 print(i,end='完成')
  178.                 #print('————————————————————————————————————————————————————————————————————————'*10)
  179.             if i<40:
  180.                 if ty == '企':
  181.                     # 滑动滑块
  182.                     driver.execute_script('window.scrollBy(0, 145)')
  183.                 if ty == '猎':
  184.                     driver.execute_script('window.scrollBy(0,141)')
  185.                 if ty == '直':
  186.                     driver.execute_script('window.scrollBy(0,145)')
  187.                 if ty == '无':
  188.                     driver.execute_script('window.scrollBy(0,137)')
  189.                 if ty == '优':
  190.                     driver.execute_script('window.scrollBy(0,139)')
  191.         try:
  192.             driver.find_element_by_xpath('//*[@id="sojob"]/div[2]/div/div[1]/div[1]/div/div/a[8]').click()
  193.         except:
  194.             driver.execute_script('window.scrollTo(0,0)')#返回到页面首位
  195.             driver.execute_script('window.scrollBy(0,{})'.format(145 * 42))
  196.             driver.find_element_by_xpath('//*[@id="sojob"]/div[2]/div/div[1]/div[1]/div/div/a[8]').click()
  197.         sleep(random.choice(range(3,5)))
  198.         driver.execute_script('window.scrollBy(0, 500)')
  199.     save_data.cur.close()
  200.     save_data.conn.close()
  201. if __name__ == '__main__':
  202.     while(1):
  203.         print('输入爬取职位类别名称，输入后按回车继续-->',end='')
  204.         ty = input()
  205.         save_data.save(ty)
  206.         open_url()
  207.         get_page(ty)
  208.         get_info(ty)
  209.         #py_cloud.make_cloud('python')
  210.         print('爬取结束')
  1. # 词云
  2.  
  3.  
  4. from wordcloud import WordCloud
  5. import cv2
  6. import jieba
  7.  
  8. with open('lp.txt', 'r',encoding='utf-8') as f:
  9.     text = f.read()
  10.  
  11. cut_text = " ".join(jieba.cut(text))
  12.  
  13. color_mask = cv2.imread('python1.jpg')
  14.  
  15. cloud = WordCloud(
  16.     # 设置字体，不指定就会出现乱码
  17.     font_path=" C:\\Windows\\Fonts\\STXINGKA.TTF",
  18.     # font_path=path.join(d,'simsun.ttc'),
  19.     # 设置背景色
  20.     background_color='white',
  21.     # 词云形状
  22.     mask=color_mask,
  23.     # 允许最大词汇
  24.     max_words=10000,
  25.     # 最大号字体
  26.     max_font_size=100
  27. )
  28.  
  29. wCloud = cloud.generate(cut_text)
  30. wCloud.to_file('cloud.png')
  31.  
  32. import matplotlib.pyplot as plt
  33.  
  34. plt.imshow(wCloud, interpolation='bilinear')
  35. plt.axis('off')
  36. plt.show()

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/939927
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号