bs4语法

是什麽?
BeautifulSoup,就是一个第三方的库,使用之前需要安装
  • pip install bs4

  • pip进行安装,默认是从国外安装,所以需要将pip源设置为国内源,国内有豆瓣源、阿里源、网易源等等xxx

配置永久国内源:


  • 1.windows配置方式:
  • (1)打开文件资源管理器
    --------在地址栏中输入 %appdata%
    (2)手动创建一个文件夹叫做 pip
    (3)在pip的文件夹里面新建一个文件 pip.ini
    (4)文件中写如下内容

    [global]
    index-url = http://pypi.douban.com/simple
    [install]
    trusted-host=pypi.douban.com


    • linux配置方式:

    • (1)cd ~
      (2)mkdir .pip
      (3)vi ~/.pip/pip.conf
      (4)编辑内容和windows的内容一模一样


      安装

      pip install bs4
      pip install lxml

      bs4是什麽?
      • 它的作用是能够快速方便简单的提取网页中指定的内容,给我一个网页字符串,然后使用它的接口将网页字符串生成一个对象,然后通过这个对象的方法来提取数据
      lxml是什麽?
      • lxml是一个解析器,也是下面的xpath要用到的库,bs4将网页字符串生成对象的时候需要用到解析器,就用lxml,或者使用官方自带的解析器 html.parser

      bs4语法学习

      • 通过本地文件进行学习,通过网络进行写代码
        (1)根据标签名进行获取节点
        只能找到第一个符合要求的节点
        (2)获取文本内容和属性
      • 属性

      soup.a.attrs 返回一字典,里面是所有属性和值
      soup.a['href'] 获取href属性
      soup.a.string
      soup.a.text
      soup.a.get_text()
      【注】当标签里面还有标签的时候,string获取的为None,其他两个获取纯文本内容

      (3)find方法

      soup.find('a')
      soup.find('a', class_='xxx')
      soup.find('a', title='xxx')
      soup.find('a', id='xxx')
      soup.find('a', id=re.compile(r'xxx'))
      【注】find只能找到符合要求的第一个标签,他返回的是一个对象
      
      

      (4)find_all

      返回一个列表,列表里面是所有的符合要求的对象
      soup.find_all('a')
      soup.find_all('a', class_='wang')
      soup.find_all('a', id=re.compile(r'xxx'))
      soup.find_all('a', limit=2)   提取出前两个符合要求的a
      
      

      (5)select


      选择,选择器 css中

      常用的选择器

      标签选择器、id选择器、类选择器

      层级选择器**

      div h1 a      后面的是前面的子节点即可

      div > h1 > a  后面的必须是前面的直接子节点

      属性选择器

      input[name='hehe']

      select('选择器的')

      【注】返回的是一个列表,列表里面都是对象

      【注】find find_all select不仅适用于soup对象,还适用于其他的子对象,如果调用子对象的select方法,那么就是从这个子对象里面去找符合这个选择器的标签




      from bs4 import BeautifulSoup
      
      # 生成soup对象
      soup = BeautifulSoup(open('soup.html', encoding='utf8'), 'lxml')
      print(type(soup))
      
      print(soup.a.attrs)
      print(soup.a.attrs['href'])
      print(soup.a['href'])
      
      print(soup.a.string)
      print(soup.a.text)
      print(soup.a.get_text())
      
      print(soup.div.string)
      print(soup.div.text)
      print(soup.div.get_text())
      
      ret = soup.find('a')
      ret = soup.find('a', title='清明')
      ret = soup.find('a', class_='dumu')
      print(ret)
      
      import re
      ret = soup.find('a', id='xiaoge')
      ret = soup.find('a', id=re.compile(r'^x'))
      print(ret.string)
      
      ret = soup.find_all('a')
      print(ret[1].string)
      
      ret = soup.find_all('a', class_='wang')
      print(ret)
      
      ret = soup.find_all('a', id=re.compile(r'^x'))
      print(ret)
      
      ret = soup.select('a')
      ret = soup.select('#muxiong')
      print(ret[0]['title'])
      
      ret = soup.select('.wang')
      print(ret)
      
      ret = soup.select('div > a')
      print(ret)
      
      ret = soup.select('a[title=东坡肉]')
      
      print(ret)
      
      odiv = soup.select('.tang')[0]
      
      ret = odiv.select('a')
      
      print(ret)
      滚滚长江东逝水,浪花淘尽英雄,是非成败转头看,青山依旧在,几度夕阳红
      白发渔樵江渚上,观看秋月春风,一壶浊酒喜相逢,古今多少事,都付笑谈中

      三国演义--实战

      import urllib.request
      import urllib.parse
      from bs4 import BeautifulSoup
      import time
      
      # 给我一个url,返回一个请求对象
      def handle_request(url):
          headers = {
              'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
          }
          return urllib.request.Request(url=url, headers=headers)
      
      def parse_first_page(url):
          request = handle_request(url)
          # 发送请求,获取响应
          content = urllib.request.urlopen(request).read().decode('utf8')
          time.sleep(2)
          # 使用bs解析内容,生成soup对象
          soup = BeautifulSoup(content, 'lxml')
          # print(soup)
          # 查找所有的章节链接对象
          a_list = soup.select('.book-mulu > ul > li > a')
          # print(ret)
          # print(len(ret))
          # 打开文件
          fp = open('三国演义.txt', 'w', encoding='utf8')
          # 遍历所有的a对象
          for oa in a_list:
              # 取出这个a的内容
              title = oa.string
              # 取出a的href属性
              href = 'http://www.shicimingju.com' + oa['href']
      
              print('正在下载%s......' % title)
              # 向href发送请求,直接获取到解析之后的内容
              neirong = get_neirong(href)
              print('结束下载%s' % title)
              time.sleep(2)
              string = '%s\n%s' % (title, neirong)
              # 将string写入到文件中
              fp.write(string)
      
          fp.close()
      
      def get_neirong(href):
          # 向href发送请求,获取响应,解析响应,返回内容
          request = handle_request(href)
          content = urllib.request.urlopen(request).read().decode('utf8')
          # 生成soup对象,提取章节内容
          soup = BeautifulSoup(content, 'lxml')
          # 找包含章节内容的div
          odiv = soup.find('div', class_='chapter_content')
          neirong = odiv.text
          return neirong
      
      def main():
          url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
          # 解析第一个页面,返回所有的章节列表
          chapter_list = parse_first_page(url)
      
      if __name__ == '__main__':
          main()

      智联招聘--实战

      import urllib.request
      import urllib.parse
      import time
      from bs4 import BeautifulSoup
      
      class ZhiLianSpider(object):
          def __init__(self, jl, kw, start_page, end_page):
              # 保存到成员属性中,这样在其他的方法中就可以直接使用
              self.jl = jl
              self.kw = kw
              self.start_page = start_page
              self.end_page = end_page
      
              self.items = []
      
          def handle_request(self, page):
              url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?'
              data = {
                  'jl': self.jl,
                  'kw': self.kw,
                  'p': page,
              }
              query_string = urllib.parse.urlencode(data)
              # 拼接url
              url += query_string
              # print(url)
              headers = {
                  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
              }
              return urllib.request.Request(url=url, headers=headers)
      
          def parse_content(self, content):
              # 生成soup对象
              soup = BeautifulSoup(content, 'lxml')
              # 首先找到所有的table
              table_list = soup.find_all('table', class_='newlist')[1:]
              # print(table_list)
              # print(len(table_list))
              # 遍历所有的table,依次提取每一个工作的信息
              for table in table_list:
                  # 职位名称
                  zwmc = table.select('.zwmc a')[0].text.strip('\xa0')
                  # 公司名称
                  gsmc = table.select('.gsmc a')[0].text
                  # 职位月薪
                  zwyx = table.select('.zwyx')[0].text
                  # 工作地点
                  gzdd = table.select('.gzdd')[0].text
                  # print(gzdd)
                  # exit()
                  item = {
                      '职位名称': zwmc,
                      '公司名称': gsmc,
                      '职位月薪': zwyx,
                      '工作地点': gzdd,
                  }
                  self.items.append(item)
      
          def run(self):
              # 搞个循环
              for page in range(self.start_page, self.end_page + 1):
                  print('正在爬取第%s页......' % page)
                  # 拼接url的过程,构建请求对象
                  request = self.handle_request(page)
                  content = urllib.request.urlopen(request).read().decode('utf8')
                  # 给我请求对象,解析并且提取内容
                  self.parse_content(content)
                  print('结束爬取第%s页' % page)
                  time.sleep(2)
      
              # 将所有的工作保存到文件中
              string = str(self.items)
              with open('work.txt', 'w', encoding='utf8') as fp:
                  fp.write(string)
      
      def main():
          # 输入工作地点
          jl = input('请输入工作地点:')
          # 输入工作关键字
          kw = input('请输入关键字:')
          # 输入起始页码
          start_page = int(input('请输入起始页码:'))
          # 输入结束页码
          end_page = int(input('请输入结束页码:'))
          zhilian = ZhiLianSpider(jl, kw, start_page, end_page)
          zhilian.run()
      
      if __name__ == '__main__':
          main()









点赞(0) 打赏

Comment list 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部