爬什么值得买的榜单——爬虫练习题目一（问）

本文介绍: 爬取网址：https://faxian.smzdm.com/h3s0t0f163c5p1/#filter-block（什么值得买的12小时热榜、电脑数码专区）编写一个爬虫程序来抓取“什么值得买”网站的12小时热榜（电脑数码专区）信息。比如 2023年年中的硬盘降价探寻原因发现国产的存储在崛起。最终我选定了这个网站，这也是我长久以来一直关注的。决定要建立一套完善的信息获取来源系统。建立一套完整的信息输入输出系统。帮助我能够嗅到风口的味道。在我上一次炒股的过程中。打工的我是得过且过的。

最近在做什么呢
建立一套完整的信息输入输出系统
在我上一次炒股的过程中
我深刻意识到
打工的我是麻木的
打工的我是闭塞的
打工的我是得过且过的
在这里插入图片描述

加上工作性质
也不可能跟别人有太多的交流
所以信息获取渠道基本为0
然
重新打工的我
决定要建立一套完善的信息获取来源系统
帮助我能够嗅到风口的味道
在这里插入图片描述

所以我才发布了这篇文章
人民日报霸榜微信区、国足背后的利益下台？——每日信息输入
从今天
开始我的信息输入

然
这个只是一些新闻
还不足以体现经济市场
我还需要进一步下沉到市场中

遂
我找了张大妈这个平台
里面的电脑数码区
爬取里面的价格
获取其中动态
在这里插入图片描述

pip install requests beautifulsoup4 pandas

class Product:
    def __init__(self, main_img_url, platform, title, price, comments_count, link):
        self.main_img_url = main_img_url
        self.platform = platform
        self.title = title
        self.price = price
        self.comments_count = comments_count
        self.link = link

import requests

def fetch_page_content(url):
    headers = {...}  # 添加合适的请求头，例如User-Agent等
    response = requests.get(url, headers=headers)
    response.raise_for_status()  # 检查响应状态码
    return response.text

from bs4 import BeautifulSoup

def parse_product_info(html_content):
    soup = BeautifulSoup(html_content, 'html.parser')
    product_list = []

    # 找到商品列表元素（具体CSS选择器需要根据实际HTML结构确定）
    product_elements = soup.select('.product-list-item')  # 假设这是商品容器的选择器

    for item in product_elements:
        # 提取每个商品的信息
        main_img = item.find('img')['src']  # 主图URL
        platform = item.find('.platform').text  # 平台名称
        title = item.find('.title').text  # 标题
        price = item.find('.price').text  # 价格
        comments_count = item.find('.comments-count').text  # 评论数
        link = item.find('.link')['href']  # 商品链接

        # 将信息封装为Product对象并添加到产品列表中
        product = Product(main_img, platform, title, price, comments_count, link)
        product_list.append(product)

    return product_list

import pandas as pd

def save_to_csv(products):
    df = pd.DataFrame([vars(p) for p in products])  # 将Product对象转为DataFrame
    df.to_csv('smzdm_products.csv', index=False)  # 存储为CSV文件

if __name__ == '__main__':
    target_url = "https://faxian.smzdm.com/h3s0t0f163c5p1/#filter-block"
    
    # 获取网页内容
    content = fetch_page_content(target_url)

    # 解析内容获取商品信息
    products = parse_product_info(content)

    # 存储结果
    save_to_csv(products)