17370845950

本文详解如何修正 `readlines()` 后仅处理最后一个 url 的常见错误，通过将请求与解析逻辑正确嵌入 for 循环，实现对文本文件中所有 url 的批量抓取与结构化提取。

在使用 file.readlines() 读取 URL 列表时，一个典型误区是将 requests.get()、BeautifulSoup 解析及文件写入等核心逻辑写在循环外部——这会导致只有最后一次迭代赋值的 url（即列表末尾的 URL）被实际处理。你提供的代码中，for link in linksList: url = link 仅更新变量，而后续的 requests.get(url) 等操作却位于循环之外，因此只执行一次，且作用于最后一个链接。

✅ 正确做法是：将整个 HTTP 请求、状态校验、HTML 解析和结果写入逻辑全部包裹在 for 循环内，确保每个 URL 独立完成完整流程。

以下是优化后的完整可运行代码（含关键改进说明）：

import requests
from bs4 import BeautifulSoup

def news():
    # 使用 with 语句安全打开文件，自动关闭
    with open('list.txt', 'r', encoding='utf-8') as f:
        links_list = [line.strip() for line in f if line.strip()]  # 去除换行符和空行

    # 为每个 URL 单独处理
    for link in links_list:
        print(f"Processing: {link}")

        try:
            # 发起 GET 请求（建议添加超时和 headers 防止被拒）
            resp = requests.get(link, timeout=10, headers={
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
            })

            if resp.status_code == 200:
                soup = BeautifulSoup(resp.text, 'html.parser')

                # 查找目标 div 容器（注意：若页面无此结构，find 返回 None）
                container = soup.find("div", {"class": "m-exhibitor-entry__item__body__contacts__additional__website"})
                if container:
                    # 提取所有  标签的文本内容
                    websites = [a.get_text(strip=True) for a in container.find_all("a")]
                    if websites:
                        # 追加写入结果文件（每 URL 结果后加空行便于区分）
                        with open("Websites.txt", "a", encoding='utf-8') as out_f:
                            out_f.write(f"# Source: {link}\n")
                            out_f.writelines(f"{site}\n" for site in websites)
                            out_f.write("\n")
                        print(f"✓ Extracted {len(websites)} website(s) from {link}")
                    else:
                        print(f"⚠ No  tags found in target div at {link}")
                else:
                    print(f"⚠ Target div not found at {link}")
            else:
               
 print(f"✗ HTTP {resp.status_code} for {link}")

        except requests.exceptions.RequestException as e:
            print(f"❌ Request failed for {link}: {e}")
        except Exception as e:
            print(f"❌ Unexpected error parsing {link}: {e}")

if __name__ == "__main__":
    news()

? 关键改进点说明：

• ✅ 循环范围正确：所有网络请求与解析逻辑均在 for link in links_list: 内部，确保每个 URL 被独立处理；
• ✅ 健壮性增强：添加 try/except 捕获网络异常（如超时、连接拒绝）和解析异常（如目标元素不存在）；
• ✅ 资源安全：使用 with open() 自动管理文件句柄，避免文件未关闭风险；
• ✅ 数据清洗：line.strip() 去除每行末尾换行符及首尾空白，if line.strip() 过滤空行；
• ✅ 可读性优化：为每个 URL 的结果添加来源注释（# Source: ...），便于后期溯源；
• ✅ 反爬基础防护：设置 User-Agent 头，降低被服务器拦截概率。

⚠️ 注意事项：

• 若 list.txt 中的 URL 包含多余空格或换行符（如 https://example.com\n），不清理会直接导致 requests.get() 报错；
• 目标 HTML 结构（如 div.m-exhibitor-entry__item__body__contacts__additional__website）可能随网站改版失效，建议先用 print(soup.prettify()[:1000]) 调试确认实际 DOM；
• 高频请求可能触发反爬机制，生产环境应添加 time.sleep(1) 间隔，并考虑使用代理池或异步请求（如 aiohttp）提升效率。

通过以上重构，你的爬虫将真正实现「一链一解析」，稳定高效地批量提取多页面中的结构化链接数据。