将爬虫部署在服务器的简易方法：[[容器部署 Selenium + Python 打造通用爬虫]]

import os
import time
import requests
from selenium import webdriver
from selenium.webdriver.common.by import By #Selenium 4 版本后推荐使用该方法
from selenium.webdriver.support.ui import WebDriverWait #使用显式等待需要调用该库
from selenium.webdriver.support import expected_conditions as EC #使用显式等待需要调用该库

browser_option = webdriver.ChromeOptions()
browser_option.add_argument("--headless")
browser_option.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2}) # 不加载图片
browser = webdriver.Chrome(options = browser_option)

# 隐式等待
# browser.implicitly_wait(30)
# browser.get("www.baidu.com")

# 显式等待（带条件）
# browser.get("www.baidu.com")
# browser_wait = WebDriverWait(browser, 5, 0.5).until(EC.presence_of_all_elements_located((By.XPATH,'//ol[@]/li//img')))