اگر تا حالا مجبور شده‌ای قیمت محصولات یک فروشگاه اینترنتی را یکی‌یکی کپی کنی، یا لیست مقالات یک سایت را برای یک پروژه جمع‌آوری کنی، می‌دانی که این کار چقدر وقت‌گیر و خسته‌کننده است. وب اسکرپینگ دقیقاً برای همین ساخته شده: با چند خط کد پایتون، داده‌ها را به‌صورت خودکار از هر وب‌سایتی استخراج می‌کنی و در چند ثانیه کاری را انجام می‌دهی که ساعت‌ها طول می‌کشید. در این آموزش، از نصب کتابخانه‌ها تا ذخیره داده‌ها در فایل CSV، همه‌چیز را قدم‌به‌قدم یاد می‌گیری.

وب اسکرپینگ چیست؟

وب اسکرپینگ یعنی استخراج خودکار داده از صفحات وب با استفاده از کد. پایتون با کتابخانه‌هایی مثل requests و BeautifulSoup محبوب‌ترین زبان برای این کار است؛ چون کد ساده‌ای دارد و ابزارهای آماده‌اش تقریباً هر کاری را برایت انجام می‌دهند. در ادامه با یک مثال واقعی، یک اسکرپر کامل می‌سازیم.

وب اسکرپینگ چیست و چه کاربردی دارد؟

وب اسکرپینگ (Web Scraping) فرایند استخراج خودکار اطلاعات از صفحات وب است. به‌جای اینکه داده‌ها را با چشم بخوانی و دستی کپی کنی، یک برنامه می‌نویسد که به سایت درخواست می‌فرستد، کد HTML صفحه را دریافت می‌کند و اطلاعات موردنظرت را از داخل آن بیرون می‌کشد. به این کار در اصطلاح فنی «پارس کردن HTML» هم می‌گویند.

کاربردهای وب اسکرپینگ خیلی گسترده‌اند:

مقایسه قیمت‌ها: جمع‌آوری خودکار قیمت محصولات از چند فروشگاه برای پیدا کردن بهترین قیمت.
تحقیق بازار: بررسی نظرات کاربران، امتیاز محصولات و روند فروش رقبا.
جمع‌آوری داده برای آموزش هوش مصنوعی: ساخت دیتاست از متن‌ها، تصاویر یا اخبار.
مانیتورینگ اخبار: دریافت خودکار تیتر و خلاصه اخبار از چند منبع در یک جا.
تحلیل شبکه‌های اجتماعی: استخراج تعداد لایک، کامنت و هشتگ برای تحلیل روندها.

نکته مهم: اسکرپینگ با «وب کراولینگ» فرق دارد. کراولینگ یعنی خزیدن در لینک‌های یک سایت برای ایندکس کردن صفحات (کاری که موتورهای جستجو می‌کنند)، اما اسکرپینگ یعنی استخراج داده مشخص از یک صفحه یا چند صفحه خاص. در عمل این دو اغلب با هم استفاده می‌شوند.

ابزارهای لازم برای وب اسکرپینگ با پایتون

برای شروع فقط به پایتون ۳ و چند کتابخانه نیاز داری. این جدول محبوب‌ترین ابزارها را مقایسه می‌کند تا بر اساس نیازت انتخاب کنی:

کتابخانه	کاربرد اصلی	میزان سختی	بهترین گزینه برای
requests	ارسال درخواست HTTP و دریافت محتوای صفحه	خیلی آسان	همه پروژه‌ها؛ پایه هر اسکرپر
BeautifulSoup	پارس کردن HTML و استخراج داده با سلکتورهای ساده	آسان	صفحات استاتیک و پروژه‌های متوسط
Scrapy	فریم‌ورک کامل اسکرپینگ با پشتیبانی از کراولینگ و پایپ‌لاین داده	متوسط	پروژه‌های بزرگ و حرفه‌ای
Selenium / Playwright	کنترل مرورگر واقعی برای سایت‌های جاوااسکریپتی	متوسط	صفحات داینامیک که با درخواست ساده لود نمی‌شوند

برای این آموزش از requests و BeautifulSoup استفاده می‌کنیم؛ چون ساده‌ترین و پرکاربردترین ترکیب برای شروع هستند.

آموزش گام‌به‌گام ساخت اسکرپر

فرض کن می‌خواهیم عنوان و قیمت چند محصول را از یک فروشگاه اینترنتی استخراج کنیم. مراحل را یکی‌یکی جلو می‌رویم.

گام ۱: نصب کتابخانه‌ها

اول کتابخانه‌های لازم را با pip نصب کن:

pip install requests beautifulsoup4

اگر از محیط مجازی (virtual environment) استفاده می‌کنی، اول آن را فعال کن تا وابستگی‌های پروژه‌ات تمیز بماند.

گام ۲: ارسال درخواست و دریافت صفحه

با requests به آدرس موردنظر درخواست می‌فرستیم و محتوای HTML را دریافت می‌کنیم:

import requests

url = "https://example.com/products"
response = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
print(response.status_code) # 200 یعنی موفق

تنظیم User-Agent مهم است؛ خیلی از سایت‌ها درخواست‌های بدون هدر مرورگر را مسدود می‌کنند.

گام ۳: پارس کردن HTML با BeautifulSoup

حالا محتوای دریافتی را به BeautifulSoup می‌دهیم تا بتوانیم روی آن جستجو کنیم:

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "html.parser")
products = soup.select(".product-card")

با select می‌توانی از سلکتورهای CSS استفاده کنی؛ مثلاً کلاس product-card را برای هر کارت محصول انتخاب می‌کنیم.

گام ۴: استخراج داده‌های موردنظر

حالا از هر کارت محصول، عنوان و قیمت را بیرون می‌کشیم:

for product in products:
title = product.select_one(".product-title").text.strip()
price = product.select_one(".price").text.strip()
print(title, price)

متد select_one اولین عنصر منطبق را برمی‌گرداند و text.strip() متن را تمیز می‌کند.

گام ۵: ذخیره داده‌ها در فایل CSV

در نهایت داده‌ها را با کتابخانه استاندارد csv ذخیره می‌کنیم:

import csv

with open("products.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["title", "price"])
for product in products:
title = product.select_one(".product-title").text.strip()
price = product.select_one(".price").text.strip()
writer.writerow([title, price])

حالا فایل products.csv را داری که با اکسل یا پانداس قابل باز شدن است. همین! اولین اسکرپرت ساخته شد.

نکات قانونی و اخلاقی اسکرپینگ

قبل از اینکه سراغ سایت‌های واقعی بروی، این نکات را جدی بگیر:

فایل robots.txt را چک کن: قبل از اسکرپینگ، آدرس example.com/robots.txt را باز کن و ببین کدام مسیرها برای خزنده‌ها مجاز است.
به قوانین سایت احترام بگذار: بعضی سایت‌ها در شرایط استفاده (Terms of Service) اسکرپینگ را ممنوع کرده‌اند.
فاصله بین درخواست‌ها را رعایت کن: با time.sleep(1) بین درخواست‌ها مکث بگذار تا به سرور فشار نیاوری.
فقط داده‌های عمومی را استخراج کن: اطلاعات شخصی کاربران یا داده‌های پشت فرم ورود را اسکرپ نکن.
از داده‌ها مسئولانه استفاده کن: اگر داده را منتشر می‌کنی، منبع را ذکر کن.

اسکرپینگ به‌خودی‌خود غیرقانونی نیست، اما نحوه استفاده از آن می‌تواند مشکل‌ساز شود. همیشه مثل یک کاربر محترم رفتار کن.

اشتباهات رایج و راه‌حل آن‌ها

هنگام ساخت اسکرپر، احتمالاً به این خطاها برمی‌خوری:

خطای 403 یا 429: سایت درخواست را مسدود کرده. هدر User-Agent را تنظیم کن، بین درخواست‌ها مکث بگذار و اگر لازم شد از پروکسی استفاده کن.
صفحه خالی یا داده‌های ناقص: سایت با جاوااسکریپت محتوا را لود می‌کند. در این حالت باید از Selenium یا Playwright استفاده کنی.
تغییر ساختار HTML: اگر سایت کلاس‌ها را تغییر دهد، اسکرپر می‌شکند. سلکتورهای پایدارتر انتخاب کن و کد را ماژولار بنویس تا تعمیرش آسان باشد.
مشکل انکودینگ فارسی: هنگام ذخیره فایل، همیشه encoding="utf-8" را مشخص کن تا متن فارسی خراب نشود.

سوالات متداول

آیا وب اسکرپینگ قانونی است؟

بستگی به سایت و نحوه استفاده دارد. اسکرپینگ داده‌های عمومی برای مقاصد شخصی و تحقیقاتی معمولاً مشکلی ندارد، اما باید فایل robots.txt و شرایط استفاده سایت را رعایت کنی و به سرور فشار نیاوری.

فرق requests و Selenium چیست؟

requests فقط HTML خام را دریافت می‌کند و برای صفحات استاتیک عالی است. Selenium یک مرورگر واقعی را اجرا می‌کند و برای سایت‌هایی که محتوایشان با جاوااسکریپت لود می‌شود لازم است؛ اما کندتر و سنگین‌تر است.

برای اسکرپینگ حرفه‌ای چه ابزاری یاد بگیرم؟

بعد از مسلط شدن روی requests و BeautifulSoup، سراغ Scrapy برو. این فریم‌ورک کراولینگ خودکار، مدیریت خطا و خروجی‌گیری حرفه‌ای دارد و استاندارد پروژه‌های بزرگ است.

جمع‌بندی

وب اسکرپینگ یکی از کاربردی‌ترین مهارت‌های پایتون است که با دو کتابخانه ساده شروع می‌شود و تا پروژه‌های بزرگ داده‌کاوی پیش می‌رود. حالا که اسکرپر اولت را ساختی، می‌توانی آن را با ابزارهای دیگر ترکیب کنی: برای اجرای تمیز و ایزوله اسکریپت‌ها، آموزش کار با Docker برای برنامه‌نویسان را بخوان و برای نگه‌داری نسخه‌های کدت، آموزش کامل Git و GitHub کمکت می‌کند. از همین امروز یک پروژه کوچک انتخاب کن و تمرین کن؛ بهترین راه یادگیری، ساختن است.

آموزش وب اسکرپینگ با پایتون؛ از اولین درخواست تا ذخیره داده‌ها