Скачать с ютуб Web-Скрапинг и Автоматизация: Как извлечь и сохранить текст с веб-форума в хорошем качестве

Web-Скрапинг и Автоматизация: Как извлечь и сохранить текст с веб-форума

В этом уроке мы покажем вам, как использовать Python для автоматического извлечения текста с веб-страниц и его сохранения в файл. Мы возьмем веб-форум как пример и научимся парсить и копировать текст из разных страниц темы на форуме. С помощью библиотеки requests мы загрузим HTML-код страниц, а с помощью BeautifulSoup проанализируем его и извлечем нужные данные. Затем мы сольем все тексты в один файл для удобства дальнейшей обработки. Если вас интересует веб-скрапинг, автоматизация или работа с данными из интернета, этот урок точно для вас! Сам код (на дату публикации статьи работал с 4ПДА 8-): import requests from bs4 import BeautifulSoup def extract_text_from_page(url): response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.content, 'html.parser') post_contents = soup.find_all('div', class_='post_body') text = '
'.join([post.get_text() for post in post_contents]) return text else: print(f"Failed to retrieve the page. Status code: {response.status_code}") return None def main(): base_url = "https://4pda.to/forum/index.php?showt..." page_number = 0 posts_per_page = 20 total_pages = 153 # страницы считаются с 0, поэтому 152 + 1 with open('output.txt', 'w', encoding='utf-8') as output_file: for _ in range(total_pages): url = f"{base_url}{page_number}" page_text = extract_text_from_page(url) if page_text: output_file.write(page_text + '

') print(f"Processed {url}") page_number += posts_per_page if _name_ == "__main__": main()