使用Python进行网页抓取 培训
网页抓取是一种从网站提取数据并保存到本地文件或数据库的技术。
本课程为讲师指导的培训(线上或线下),面向希望使用Python自动化抓取多个网站以提取数据进行处理和分析的开发人员。
培训结束后,参与者将能够:
- 安装并配置Python及所有相关包。
- 检索并解析存储在不同网站上的数据。
- 了解网站的工作原理及其HTML结构。
- 构建爬虫以大规模抓取网页。
- 使用Selenium抓取AJAX驱动的网页。
课程形式
- 互动讲座与讨论。
- 大量练习与实践。
- 在实验环境中进行实际操作。
课程定制选项
- 本课程假定学员具备编程知识。
- 如需为本课程定制培训,请联系我们安排。
课程大纲
简介
设置开发环境
Python入门:数据结构、条件语句、文件处理等
用于网页抓取的Python包:Scrapy和BeautifulSoup
网站的工作原理
HTML的结构
发起网页请求
抓取HTML页面
使用XPath和CSS
使用正则表达式过滤数据
创建网页爬虫
使用Selenium抓取AJAX和JavaScript页面
网页抓取最佳实践
故障排除
总结与结论
要求
- 编程经验,最好有Python经验。如果参与者有其他编程语言的经验,培训可延长以包含更多Python入门练习。
受众
- 开发人员
需要帮助选择合适的课程吗?
使用Python进行网页抓取 培训 - 询价
使用Python进行网页抓取 - 问询
客户评论 (1)
涵盖了许多不同的示例和主题,从基础调查到登录管理,再到动态页面管理。
Daniele Tagliaferro - Creditsafe Italia Srl
课程 - Web Scraping with Python
机器翻译
即将举行的公开课程
相关课程
高级Python:最佳实践与设计模式
28 小时这门深入的实践课程涵盖了高级Python技术、工程最佳实践以及常用的设计模式,以构建可维护、可测试和高性能的Python应用程序。课程重点介绍了现代工具、类型系统、并发模型、架构模式以及部署就绪的工作流程。
这门由讲师指导的线下或线上培训面向中级到高级Python开发者,旨在帮助他们采用专业的实践和模式,以构建生产级的Python系统。
在培训结束时,学员将能够:
- 应用Python类型系统、数据类和类型检查,以提高代码的可靠性。
- 使用设计模式和架构原则来构建健壮的应用程序。
- 正确使用asyncio和多进程实现并发和并行。
- 使用pytest、基于属性的测试和CI管道构建经过良好测试的代码。
- 对Python应用程序进行性能分析、优化并使其适用于生产环境。
- 使用现代工具和容器打包、分发和部署Python项目。
课程形式
- 互动讲座和简短演示。
- 每天的实践实验和编码练习。
- 集成了模式、测试和部署的顶点小项目。
课程定制选项
- 如需定制培训或聚焦特定领域(数据、Web或基础设施),请联系我们安排。
Agentic AI 工程与 Python — 构建自主代理
21 小时本课程教授使用 Python 设计、构建、测试和部署代理(自主)系统的实用工程技术。内容涵盖代理循环、工具集成、内存和状态管理、编排模式、安全控制以及生产考虑。
本课程为讲师指导的培训(线上或线下),面向中级到高级的机器学习工程师、AI 开发者和软件工程师,帮助他们使用 Python 构建健壮、可用于生产的自主代理。
培训结束后,参与者将能够:
- 设计和实现代理循环及决策工作流。
- 集成外部工具和 API 以扩展代理功能。
- 实现代理的短期和长期内存架构。
- 协调多步骤编排和代理可组合性。
- 为部署的代理应用安全、访问控制和可观测性最佳实践。
课程形式
- 互动讲座与讨论。
- 使用 Python 和流行 SDK 构建代理的动手实验。
- 基于项目的练习,生成可部署的原型。
课程定制选项
- 如需定制本课程,请联系我们安排。
人工智能与Python(中级水平)
35 小时使用Python的人工智能是通过Python丰富的AI和机器学习库生态系统来开发智能系统。
本课程为讲师指导的培训(线上或线下),面向希望使用Python设计、实施和部署AI解决方案的中级Python程序员。
通过本培训,参与者将能够:
- 使用Python的核心AI库实现AI算法。
- 处理监督学习、无监督学习和强化学习模型。
- 将AI解决方案集成到现有应用程序和工作流程中。
- 评估模型性能,并优化准确性和效率。
课程形式
- 互动讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行动手操作。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。
使用Python和R进行算法交易
14 小时本课程为讲师指导的线下或线上培训,旨在帮助希望使用算法交易、Python和R实现交易自动化的业务分析师。
在本培训结束时,参与者将能够:
- 使用算法快速以特定增量买卖证券。
- 通过算法交易减少与交易相关的成本。
- 自动监控股价并进行交易。
从零开始应用AI Python
28 小时这是一个为期 4 天的课程,介绍了 AI 及其使用 Python 编程语言的应用程序。完成本课程后,可以选择额外有一天的时间来开展 AI 项目。
AWS Cloud9 和 Python:实用指南
14 小时这种讲师指导的现场培训在 中国(在线或现场)进行,面向希望使用 AWS Cloud9 增强其 Python 开发体验的中级 Python 开发人员。
在本次培训结束时,参与者将能够:
- 设置和配置 AWS Cloud9 以进行 Python 开发。
- 了解 AWS Cloud9 IDE 介面和功能。
- 在 AWS Cloud9 中编写、调试和部署 Python 个应用程式。
- 使用 AWS Cloud9 平台与其他开发人员协作。
- 将 AWS Cloud9 与其他 AWS 服务整合以进行高级部署。
使用Python构建聊天机器人
21 小时聊天机器人是能够通过聊天界面自动模拟人类响应的计算机程序。聊天机器人通过提供更简单、更快捷的用户交互选项,帮助组织最大化其运营效率。
在这次由讲师指导的线下培训中,参与者将学习如何使用Python构建聊天机器人。
培训结束后,参与者将能够:
- 理解构建聊天机器人的基础知识
- 使用Python构建、测试、部署和调试各种聊天机器人
受众
- 开发者
课程形式
- 部分讲座,部分讨论,练习和大量动手实践
注意
- 如需为本课程定制培训,请联系我们安排。
使用CUDA和Python进行GPU编程
14 小时本次由讲师指导的培训在中国(线上或线下)面向希望使用CUDA构建在NVIDIA GPU上并行运行的Python应用程序的中级开发者。
培训结束后,参与者将能够:
- 使用Numba编译器加速在NVIDIA GPU上运行的Python应用程序。
- 创建、编译和启动自定义CUDA内核。
- 管理GPU内存。
- 将基于CPU的应用程序转换为GPU加速的应用程序。
使用Python和Dask进行数据扩展分析
14 小时本课程为讲师指导的培训(线上或线下),面向希望使用Dask与Python生态系统构建、扩展和分析大型数据集的数据科学家和软件工程师。
在培训结束时,参与者将能够:
- 设置环境,开始使用Dask和Python进行大数据处理。
- 探索Dask中可用的功能、库、工具和API。
- 了解Dask如何加速Python中的并行计算。
- 学习如何使用Dask扩展Python生态系统(Numpy、SciPy和Pandas)。
- 优化Dask环境,以保持处理大型数据集时的高性能。
使用Python、Pandas和Numpy进行数据分析
14 小时本课程为讲师指导的培训,在中国(线上或线下)进行,面向希望提升使用Pandas和NumPy进行数据分析和操作技能的中级Python开发者和数据分析师。
通过本培训,参与者将能够:
- 设置包含Python、Pandas和NumPy的开发环境。
- 使用Pandas和NumPy创建数据分析应用。
- 执行高级数据整理、排序和过滤操作。
- 进行聚合操作并分析时间序列数据。
- 使用Matplotlib和其他可视化库进行数据可视化。
- 调试和优化数据分析代码。
FARM (FastAPI, React, 和 MongoDB) 全栈开发
14 小时本课程由讲师主导,提供线下或线上培训,旨在帮助开发者使用 FARM (FastAPI, React, 和 MongoDB) 技术栈构建动态、高性能且可扩展的 Web 应用。
通过本课程,学员将能够:
- 搭建集成了 FastAPI、React 和 MongoDB 的开发环境。
- 理解 FARM 技术栈的关键概念、特点和优势。
- 学习如何使用 FastAPI 构建 REST API。
- 学习如何使用 React 设计交互式应用。
- 使用 FARM 技术栈开发、测试和部署应用(前端和后端)。
使用Python和FastAPI开发API
14 小时本课程为讲师指导的培训,在中国(线上或线下)进行,面向希望使用FastAPI与Python更快速、更轻松地构建、测试和部署RESTful API的开发者。
通过本课程,学员将能够:
- 设置必要的开发环境,以使用Python和FastAPI开发API。
- 使用FastAPI库更快速、更轻松地创建API。
- 学习如何基于Pydantic和OpenAPI创建数据模型和模式。
- 使用SQLAlchemy将API连接到数据库。
- 使用FastAPI工具在API中实现安全和身份验证。
- 构建容器镜像并将Web API部署到云服务器。
使用Python和TensorFlow进行欺诈检测
14 小时这种以讲师为主导的中国现场现场培训针对的是希望使用TensorFlow分析潜在欺诈数据的数据科学家。
在培训结束时,参与者将能够:
- 在Python和TensorFlow中创建欺诈检测模型。
- 建立线性回归和线性回归模型来预测欺诈。
- 开发一个端到端的人工智慧应用程序来分析欺诈数据。
使用Modin加速Python Pandas工作流
14 小时这种由 讲师指导的 中国 现场现场培训(在线或现场)面向希望使用 Modin 构建和实施并行计算的数据科学家和开发人员 Pandas 以加快数据分析速度。
在本次培训结束时,参与者将能够:
- 设置必要的环境,开始使用 Modin 大规模开发 Pandas 工作流。
- 了解 Modin 的功能、架构和优势。
- 了解 Modin、Dask 和 Ray 之间的区别。
- 使用 Modin 更快地执行 Pandas 操作。
- 实现整个 Pandas API 和函数。