我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com

課程簡介

您需要在各種網(wǎng)站上抓取數(shù)據(jù)嗎？例如金融、證券、期貨、各種行業(yè)網(wǎng)站，甚至于您想在網(wǎng)上抓取網(wǎng)絡(luò)小說的內(nèi)容嗎？或者新聞以及評(píng)論？

這就是網(wǎng)絡(luò)爬蟲的功能！

您可能想，抓取網(wǎng)頁數(shù)據(jù)，做爬蟲工具，這是專業(yè)人員的事情啊，我干嘛要做？

But，您的公司可能就沒有外包爬蟲軟件的預(yù)算，另外各種網(wǎng)站復(fù)雜多變，花了錢請(qǐng)被人做的爬蟲軟件，網(wǎng)站一改版，就不能用了。

求人不如求己！擁有編制爬蟲的能力，對(duì)您的幫助多多，也是職場能力和hard skill的重大提升！

課程適用對(duì)象

金融、互聯(lián)網(wǎng)、市場營銷等相應(yīng)職能人員等。

課程教學(xué)方式

講師講授+互動(dòng)+軟件現(xiàn)場操作

課程大綱

1.Python簡介

（1）Python安裝

（2）python包安裝及介紹

（3）pycharm工具的安裝

（4）選擇python做爬蟲的理由

2.Python程序基礎(chǔ)

（1）變量

（2）過程與函數(shù)

（3）對(duì)象

案例：編程即對(duì)象，python處理excel文件對(duì)象

3.Python基本語句

（1）輸入輸出語句

（2）條件判斷語句

If、else、elseif、嵌套代碼塊等。

（3）循環(huán)語句

包括for、while以及跳出循環(huán)的基礎(chǔ)技巧。

4.Python數(shù)據(jù)結(jié)構(gòu)

（1）列表

（2）元祖

（3）字典

（4）集合

5.python代碼的調(diào)試過程

（1）運(yùn)行程序

（2）單步調(diào)試

（3）添加斷點(diǎn)

（4）添加監(jiān)視

6.EXCEL和txt格式文本的讀寫

Python可以讀取各種常見的數(shù)據(jù)格式，但是工作中最常見的還是對(duì)于EXCEL和TXT文本的讀取，python有專門針對(duì)EXCEL和TXT文本的工作包，可以方便地讀寫，對(duì)EXCEL也可以做各種格式：

（1）Xlsx文件的讀寫

（2）txt文本的讀寫

7. 爬蟲原理和網(wǎng)頁構(gòu)造

（1）爬蟲原理

介紹網(wǎng)絡(luò)連接和爬蟲的原理。

（2）網(wǎng)頁構(gòu)造

介紹網(wǎng)頁的一般結(jié)構(gòu)和html的基本構(gòu)造。

（3）html元素和標(biāo)簽

（4）CSS簡介

8.爬蟲三大庫

Python提供了requests、beautifulsoup和Lxml三種常用的爬取網(wǎng)絡(luò)信息的方法，其中以beautifulsoup最為常用：

（1）Requests庫的使用

（2）Beautifulsoup庫的使用

（3）各種爬取實(shí)例

包括數(shù)字、表格、文本、圖片、文件下載等。

案例分析：爬取金融期貨網(wǎng)站表格數(shù)據(jù)

9.正則表達(dá)式

正則表達(dá)式是加速爬蟲抓取的強(qiáng)大技術(shù)，也是爬蟲技術(shù)的重要基礎(chǔ)：

（1）正則表達(dá)式常用符號(hào)

（2）Re模塊及其方法

案例分析：抓取《斗破蒼穹》全文小說

10.表單交互和模擬登錄

表單交互是在爬取數(shù)據(jù)時(shí)由程序自動(dòng)實(shí)現(xiàn)和網(wǎng)頁的交互，模擬登錄是在爬取數(shù)據(jù)過程中用技術(shù)手段實(shí)現(xiàn)自動(dòng)登錄：

（1）Selenium包的調(diào)用

（2）網(wǎng)頁翻頁

（3）表格輸入和查詢

紀(jì)老師

本科畢業(yè)于大連理工大學(xué)計(jì)算機(jī)系，碩士和博士均畢業(yè)于復(fù)旦大學(xué)。長期從事數(shù)據(jù)分析、python、powerbi、VBA、人工智能、大數(shù)據(jù)、數(shù)字化轉(zhuǎn)型、市場調(diào)查、EXCEL、信息檢索與收集、Access、PPT、SPSS等方面的培訓(xùn)工作，為上海交通大學(xué)EDP中心、上海交通大學(xué)海外教育中心、上海交通大學(xué)繼續(xù)教育學(xué)院、中智、時(shí)代光華（北京）、肯耐珂薩（上海）、益策、華嗣、卓華等國內(nèi)知名培訓(xùn)機(jī)構(gòu)開設(shè)過多次內(nèi)訓(xùn)和公開課課程。立邦涂料長期合作講師，華晨寶馬長期合作講師（數(shù)據(jù)統(tǒng)計(jì)分析方向、三年一簽）。數(shù)據(jù)分析方面年授課量在110天左右。

紀(jì)賀元相關(guān)工作經(jīng)歷如下：

時(shí)間工作單位職位工作內(nèi)容

1993-1995上海貝爾電話設(shè)備制造有限公司交換機(jī)工程師交換機(jī)局?jǐn)?shù)據(jù)生成，局?jǐn)?shù)據(jù)批量數(shù)據(jù)處理及分析，IBM大型機(jī)上編程分析

1995-1999摩托羅拉上海分公司交換機(jī)工程師通信交換機(jī)軟件測試，switchmate數(shù)據(jù)整理與分析

1999-2001朗訊科技上海辦事處技術(shù)支持產(chǎn)品的技術(shù)支持，負(fù)責(zé)相應(yīng)的數(shù)據(jù)處理以及產(chǎn)品newsletter的資料收集和發(fā)布

2001-2003新加坡比技公司技術(shù)市場經(jīng)理手機(jī)相關(guān)產(chǎn)品和增值業(yè)務(wù)的開發(fā)工作

2003-2007上海全成通信技術(shù)有限公司項(xiàng)目經(jīng)理中移動(dòng)和中國電信下屬多個(gè)省公司的數(shù)據(jù)分析與挖掘方案的供應(yīng)商，曾經(jīng)領(lǐng)導(dǎo)了多個(gè)“移動(dòng)業(yè)務(wù)營銷支撐系統(tǒng)”及中移動(dòng)省公司數(shù)據(jù)部和大客戶部的數(shù)據(jù)分析項(xiàng)目

2007-至今數(shù)據(jù)分析培訓(xùn)師從事數(shù)據(jù)分析和挖掘方面的培訓(xùn)咨詢工作 2017年出版《數(shù)據(jù)分析實(shí)戰(zhàn)：基于EXCEL和SPSS系列工具的實(shí)踐》一書，受到了業(yè)界的歡迎，https://item.jd.com/12080023.html。

現(xiàn)在第二本專著《從編程小白到python數(shù)據(jù)分析高手》已經(jīng)和機(jī)械工業(yè)出版社簽訂出版合同，書稿正在寫作中，預(yù)計(jì)2023年1月出版：

紀(jì)賀元曾經(jīng)在上海貝爾、MOTOROLA、Lucent、新加坡比技公司、上海全成等公司長期工作，在過去的實(shí)際工作中，本人積累了較多的在數(shù)據(jù)分析和挖掘的實(shí)戰(zhàn)經(jīng)驗(yàn)， 1995年即開始使用EXCEL VBA對(duì)于Motorola電信交換機(jī)的運(yùn)營數(shù)據(jù)進(jìn)行分析和編程處理，1998年即開始采用SPSS軟件進(jìn)行數(shù)據(jù)分析和市場調(diào)查報(bào)表的分析工作，在新加坡比技公司、上海全成通信等公司組織和領(lǐng)導(dǎo)了多項(xiàng)移動(dòng)通信增值業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)挖掘項(xiàng)目（采用COGNOS商業(yè)報(bào)表軟件和CLEMENTINE軟件）。

紀(jì)老師擅長的課程有：

本人也曾經(jīng)參與或主持過多項(xiàng)數(shù)據(jù)分析方面、市場調(diào)研等方面的咨詢項(xiàng)目，包括 ：

2020年：

（1）基于大數(shù)據(jù)的基金購買及止盈方式回測

（2）基金隨心查項(xiàng)目

2018年：

（3）上海大眾2019年培訓(xùn)內(nèi)部需求調(diào)研分析，問卷800多份，包括調(diào)研數(shù)據(jù)分析以及分析報(bào)告撰寫

（2）天順風(fēng)能常熟工廠生產(chǎn)部及BOM運(yùn)維報(bào)表系統(tǒng)，用VBA編程，代碼2.3萬行

（3）思南智庫營帳系統(tǒng)，用VBA編程，代碼0.9萬行

（4）寶鋼集團(tuán)數(shù)據(jù)分析輪訓(xùn)（9天，包括寶鋼上海下屬子公司、寶鋼國際、新疆八一鋼鐵等

2017年：某潤滑油企業(yè)市場調(diào)研數(shù)據(jù)分析

2016年：

基于百度和bing的類爬蟲軟件設(shè)計(jì)和編制

2015年：

上海張江高科科技園政府扶持企業(yè)資金投入產(chǎn)出績效分析項(xiàng)目（分析工具提供）（VBA實(shí)現(xiàn)DEA算法）

迪皮埃復(fù)材構(gòu)件（太倉、大豐）兩公司生產(chǎn)部報(bào)表項(xiàng)目（VBA實(shí)現(xiàn)）

某證券私募企業(yè)股票指標(biāo)數(shù)據(jù)跟蹤與分析系統(tǒng)（VBA實(shí)現(xiàn)）

上海卷煙銷售公司低焦油香煙消費(fèi)者調(diào)研

2014年:

上海印鈔廠統(tǒng)計(jì)分析培訓(xùn)專題咨詢

蘇州工業(yè)園區(qū)軟環(huán)境滿意度調(diào)研

上海某涂料公司3-5年發(fā)展規(guī)劃-市場信息檢索與利用

2013年：

（1）迪皮埃復(fù)材構(gòu)件（太倉）有限公司，生產(chǎn)部數(shù)據(jù)流程整合咨詢項(xiàng)目（包括VBA編碼調(diào)試）

（2）上海印鈔廠統(tǒng)計(jì)分析專題咨詢

2011年：

內(nèi)蒙古杏仁露產(chǎn)品上市前調(diào)研

2010年：

我國電子閱讀器市場用戶消費(fèi)模式調(diào)研

2009年：

格林動(dòng)力汽車尾氣凈化劑數(shù)據(jù)分析

楊浦區(qū)商管公司下屬商業(yè)網(wǎng)點(diǎn)調(diào)研

2005年：

2005年上海移動(dòng)有限公司新產(chǎn)品發(fā)展模式市場調(diào)研

本人擅長數(shù)據(jù)分析和市場調(diào)研等方面的培訓(xùn)，包括用EXCEL、EXCEL VBA、水晶易表、SPSS、SAS、CLEMENTINE等軟件進(jìn)行營銷、生產(chǎn)制造、財(cái)務(wù)等方面的數(shù)據(jù)分析。

服務(wù)客戶（僅列知名企業(yè)）：

汽車：上汽大眾鄭州、永達(dá)汽車、東風(fēng)雪鐵龍、東風(fēng)標(biāo)致、大陸汽車、奇瑞技術(shù)中心、上汽集團(tuán)、標(biāo)致雪鐵龍、奇瑞汽車、大眾汽車、大眾聯(lián)合、大眾電子、重慶康明斯、寶馬發(fā)動(dòng)機(jī)、華晨寶馬、優(yōu)美科（中國）、天合汽車、偉巴斯特、大連中升之星、一汽大眾、保時(shí)捷、天津殼牌、中石化殼牌

金融：浦發(fā)銀行、交行總行、平安產(chǎn)險(xiǎn)廣州分公司、平安銀行天津分行、360金融、陸金所、西安招商銀行、深圳民生銀行、建行第二總行（上海）、富邦華一、江蘇中行、太平洋保險(xiǎn)（2019輪訓(xùn)，10天）、富邦華一銀行、平安銀行、廣東佛山中國人壽保險(xiǎn)、平安產(chǎn)險(xiǎn)、平安證券、匯添富基金、成都某貸款公司

醫(yī)藥保健：北京大鵬、因美納、康寶萊、廣州健之寶、賽諾菲、阿斯利康、上海醫(yī)療器械集團(tuán)、國藥集團(tuán)、英特格拉、貝泰妮

互聯(lián)網(wǎng)：歐冶云商、寶尊電商、攜程、蘑菇街

電信：中移在線安徽分公司、臺(tái)州移動(dòng)、海南移動(dòng)、湖州移動(dòng)、常州移動(dòng)、北京移動(dòng)、北京聯(lián)通、中移在線、深圳電信、中國移動(dòng)集團(tuán)公司、中國網(wǎng)通北京分公司、河南移動(dòng)、杭州華數(shù)集團(tuán)

工業(yè)：中廣核、北京國投氫能、施耐德、晶科能源、西門子、上海電氣、寶武集團(tuán)、南京巴斯夫、公牛電器、德賽藍(lán)微電子、三洋電池（蘇州）、博威合金、上海印鈔廠、上海造幣廠、江南造船廠、可耐福（石膏板）蕪湖、賽默飛世爾、金泰線業(yè)、迪皮埃（太倉）

航空：吉祥航空、諾翼航空

食品及廚具：賓三得利、蘇泊爾、旺旺食品

商業(yè)及超市：華聯(lián)超市、百聯(lián)

其他：上海中心、上海外聯(lián)發(fā)、廣州景興、中石化殼牌、浦東新區(qū)發(fā)改委（統(tǒng)計(jì)局）、立邦涂料、上海強(qiáng)生、依視路（中國）、廣東國筆、大賽璐（中國）、地中海游輪（上海）

我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com