python抓取数据的基本结构(python抓取网络数据)

python的基本数据结构有哪些？

全国计算机等级考试二级操作题部分采用计算机自动评分方式，其中有的题型采用比照标准答案集进行评分，有的题型用一定的算法对程序的输出结果进行检测来评分。

一、Python语言的基本语法元素

1、程序的基本语法元素：程序的格式框架、缩进、注释、变量、命名、保留字、数据类型、赋值语句、引用；

2、基本输入输出函数：input()、eval()、print();

3、源程序的书写风格；

4、Python语言的特点。

二、基本数据类型

1、数字类型：整数类型、浮点数类型和复数类型；

2、数字类型的运算：数值运算操作符、数值运算函数；

3、字符串类型及格式化：索引、切片、基本的format()格式化方法；

4、字符串类型的操作：字符串操作符、处理函数和处理方法；

5、类型判断和类型间转换。

三、程序控制结构

1、程序的三种控制结构；

2、程序的分支结构：单分支结构、二分支结构、多分支结构；

3、程序的循环结构：遍历循环、无限循环、break和continue循环控制；

4、程序的异常处理：try-except。

python基础数据结构：序列、映射、集合

参考资料：

Python中常见的数据结构可以统称为容器（container）。序列（如列表和元组）、映射（如字典）以及集合（set）是三类主要的容器。

一、序列（列表、元组和字符串）

序列中的每个元素都有自己的编号。Python中有6种内建的序列。其中列表和元组是最常见的类型。其他包括字符串、Unicode字符串、buffer对象和xrange对象。下面重点介绍下列表、元组和字符串。

1、列表

列表是可变的，这是它区别于字符串和元组的最重要的特点，一句话概括即：列表可以修改，而字符串和元组不能。

（1）、创建

通过下面的方式即可创建一个列表：

输出：

['hello', 'world']

[1, 2, 3]

可以看到，这中创建方式非常类似于javascript中的数组。

（2）、list函数

通过list函数（其实list是一种类型而不是函数）对字符串创建列表非常有效：

输出：

['h', 'e', 'l', 'l', 'o']

2、元组

元组与列表一样，也是一种序列，唯一不同的是元组不能被修改（字符串其实也有这种特点）。

（1） 、创建

输出：

(1, 2, 3) ('jeffreyzhao', 'cnblogs') (1, 2, 3, 4) () (1,)

从上面我们可以分析得出：

a、逗号分隔一些值，元组自动创建完成；

b、元组大部分时候是通过圆括号括起来的；

c、空元组可以用没有包含内容的圆括号来表示；

d、只含一个值的元组，必须加个逗号（,）；

（2）、tuple函数

tuple函数和序列的list函数几乎一样：以一个序列（注意是序列）作为参数并把它转换为元组。如果参数就算元组，那么该参数就会原样返回：

输出：

(1, 2, 3)

('j', 'e', 'f', 'f')

(1, 2, 3)

Traceback (most recent call last):

File "F:\Python\test.py", line 7, in

t4=tuple(123)

TypeError: 'int' object is not iterable

3、字符串

（1）创建

输出：

Hello world

H

H

e

l

l

o

w

o

r

l

d

（2）、格式化

format（）：

print(‘{0} was {1} years old when he wrote this book’. format(name,age) )

print(‘{} was {} years old when he wrote this book’. format(name,age) )

print(‘{name} was {age} years old when he wrote this book’. format(name=’Lily’,age=’22’) )

#对于浮点数“0.333”保留小数点后三位

print(‘{0 : .3f}’.format(1.0/3) )

结果：0.333

#使用下划线填充文本，并保持文字处于中间位置

#使用^定义‘_____hello_____’字符串长度为11

print(‘{0 : ^_11}’.format(‘hello’) )

结果：_____hello_____

% :

格式化操作符的右操作数可以是任何东西，如果是元组或者映射类型（如字典），那么字符串格式化将会有所不同。

输出：

Hello,world

Hello,World

注意：如果需要转换的元组作为转换表达式的一部分存在，那么必须将它用圆括号括起来：

输出：

Traceback (most recent call last):

File "F:\Python\test.py", line 2, in

str1='%s,%s' % 'Hello','world'

TypeError: not enough arguments for format string

如果需要输出%这个特殊字符，毫无疑问，我们会想到转义，但是Python中正确的处理方式如下：

输出：100%

对数字进行格式化处理，通常需要控制输出的宽度和精度：

输出：

3.14

3.141593

3.14

字符串格式化还包含很多其他丰富的转换类型，可参考官方文档。

4、通用序列操作（方法）

从列表、元组以及字符串可以“抽象”出序列的一些公共通用方法（不是你想像中的CRUD），这些操作包括：索引（indexing）、分片（sliceing）、加（adding）、乘（multiplying）以及检查某个元素是否属于序列的成员。除此之外，还有计算序列长度、最大最小元素等内置函数。

（1）索引

输出

H

2

345

索引从0（从左向右）开始，所有序列可通过这种方式进行索引。神奇的是，索引可以从最后一个位置（从右向左）开始，编号是-1：

输出：

o

3

123

（2）分片

分片操作用来访问一定范围内的元素。分片通过冒号相隔的两个索引来实现：

输出：

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

[1, 2, 3, 4]

[6, 7, 8, 9]

[1, 2, 3, 4, 5, 6, 7, 8, 9]

[7, 8]

[7, 8, 9]

不同的步长，有不同的输出：

输出：

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

[0, 2, 4, 6, 8]

[0, 3, 6, 9]

[]

（3）序列相加

输出：

Hello world

[1, 2, 3, 2, 3, 4]

Traceback (most recent call last):

File "F:\Python\test.py", line 7, in

print str1+num1

TypeError: cannot concatenate 'str' and 'list' objects

（4）乘法

输出：

[None, None, None, None, None, None, None, None, None, None]

HelloHello

[1, 2, 1, 2]

Traceback (most recent call last):

File "F:\Python\test.py", line 5, in

print str1*num1

TypeError: can't multiply sequence by non-int of type 'list'

（5）成员资格

in运算符会用来检查一个对象是否为某个序列（或者其他类型）的成员（即元素）：

输出：

False

True

True

（6）长度、最大最小值

通过内建函数len、max和min可以返回序列中所包含元素的数量、最大和最小元素。

输出：

5

o

H

5

123

1

二、映射（字典）

映射中的每个元素都有一个名字，如你所知，这个名字专业的名称叫键。字典（也叫散列表）是Python中唯一内建的映射类型。

1、键类型

字典的键可以是数字、字符串或者是元组，键必须唯一。在Python中，数字、字符串和元组都被设计成不可变类型，而常见的列表以及集合（set）都是可变的，所以列表和集合不能作为字典的键。键可以为任何不可变类型，这正是Python中的字典最强大的地方。

输出：

{1: 1}

Traceback (most recent call last):

File "F:\Python\test.py", line 6, in

d[list1]="Hello world."

TypeError: unhashable type: 'list'

2、自动添加

即使键在字典中并不存在，也可以为它分配一个值，这样字典就会建立新的项。

3、成员资格

表达式item in d（d为字典）查找的是键（containskey），而不是值（containsvalue）。

三、集合

集合（Set）在Python 2.3引入，通常使用较新版Python可直接创建，如下所示：

strs=set(['jeff','wong','cnblogs'])

nums=set(range(10))

看上去，集合就是由序列（或者其他可迭代的对象）构建的。集合的几个重要特点和方法如下：

1、副本是被忽略的

集合主要用于检查成员资格，因此副本是被忽略的，如下示例所示,输出的集合内容是一样的。

输出如下：

set([0, 1, 2, 3, 4, 5])

set([0, 1, 2, 3, 4, 5])

2、集合元素的顺序是随意的

这一点和字典非常像，可以简单理解集合为没有value的字典。

输出如下：

set(['wong', 'cnblogs', 'jeff'])

3、集合常用方法

a、并集union

输出：

set([1, 2, 3])

set([2, 3, 4])

set([1, 2, 3, 4])

union操作返回两个集合的并集，不改变原有集合。使用按位与（OR）运算符“|”可以得到一样的结果：

输出和上面union操作一模一样的结果。

其他常见操作包括（交集）,=,=,-,copy()等等，这里不再列举。

输出如下：

set([1, 2, 3])

set([2, 3, 4])

set([2, 3])

True

set([1, 2, 3])

False

b、add和remove

和序列添加和移除的方法非常类似，可参考官方文档：

输出：

set([1])

set([1, 2])

set([1])

set([1])

False

Traceback (most recent call last):

File "F:\Python\test.py", line 9, in

set1.remove(29) #移除不存在的项

KeyError: 29

4、frozenset

集合是可变的，所以不能用做字典的键。集合本身只能包含不可变值，所以也就不能包含其他集合：

输出如下：

Traceback (most recent call last):

File "F:\Python\test.py", line 3, in

set1.add(set2)

TypeError: unhashable type: 'set'

可以使用frozenset类型用于代表不可变（可散列）的集合：

输出：

set([1, frozenset([2])])

python程序基本结构有哪三种

python中有三大控制结构，分别是顺序结构、分支结构以及循环结构，任何一个项目或者算法都可以使用这三种结构来设计完成。

第一：顺序结构

顺序结构就是按照你写的代码顺序执行，也就是一条一条语句顺序执行。这种结构的逻辑最简单，就是按顺序执行就行了。

第二：分支结构

分支结构又称为选择结构，意思是程序代码根据判断条件，选择执行特定的代码。如果条件为真，程序执行一部分代码;否则执行另一部分代码。

在python语言中，选择结构的语法使用关键字if、elif、else来表示，具体语法如下：

基本语法有以下几种：

①if

②if…else

③if…elif…else

④if…elif…elif……else

⑤if嵌套

第三：循环结构

循环结构是使用最多的一种结构。循环结构是指满足一定的条件下，重复执行某段代码的一种编码结构。python的循环结构中，常见的循环结构是for循环和while循环。

(1)、for循环

for循环为循环结构的一种。在python中，for循环是一种迭代循环，也就是重复相同的操作，每次操作都是机遇上一次的结果而进行。for循环经常用于便利字符串、列表、字典等数据结构，for循环需要知道循环次数，基本语法为：for…in…循环。

(2)、while循环

while循环不需要知道循环的次数，即无限循环，直到条件不满足为止。

注意：

①循环也是以冒号(：)结尾

②条件为各种算术表达式

a)当为真时，循环体语句组1，重复执行

b)当为假时，循环体语句组2，停止执行

③如果循环体忘记累计，条件判断一直为真，则为死循环。循环体一直实行。

a)死循环有时候经常被用来构建无限循环

b)可以使用ctrl+c终止，或者停止IDE

python的三种重要数据结构是什么？

python三种核心数据结构如下：

1、列表。list是处理一组有序项目的数据结构，即你可以在一个列表中存储一个序列的项目。列表中的项目。列表中的项目应该包括在方括号中，这样python就知道你是在指明一个列表。一旦你创建了一个列表，你就可以添加，删除，或者是搜索列表中的项目。由于你可以增加或删除项目，我们说列表是可变的数据类型，即这种类型是可以被改变的，并且列表是可以嵌套的。

2、元组。元组和列表十分相似，不过元组是不可变的。即你不能修改元组。元组通过圆括号中用逗号分隔的项目定义。元组通常用在使语句或用户定义的函数能够安全的采用一组值的时候，即被使用的元组的值不会改变。元组可以嵌套。

3、字典。字典类似于你通过联系人名称查找地址和联系人详细情况的地址簿，即，我们把键（名字）和值（详细情况）联系在一起。注意，键必须是唯一的，就像如果有两个人恰巧同名的话，你无法找到正确的信息。

学习Python的注意事项。

1、打好基础。已经选择了Python这一门学科，就要坚定学下去的决心，打好基础很重要。也许一开始会觉得这也不懂那也不懂，硬着头皮坚持下去。因为Python是一个有条理的、强大的面向对象的程序设计语言，学好基础知识是前提。

2、Python的基础知识包括：下载、安装、导入库、字符串处理、函数使用等等。如果你的英语不是很好，可以通过“译中文文档”这个网站进行翻译整理。当然翻译很麻烦，如果想省掉翻译环节，可以报一个培训班，进行中文无障碍教学。

如何用python爬取网站数据？

这里简单介绍一下吧，以抓取网站静态、动态2种数据为例，实验环境win10+python3.6+pycharm5.0，主要内容如下：

抓取网站静态数据（数据在网页源码中）：以糗事百科网站数据为例

1.这里假设我们抓取的数据如下，主要包括用户昵称、内容、好笑数和评论数这4个字段，如下：

对应的网页源码如下，包含我们所需要的数据：

2.对应网页结构，主要代码如下，很简单，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面：

程序运行截图如下，已经成功爬取到数据：

抓取网站动态数据（数据不在网页源码中，json等文件中）：以人人贷网站数据为例

1.这里假设我们爬取的是债券数据，主要包括年利率、借款标题、期限、金额和进度这5个字段信息，截图如下：

打开网页源码中，可以发现数据不在网页源码中，按F12抓包分析时，才发现在一个json文件中，如下：

2.获取到json文件的url后，我们就可以爬取对应数据了，这里使用的包与上面类似，因为是json文件，所以还用了json这个包（解析json），主要内容如下：

程序运行截图如下，已经成功抓取到数据：

至此，这里就介绍完了这2种数据的抓取，包括静态数据和动态数据。总的来说，这2个示例不难，都是入门级别的爬虫，网页结构也比较简单，最重要的还是要会进行抓包分析，对页面进行分析提取，后期熟悉后，可以借助scrapy这个框架进行数据的爬取，可以更方便一些，效率更高，当然，如果爬取的页面比较复杂，像验证码、加密等，这时候就需要认真分析了，网上也有一些教程可供参考，感兴趣的可以搜一下，希望以上分享的内容能对你有所帮助吧。