pythondrop函数 pythondropna

python可以做数据分析，好处是什么呢？怎么学习？

想要获取个级别的某一标签的所有元素，并不需要传递元组，例如

Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Isnull是Python中检验空值的函数，你可以对整个数据表进行检查，也可以单独对某一列进行空值检查，返回的结果是逻辑值，包含空值返回True，不包含则返回False。使用unique函数查看值，使用Values函数用来查看数据表中的数值。

pythondrop函数 pythondropna

a cone 0 2two 5 7three 10 12data.ix[['one','one'],['a','e','d','d','d']]

2、数据表清洗

# Reading data from web

Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_duplicates函数删除重复值，replace函数实现数据替换。

3、数据预处理

数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。

4、数据提取

主要是使用三个函数：loc、iloc和ix，其中loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提起数据以外，还可以按具体的条件进行数据，比如使用loc和isin两个函数配合使用，按指定条件对数据进行提取。

5、数据筛选汇总

Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和 count函数还能实现excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。groupby是进行分类汇总的函数，使用方法很简单，制定要分组的列名称就可以，也可以同时制定多个列名称，groupby 按列名称出现的顺序进行分组。

python的优点，很多人说了无数次，但是我还是要重复：简单、易学、免费开源、可扩展等等。还有就是python的库既强大又丰富，所以这些就是好处；

其次就是怎么学习：首先要了解的就是python的工作环境和基础语法知识点，还有一些正则表达式相关的知识点；然后是就是数据采集相关知识带你还有数据分析学习和可视化的学习

给一些建议，就是黑马程序员、传智播客，上面很多免费的学习资料，自己多去翻一下

Python做数据分析，肯定是因为Python更简单，内置了很多库，用简单的代码就可以实现强大的功能，想学习Python数据分析，可以找一些Python培训或者大数据培训的视频看看，里面都包含这一部分内容的！

随着人工智能时代呼声渐起，Python凭借其入门简单、应用广泛的优势成为很多想要入行互联网行业的人们的编程语言。如果你想学一门语言，可以从语言的适用性、学习的难易程度、企业主的要求几个方面考虑。从这几个角度看，学习Python都没有什么可挑剔的。如果你想要专业的学习Python开发，更多需要的是付出时间和精力，一般在2w左右。应该根据自己的实际需求去实地看一下，先好好试听之后，再选择适合自己的。只要努力学到真东西，前途自然不会。

python3函数定义出错name 'x' is not defined，如图

没问题，可以的运行，

return sum(x)/len(x)

>>> def 20drop_firs#-- encoding:utf-8 --import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom pandas import Series,DataFrame#Series有一个reindex函数，可以将索引重排，以致元素顺序发生变化obj = Series([1,2,3,4],index=['a','b','c','d'])#注意这里的reindex并不改变obj的值，得到的是一个“副本”#fill_value 显然是填充空的index的值#print obj.reindex(['a','c','d','b','e'],fill_value = 0)#print objobj2 = Series(['red','blue'],index=[0,4])#mod = ffill，意味着前向值填充obj3 = obj2.reindex(range(6),mod='ffill')#print obj3#DataFrame 的reindex可以修改行、列或者两个都改frame = DataFrame(np.arange(9).reshape((3,3)),index = ['a','c','d'],columns = ['Ohio','Texas','California'])#只是传入一列数，是对行进行reindex,因为...frame的行参数叫index...(我这么猜的)frame2 = frame.reindex(['a','b','c','d'])#print frame2#当传入原来没有的index是，当然返回的是空NaN#frame3 = frame.reindex(['e'])#print frame3states = ['Texas','Utah','California']#这是对行、列重排#注意：这里的mod是对index 也就是行进行的填充，列是不能填充的（不管mod的位置如何）frame4 = frame.reindex(index = ['a','b','c','d'],columns=states,mod = 'ffill')#print frame4#使用ix的标签索引功能，重新索引变得比较简洁print frame.ix[['a','d','c','b'],states]t_last(grades):

middle = graPython中使用shape函数来查看数据表的维度，也就是行数和列数。des[1:-1]

print middle

return g(middle)

>>> drop_first_last([98,59,61,60])

[59, 61]

python数据分析干什么

0 1 2 3 4 5 6 7 8 9

随着大数据时代的来临和Python编程语言的火爆，Python数据分析早已成为现在职场人的必备核心技能。

12

2、数据表清洗

Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。

3、数据预处理60

数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。

4、数据提取

主要是使用三个函数：loc、iloc和ix，其中loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。

5、数据筛选汇总

Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和 count函数还能实现excel中sumif和countif函数的功能。

希望可以帮到你

Python数据分析： 初识Pandas，理解Pandas实现和原理

本文的文字及来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时以作处理

01 重要的前言

这段时间和一些做数据分析的同学闲聊，我发现数据分析技能入门阶段存在一个普遍性的问题，很多凭着兴趣入坑的同学，都能够很快熟悉Python基础语法，然后不约而同的一头扎进《利用Python进行数据分析》这本经典之中，硬着头皮啃完之后，好像自己什么都会了一点，然而实际作起来既不知从何起，又漏洞百出。

至于原因嘛，理解不够，实践不够是两条老牌的拦路虎，只能靠自己来克服。还有一个非常有意思且经常被忽视的因素——陷入举三反一的懵逼状态。

什么意思呢？假如我是个旱鸭子，想去学游泳，教练很认真的给我剖析了蛙泳的动作，扶着我的腰让我在水里划拉了5分钟，接着马上给我讲解了蝶泳，又是划拉了5分钟，然后又硬塞给我潜泳的姿势，依然是划拉5分钟。，教练一下子把我丢进踩不到底的泳池，给我呐喊助威。

作为一个还没入门的旱鸭子，教练倾囊授了我3种游泳技巧，让我分别实践了5分钟。这样做的结果就是我哪一种游泳技巧也没学会，只学会了喝水。当一个初学者一开始就陷入针对单个问题的多种解决方法，而每一种方法的实践又浅尝辄止，在面对具体问题时往往会手忙脚乱。

拿Pandas来说，它的多种构造方式，多种索引方式以及类似效果的多种实现方法，很容易把初学者打入举三反一的懵逼状态。所以，尽量避开这个坑也是我写Pandas基础系列的初衷，希望通过梳理和精简知识点的方式，给需要的同学一些启发。目前暂定整个基础系列分为4篇，基础篇过后便是有趣的实战篇。

下面开始进入正题（我真是太唠叨了）。

02 Pandas

江湖上流传着这么一句话——分析不识潘（PANDAS），纵是老手也枉然。

Pandas是基于Numpy的专业数据分析工具，可以灵活高效的处理各种数据集，也是我们后期分析案例的神器。它提供了两种类型的数据结构，分别是DataFrame和Series，我们可以简单粗暴的把DataFrame理解为Excel里面的一张表，而Series就是表中的某一列，后面学习和用到的所有Pandas骚作，都是基于这些表和列进行的作（关于Pandas和Excel的形象关系，这里我的张俊红写的《对比EXCEL，轻松学习Python数据分析》)。

这里有一点需要强调，Pandas和Excel、SQL相比，只是调用和处理数据的方式变了，核心都是对源数据进行一系列的处理，在正式处理之前，更重要的是谋定而后动，明确分析的意义，理清分析思路之rename 的 columns 参数允许指定需要重命名的列的字典后再处理和分析数据，往往事半功倍。

03 创建、def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):读取和存储

1、创建

在Pandas中我们想要构造下面这一张表应该如何作呢？

别忘了，步一定是先导入我们的库——import pandas as pd

构造DataFrame最常用的方式是字典+列表，语句很简单，先是字典外括，然后依次打出每一列标题及其对应的列值（此处一定要用列表），这里列的顺序并不重要：

左边是jupyter notebook中dataframe的样子，如果对应到excel中，他就是右边表格的样子，通过改变columns,index和values的值来控制数据。

PS,如果我们在创建时不指定index，系统会自动生成从0开始的索引。

2、 读取

更多时候，我们是把相关文件数据直接读进PANDAS中进行作，这里介绍两种非常接近的读取方式，一种是CSV格式的文件，一种是EXCEL格式（.xlsx和xls后缀）的文件。

读取csv文件：

engine是使用的分析引擎，读取csv文件一般指定python避免中文和编码造成的报错。而读取Excel文件，则是一样的味道：

非常easy，其实read_csv和read_excel还有一些参数，比如header、sep、names等，大家可以做额外了解。实践中数据源的格式一般都是比较规整的，更多情况是直接读取。

3、存储

04 快速认识数据

这里以我们的案例数据为例，迅速熟悉查看N行，数据格式概览以及基础统计数据。

1、查看数据，掐头看尾

很多时候我们想要对数据内容做一个总览，用df.head()函数直接可以查看默认的前5行，与之对应，df.tail()就可以查看数据尾部的5行数据，这两个参数内可以传入一个数值来控制查看的行数，例如df.head(10)表示查看前10行数据。

2、 格式查看

df.()帮助我们一步摸清各列数据的类型，以及缺失情况：

从上面直接可以知道数据集的行列数，数据集的大小，每一列的数据类型，以及有多少条非空数据。

3、统计信息概览

快速计算数值型数据的关键统计指标，像平均数、中位数、标准等等。

我们本来有5列数据，为什么返回结果只有两列？那是因为这个作只针对数值型的列。其中count是统计每一列的有多少个非空数值，mean、std、min、max对应的分别是该列的均值、标准、最小值和值，25%、50%、75%对应的则是分位数。

05 列的基本处理方式

这里，我们采用SQL四宝的逻辑来简单梳理针对列的基本处理方式——增、删、选、改。

温馨提示：使用Pandas时，尽量避免用行或者EXCEL作单元格的思维来处理数据，要逐渐养成一种列向思维，每一列是同宗同源，处理起来是嗖嗖的快。

1、增

增加一列，用df[‘新列名’] = 新列值的形式，在原数据基础上赋值即可：

2、删：

我们用drop函数制定删除对应的列，axis = 1表示针对列的作，inplace为True，则直接在源数据上进行修改，否则源数据会保持原样。

3、选：

想要选取某一列怎么办？df[‘列名’]即可：

选取多列呢？需要用列表来传递：df[[‘列’,‘第二列’,‘第# OUTPUT三列’…]]

4、 改：

好事多磨，复杂的针对特定条件和行列的筛选、修改，放在后面结合案例细讲，这里只讲一下最简单的更改：df[‘旧列名’] = 某个值或者某列值，就完成了对原列数值的修改。

06 常用数据类型及作

1、字符串

字符串类型是最常用的格式之一了，Pandas中字符串的作和原生字符串作几乎一毛一样，不同的是需要在作前加上".str"。

小Z温馨提示：我们最初用df2.()查看数据类型时，非数值型的列都返回的是object格式，和str类型深层机制上的区别就不展开了，在常规实际应用中，我们可以先理解为object对应的就是str格式，int64对应的就是int格式，float64对应的就是float格式即可。

在案例数据中，我们发现来源明细那一列，可能是系统导出的历史遗留问题，每一个字符串前面都有一个“-”符号，又丑又无用，所以把他给拿掉：

一般来说清洗之后的列是要替换掉原来列的：

2、 数值型

数值型数据，常见的作是计算，分为与单个值的运算，长度相等列的运算。

以案例数据为例，源数据访客数我们是知道的，现在想把所有渠道的访客都加上10000，怎么作呢？

只需要选中访客数所在列，然后加上10000即可，pandas自动将10000和每一行数值相加，针对单个值的其他运算（减乘除）也是如此。

列之间的运算语句也非常简洁。源数据是包含了访客数、转化率和客单价，而实际工作中我们对每个渠道贡献的销售额更感兴趣。（销售额 = 访客数 X 转化率 X 客单价）

对应作语句：df[‘销售额’] = df[‘访客数’] df[‘转化率’] df[‘客单价’]

但为什么疯狂报错？

导致报错的原因，是数值型数据和非数值型数据相互计算导致的。PANDAS把带“%”符号的转化率识别成字符串类型，我们需要先拿掉百分号，再将这一列转化为浮点型数据：

要注意的是，这样作，把9.98%变成了9.98，所以我们还需要让支付转化率除以100，来还原百分数的真实数值：

然后，再用三个指标相乘计算销售额：

3、时间类型

PANDAS中时间序列相关的水非常深，这里只对日常中最基础的时间格式进行讲解，对时间序列感兴趣的同学可以自行查阅相关资料，深入了解。

以案例数据为例，我们这些渠道数据，是在2019年8月2日提取的，后面可能涉及到其他日期的渠道数据，所以需要加一列时间予以区分，在EXCEL中常用的时间格式是’2019-8-3’或者’2019/8/3’，我们用PANDAS来实现一下：

在实际业务中，一些时候PANDAS会把文件中日期格式的字段读取为字符串格式，这里我们先把字符串’2019-8-3’赋值给新增的日期列，然后用to_datetime()函数将字符串类型转换成时间格式：

转换成时间格式（这里是datetime64）之后，我们可以用处理时间的思路高效处理这些数据，比如，我现在想知道提取数据这一天离年末还有多少天（‘2019-12-31’），直接做减法（该函数接受时间格式的字符串序列，也接受单个字符串）：

python对dataframe进行作？

from itertools import # Easy joining of two lists into a list of tuples for i in izip([1, 2, 3], ['a', 'b', 'c']): print i # ('a', 1) # ('b', 2) # ('c', 3) # The count() function returns an interator that # produces consecutive integers, forr. This # one is great for adding inds next to your list # elements for readability and convenience for i in izip(count(1), ['Bob', 'Emily', 'Joe']): print i # (1, 'Bob') # (2, 'Emily') # (3, 'Joe') # The dropwhile() function returns an iterator that returns # all the elements of the input which come after a certain # condition becomes false for the first time. def check_for_drop(x): print 'Checking: ', x return (x > 5) for i in dropwhile(should_drop, [2, 4, 6, 8, 10, 12]): print 'Result: ', i # Checking: 2 # Checking: 4 # Result: 6 # Result: 8 # Result: 10 # Result: 12 # The groupby() function is great for retrieving bunches # of iterator elements which are the same or he similar # properties a = sorted([1, 2, 1, 3, 2, 1, 2, 3, 4, 5]) for key, value in groupby(a): print(key, value), end=' ') # (1, [1, 1, 1]) # (2, [2, 2, 2]) # (3, [3, 3]) # (4, [4]) # (5, [5])

用一个字符截取函数size就可以只读取其中的数字。

>>> def g(x):

几乎所有的dataframe的# Transe data作都用不上for循环。但感觉你的描述不清晰，不明白你到底要做什么

筛选出mesh列中含有ls1元素的那行数据，dataframe其他不属于的行就舍去。我想的是创建一个空的dataframe，如果循环中的if条件满足就向这个空dataframe写入对应的行数据。求求大佬们指点。！

python中怎么对dataframe列去重

Python

今天笔者想对pandas中的行进行去重作，找了好久，才找到相关的函数

Python

先看一个小例子

您可以使用布尔索引器来进行与值相关的选择

[python] view plain copy

from pandas import Series, DataFrame data = DataFrame({'k': [1, 1, 2, 2]})

print data

IsDuplicated = data.duplicated()

print IsDuplicated

print type(IsDuplicated) data = data.drop_duplicates()

print data 执行结果是：

[python] view plain copy

k0 1

1 1

2 2

3 2

[python] view plain copy

0 False

1 True

2 False

3 True

[python] view plain copy

k0 1

2 2 DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。

而 drop_duplicates方法，它用于返回一个移除了重复行的DataFrame

这两个方判断全部列，你也可以指定部分列进行重复项判段。

例如，希望对名字为k2的列进行去重，

data.drop_duplicates(['k2'])

Python数据分析师主要做什么?Python基础

这种学习方式太有趣了：通过探索，偶然发现什么。

伴随着大数据时代的到来，Python的热度居高不下，已成为职场人士必备的技能，它不仅可以从事网络爬虫、人工智能、Web开发、游戏开发等工作，还是数据分析的语言。那么问题来了，利用Python数据分析可以做什么呢?简单来讲，可以做的事情有很多，具体如下。

# OUTPUT

、检查数据表

Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Lsnull是Python中检查空置的函数，你可以对整个数据进行检查，也可以单独对某一列进行空置检查，返回的结果是逻辑值，包括空置返回True，不包含则返回False。使用unique函数查看值，使用Values函数用来查看数据表中的数值。

第二，数据表清Python洗

Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包括空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是asstype函数，用来更改数据格式，Rename是更改名称的函数，drop_duplicate函数函数重复值，replace函数实现数据转换。

第三，数据预处理

数据预处理是对清洗完的数据进行整理以便后期统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组以及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。

第四，数据提取

主要是使用三个函数：loc、iloc和ix，其中loc函数按标准值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提取数据意外，还可以按照具体的条件进行提取。

第五，数据筛选汇总

Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和count函数还能实现Excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。

python用函数给不及格成绩加分

python用函数给不及格成绩加分

Python的高级特征你知多少？来对比看看

机器之心

人工智能信息服务平台

来自专栏机器之心

Python 多好用不用多说，大家看看自己用的语言就知道了。但是 Python 隐藏的高级功能你都 get 了吗？本文中，作者列举了 Python 中五种略高级的特征以及它们的使用方法，快来一探究竟吧！

选自towardsdatascience，作者：George Seif，机器之心编译。

Py56thon 是一种美丽的语言，它简单易用却非常强大。但你真的会用 Python 的所4.单击“确定”按钮，只要前三个字段完全相同的记录除个外全部被删除，，再次单击“确定”按钮，确认结果。有功能吗？

任何编程语言的高级特征通常都是通过大量的使用经验才发现的。比如你在编写一个复杂的项目，并在 stackoverflow 上寻找某个问题的。然后你突然发现了一个非常优雅的解决方案，它使用了你从不知道的 Python 功能！

下面是 Python 的 5 种高级特征，以及它们的用法。

Lambda 函数

Lambda 函数是一种比较小的匿名函数——匿名是指它实际上没有函数名。

Python 函数通常使用 def a_function_name() 样式来定义，但对于 lambda 函数，我们根本没为它命名。这是因为 lambda 函数的功能是执行某种简单的表达式或运算，而无需完全定义函数。

lambda 函数可以使用任意数量的参数，但表达式只能有一个。

x = lambda a, b : a b print(x(5, 6)) # prints '30' x = lambda a : a3 + 3 print(x(3)) # prints '12'

看它多么简单！我们执行了一些简单的数算，而无需定义整个函数。这是 Python 的众多特征之一，这些特征使它成为一种干净、简单的编程语言。

Map 函数

Map() 是一种内置的 Python 函数，它可以将函数应用于各种数据结构中的元素，如列表或字典。对于这种运算来说，这是一种非常干净而且可读的执行方式。

def square_it_func(a): return a a x = map(square_it_func, [1, 4, 7]) print(x) # prints '[1, 16, 47]' def multiplier_func(a, b): return a b x = map(multiplier_func, [1, 4, 7], [2, 5, 8]) print(x) # prints '[2, 20, 56]'看看上面的示例！我们可以将函数应用于单个或多个列表。实际上，你可以使用任何 Python 函数作为 map 函数的输入，只要它与你正在作的序列元素是兼容的。

Filter 函数

filter 内置函数与 map 函数非常相似，它也将函数应用于序列结构（列表、元组、字典）。二者的关键区别在于 filter() 将只返回应用函数返回 True 的元素。

详情请看如下示例：

# Our numbers numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15] # Function that filters out all numbers which are odd def filter_odd_numbers(num): if num % 2 == 0: return True else: return False filtered_numbers = filter(filter_odd_numbers, numbers) print(filtered_numbers) # filtered_numbers = [2, 4, 6, 8, 10, 12, 14]

我们不仅评估了每个列表元素的 True 或 False，filter() 函数还确保只返回匹配为 True 的元素。非常便于处理检查表达式和构建返回列表这两步。

Itertools 模块

Python 的 Itertools 模块是处理迭代器的工具。迭代器是一种可以在 for 循环语句（包括列表、元组和字典1、检查数据表）中使用的数据类型。

使用 Itertools 模块中的函数让你可以执行很多迭代器作，这些作通常需要多行函数和复杂的列表理解。关于 Itertools 的神奇之处，请看以下示例：

Generator 函数

Generator 函数是一个类似迭代器的函数，即它也可以用在 for 循环语句中。这大大简化了你的代码，而且相比简单的 for 循环，它节省了很多内存。

比如，我们想把 1 到 1000 的所有数字相加，以下代码块的部分向你展示了如何使用 for 循环来进行这一计算。

如果列表很小，比如 1000 行，计算所需的内存还行。但如果列表巨长，比如十亿浮点数，这样做就会出现问题了。使用这种 for 循环，内存中将出现大量列表，但不是每个人都有无限的 RAM 来存储这么多东西的。Python 中的 range() 函数也是这么干的，它在内存中构建列表。

代码中第二部分展示了使用 Python generator 函数对数字列表求和。generator 函数创建元素，并只在必要时将其存储在内存中，即一次一个。这意味着，如果你要创建十亿浮点数，你只能一次一个地把它们存储在内存中！Python 2.x 中的 xrange() 函数就是使用 generator 来构建列表。

上述例子说明：如果你想为一个很大的范围生成列表，那么就需要使用 generator 函数。如果你的内存有限，比如使用移动设备或边缘计算，使用这一方法尤其重要。

也就是说，如果你想对列表进行多次迭代，并且它足够小，可以放进内存，那使用 for 循环或 Python 2.x 中的 range 函数。因为 generator 函数和 xrange 函数将会在你每次访问它们时生成新的列表值，而 Python 2.x range 函数是静态的列表，而且整数已经置于内存中，以便快速访问。

# (1) Using a for loopv numbers = list() for i in range(1000): numbers.append(i+1) total = sum(numbers) # (2) Using a generator def generate_numbers(n): num, numbers = 1, [] while num < n: numbers.append(num) num += 1 return numbers total = sum(generate_numbers(1000)) # (3) range() vs xrange() total = sum(range(1000 + 1)) total = sum(xrange(1000 + 1))

怎样筛选重复项目？

一、传统方法:使用高级筛选

步骤如下:

1.单击数据区，选中其中的任一个单元格。如果只是针对其中部分字段和记录进行筛选，可先选中这部分区域。注意:只对连续选中的矩形区域有效。

2.单击“数据”标签，再单击下面工具栏中的“排序与筛选”区中的“高级”按钮

3.在弹出的“高级筛选”对话框中选中“选择26不重复的记录”data.irow(0) #取data的行data.icol(0) #取data的列data.head() #返回data的前几行数据，默认为前五行，需要前十行则data.head(10)data.tail() #返回data的后几行数据，默认为后五行，需要后十行则data.tail(10)ser.iget_value(0) #选取ser序列中的个ser.iget_value(-1) #选取ser序列中的一个，这种轴索引包含索引器的series不能采用ser[-1]去获取一个，这会引起歧义。data.iloc[-1] #选取DataFrame一行，返回的是Seriesdata.iloc[-1:] #选取DataFrame一行，返回的是DataFramedata.loc['a',['w','x']] #返回‘a’行'w'、'x'列，这种用于选取行索引列索引已知data.iat[1,1] #选取第二行第二列，用于已知行、列位置的选取。1234567801112131415161718192021222324252627282930313233343536373839404142复选项，在列表区域框中将自动出现筛选区域的范围，查看是否正确，不正确可用鼠标拖动重新选择;此外，可选择筛选结果的显示方式，这里选择的是“在原有区域显示筛选结果”。

4.单击“确定”按钮，筛选完成，完全相同的记录除个被保留外，其他的均被删除

二、删除重复项

Excel2007中增加了一个“删除重复项”按钮，用它来删除重复记录更加容易。步骤如下:

1.单击选中数据区中的任一个单元格。

2.单击“数据”标签，再单击其下工具栏中“排序与筛选”区中的“删除重复项”按钮，

3.在弹出的“删除重复项”对话框选择要检查的字段。为了对比种方法，此处只选择3 17152前三项，

数据分析员用python做数据分析是怎么回事，需要用到python中的那些内容，具体是怎么作的?

Apayao ... 37625 19532 35126 6335 38613 20878 40065 6756 38902

链接：

如果你还想用 .loc 索引某一列，你必须像这样使用一个元组

提取码：4

炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。

课程目录：

Python基础

Py存储起来一样非常简单粗暴且相似：thon的概览——Python的基本介绍、安装与基本语法、变量类型与运算符

了解Python流程控制——条件、循环语句与其他语句

常用函数——函数的定义与使用方法、主要内置函数的介绍

.....

大数据！大数据！其实是离不开数据二字，但是总体来讲，自己之前对数据的认知是不太够的，更多是在关注技术的提升上。换句话讲，自己是在做技术，这些技术处理的是数据，而不能算是自己是在做数据的。大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。

与数据分析相关的Python库很多，比如Numpy、pandas、matplotlib、scipy等，数据分析的作包括数据的导入和导出、数据筛选、数据描述、数据处理、统计分析、可视化等等。接下来我们看一下如何利用Python完成数据的分析。

生成数据表

常见的生成方法有两种，种是导入外部数据，第二种是直接写入数据，Python支持从多种类型的数据导入。在开始使用Python进行数据导入前需要先导入pandas库，为了方便起见，我们也同时导入Numpy库。代码是最简模式，里面有很多可选参数设置，例如列名称、索引列、数据格式等等。

检查数据表

Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Isnull是Python中检验空值的函数，你可以对整个数据表进行检查，也可以单独对某一列进行空值检查，返回的结果是逻辑值，包含空值返回True，不包含则返回False。使用unique函数查看值，使用Values函数用来查看数据表中的数值。

数据表清洗

Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_duplicates函数删除重复值，replace函数实现数据替换。

数据预处理

数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。

数据提取

主要是使用三个函数：loc、iloc和ix，其中loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提起数据以外，还可以按具体的条件进行数据，比如使用loc和isin两个函数配合使用，按指定条件对数据进行提取。

数据筛选汇总

Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和 count函数还能实现excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。groupby是进行分类汇总的函数，使用方法很简单，制定要分组的列名称就可以，也可以同时制定多个列名称，groupby 按列名称出现的顺序进行分组。

Python 数据处理（二十九）—— MultiIndex 高级索引作

重新命名后就可以用dataframe.drop([columns])来删除了，当然不用我这样全部给列名替换掉了，可以只是改变未命名的那个列，然后删除。不过这个用起来总是觉得有点low，有没有更好的方法呢，有，可以不去删除，直接：

注意 : 虽然也可以使用 df.loc['bar', 'two'] ，但这种简写的符号通常会导致歧义

3# Import the module for plotting

而不是使用 df.loc[('bar'，)，] (等价于 df.loc['bar'，] )

下面列出了DataFrame构造函数能够接受的各种数据。

当然，也可以进行切片

通过提供一个元组切片，选择范围内的值

传递一个标签或元组列表的工作原理类似于 reindex

需要注意的是，在 pandas 中，当涉及到索引时，元组和列表的处理方式并不相同。

元组被解释为一个多级键，而列表则用来指定多个键。或者换句话说，元组是横向的，列表是纵向的

您可以通过提供多个索引器来对 MultiIndex 进行切片

可以使用 sl(None) 选择该级别的所有内容，没有指定索引的级别默认为 sl(None)

通常，切片的两段都会包括在内，因为这是标签索引

在使用 .loc 的时候，同时指定索引（行）和标签（列），因为在某些情况下，传递的索引可能会被解析为两个轴而不是 MultiIndex

你应该使用

而不是

例如

使用切片，列表和标签的基本 MultiIndex 切片作

你可以使用 pandas.IndexSl 来让 : 语法显得更自然一些，而不是使用 sl(None)

可以使用这种方法在多个轴同时进行相当复杂的选择

您还可以为 .loc 指定 axis 参数，以在某一个轴上传递切片

此外，您可以使用以下方法设置这些值

也可以在等号右边使用可对齐对象

DataFrame 的 xs() 方法还接受一个 ll 参数，以便更容易在 MultiIndex 的特定级别上选择数据

使用切片

您还可以为 xs 提供 axis 参数来选择列

使用切片

xs 还允许使用多个键进行选择

使用切片

您可以将 drop_ll=False 传递给 xs ，以保留所选择的级别

使用 drop_ll=True (默认值)与上面的结果比较

在 pandas 对象的 reindex() 和 align() 方法中使用 ll 参数，可以在一个级别上广播值

swapll() 方法可以切换两个级别的顺序

reorder_lls() 方法是 swapll 方法的推广，允许你在一个步骤中排列分层索引级别

rename() 方法可用于重命名 MultiIndex 的标签，通常用于重命名 DataFrame 的列

这个方法也可以用来重命名 DataFrame 主索引的特定标签

rename_axis() 方法用于重命名 Index 或 MultiIndex 的名称。

特别地，可以指定 MultiIndex 的级别名称，可以使用 reset_index() 将 MultiIndex 移动到列

注意 ： DataFrame 的列是一个索引，因此使用 rename_axis 和 columns 参数可以改变该索引的名称

rename 和 rename_axis 都支持指定字典、 Series 或映射函数来将标签/名称映射到新值

当直接使用 Index 对象而不是通过 DataFrame 工作时，可以使用 Index.set_names() 来更改名称

您不能通过 ll 设置 MultiIndex 的名称

使用 Index.set_names() 替代