pandas過濾query

『壹』 pandas怎麼過濾超過某一范圍的數據

應該是vlookup的典型使用, 用來檢索現有列表信息, 通過客戶名稱檢索該客戶的其他信息.假如A-C列是原始信息, 在E列進行查詢然後在F列顯示相應的信息E1輸入三元 F1輸入函數: =vlookup(E1,A:C,2) 得到的就是對應三元的B列的信息

『貳』 如何從postgresq獲取數據到pandas(不通過pandas 的 tosql函數)

直接用pandas讀取PostgreSQL數據不行嗎
from sqlalchemy import create_engine
engine = create_engine('postgresql://user@localhost:5432/mydb')
df = pd.read_sql_query('select * from "Stat_Table"',con=engine)

『叄』 Python的pandas 數組如何得到索引值，如圖，我要得到ohio 的索引值，應該怎樣做

直接上實例：

df = pd.DataFrame(np.random.randn(5,3),index = list('abcde'),columns = ['one','two','three']) #創建一個數據框

df 內容

第一個arrary代表第幾行，第二個代表第幾列。

如，如何條件的元素存在在：第一行第三列，第三行第一列，....

『肆』 Pandas 讀取文件遇到兩種分隔符怎麼辦

文本文件有這樣的列： 代碼如下: First Name Last Name Job Title City Country 在我們讀取這個文件之前，先建一個實體類： 代碼如下: /// <summary> /// Customer entity /// </summary> public class Customer{ public string Firstname { get; set; } public string Lastname { get; set; } public string JobTitle { get; set; } public string City { get; set; } public string Country { get; set; } } 接著我們使用LINQ讀取整個文件： 代碼如下: var query = from line in File.ReadAllLines(filePath) let customerRecord = line.Split(',') select new Customer() { Firstname = customerRecord[0], Lastname = customerRecord[1], JobTitle = customerRecord[2], City = customerRecord[3], Country = customerRecord[4] }; foreach (var item in query) { Console.WriteLine("{0}, {1}, {2}, {3}, {4}" , item.Firstname, item.Lastname, item.JobTitle, item.City, item.Country); } 要讀取可以帶條件的記錄也可以,我們filter出Country是UK: 代碼如下: var query = from c in (from line in File.ReadAllLines(filePath) let customerRecord = line.Split(',') select new Customer() { Firstname = customerRecord[0], Lastname = customerRecord[1], JobTitle = customerRecord[2], City = customerRecord[3], Country = customerRecord[4] }) where c.Country == "UK" select c; 另一例子： 代碼如下: var query = from c in (from line in File.ReadAllLines(filePath) let customerRecord = line.Split(',') select new Customer() { Firstname = customerRecord[0], Lastname = customerRecord[1], JobTitle = customerRecord[2], City = customerRecord[3], Country = customerRecord[4] }) where c.JobTitle.Contains("Sales") select c;

『伍』 基於Pandas的數據分析平台，數據連接該不該用SqlAlchemy的ORM

一、開始使用：
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
DB_CONNECT_STRING = 'mysql+mysqldb://root:123@localhost/ooxx?charset=utf8'
engine = create_engine(DB_CONNECT_STRING, echo=True)
DB_Session = sessionmaker(bind=engine)
session = DB_Session()
這里的 DB_CONNECT_STRING 就是連接資料庫的路徑。「mysql+mysqldb」指定了使用 MySQL-Python 來連接，「root」和「123」分別是用戶名和密碼，「localhost」是資料庫的域名，「ooxx」是使用的資料庫名（可省略），「charset」指定了連接時使用的字元集（可省略）。
create_engine() 會返回一個資料庫引擎，echo 參數為 True 時，會顯示每條執行的 SQL 語句，生產環境下可關閉。
sessionmaker() 會生成一個資料庫會話類。這個類的實例可以當成一個資料庫連接，它同時還記錄了一些查詢的數據，並決定什麼時候執行 SQL 語句。由於 SQLAlchemy 自己維護了一個資料庫連接池（默認 5 個連接），因此初始化一個會話的開銷並不大。對 Tornado 而言，可以在 BaseHandler 的 initialize() 里初始化：
class BaseHandler(tornado.web.RequestHandler):
def initialize(self):
self.session = models.DB_Session()

def on_finish(self):
self.session.close()
對其他 Web 伺服器來說，可以使用 sqlalchemy.orm.scoped_session，它能保證每個線程獲得的 session 對象都是唯一的。不過 Tornado 本身就是單線程的，如果使用了非同步方式，就可能會出現問題，因此並沒使用它。

拿到 session 後，就可以執行 SQL 了：
session.execute('create database abc')
print session.execute('show databases').fetchall()
session.execute('use abc')
# 建 user 表的過程略
print session.execute('select * from user where id = 1').first()
print session.execute('select * from user where id = :id', {'id': 1}).first()
不過這和直接使用 MySQL-Python 沒啥區別；ORM 的方式，這也是採用 SQLAlchemy 的唯一原因。

於是來定義一個表：
from sqlalchemy import Column
from sqlalchemy.types import CHAR, Integer, String
from sqlalchemy.ext.declarative import declarative_base

BaseModel = declarative_base()

def init_db():
BaseModel.metadata.create_all(engine)

def drop_db():
BaseModel.metadata.drop_all(engine)

class User(BaseModel):
__tablename__ = 'user'

id = Column(Integer, primary_key=True)
name = Column(CHAR(30)) # or Column(String(30))

init_db()
declarative_base() 創建了一個 BaseModel 類，這個類的子類可以自動與一個表關聯。
以 User 類為例，它的 __tablename__ 屬性就是資料庫中該表的名稱，它有 id 和 name 這兩個欄位，分別為整型和 30 個定長字元。Column 還有一些其他的參數，我就不解釋了。
最後，BaseModel.metadata.create_all(engine) 會找到 BaseModel 的所有子類，並在資料庫中建立這些表；drop_all() 則是刪除這些表。

接著就開始使用這個表吧：
from sqlalchemy import func, or_, not_

user = User(name='a')
session.add(user)
user = User(name='b')
session.add(user)
user = User(name='a')
session.add(user)
user = User()
session.add(user)
session.commit()

query = session.query(User)
print query # 顯示SQL 語句
print query.statement # 同上
for user in query: # 遍歷時查詢
print user.name
print query.all() # 返回的是一個類似列表的對象
print query.first().name # 記錄不存在時，first() 會返回 None
# print query.one().name # 不存在，或有多行記錄時會拋出異常
print query.filter(User.id == 2).first().name
print query.get(2).name # 以主鍵獲取，等效於上句
print query.filter('id = 2').first().name # 支持字元串

query2 = session.query(User.name)
print query2.all() # 每行是個元組
print query2.limit(1).all() # 最多返回 1 條記錄
print query2.offset(1).all() # 從第 2 條記錄開始返回
print query2.order_by(User.name).all()
print query2.order_by('name').all()
print query2.order_by(User.name.desc()).all()
print query2.order_by('name desc').all()
print session.query(User.id).order_by(User.name.desc(), User.id).all()

print query2.filter(User.id == 1).scalar() # 如果有記錄，返回第一條記錄的第一個元素
print session.query('id').select_from(User).filter('id = 1').scalar()
print query2.filter(User.id > 1, User.name != 'a').scalar() # and
query3 = query2.filter(User.id > 1) # 多次拼接的 filter 也是 and
query3 = query3.filter(User.name != 'a')
print query3.scalar()
print query2.filter(or_(User.id == 1, User.id == 2)).all() # or
print query2.filter(User.id.in_((1, 2))).all() # in

query4 = session.query(User.id)
print query4.filter(User.name == None).scalar()
print query4.filter('name is null').scalar()
print query4.filter(not_(User.name == None)).all() # not
print query4.filter(User.name != None).all()

print query4.count()
print session.query(func.count('*')).select_from(User).scalar()
print session.query(func.count('1')).select_from(User).scalar()
print session.query(func.count(User.id)).scalar()
print session.query(func.count('*')).filter(User.id > 0).scalar() # filter() 中包含 User，因此不需要指定表
print session.query(func.count('*')).filter(User.name == 'a').limit(1).scalar() == 1 # 可以用 limit() 限制 count() 的返回數
print session.query(func.sum(User.id)).scalar()
print session.query(func.now()).scalar() # func 後可以跟任意函數名，只要該資料庫支持
print session.query(func.current_timestamp()).scalar()
print session.query(func.md5(User.name)).filter(User.id == 1).scalar()

query.filter(User.id == 1).update({User.name: 'c'})
user = query.get(1)
print user.name

user.name = 'd'
session.flush() # 寫資料庫，但並不提交
print query.get(1).name

session.delete(user)
session.flush()
print query.get(1)

session.rollback()
print query.get(1).name
query.filter(User.id == 1).delete()
session.commit()
print query.get(1)

二、進階的知識。
1）如何批量插入大批數據？
可以使用非 ORM 的方式：
session.execute(
User.__table__.insert(),
[{'name': `randint(1, 100)`,'age': randint(1, 100)} for i in xrange(10000)]
)
session.commit()

如何批量插入大批數據？
可以使用非 ORM 的方式：
session.execute(
User.__table__.insert(),
[{'name': `randint(1, 100)`,'age': randint(1, 100)} for i in xrange(10000)]
)
session.commit()
上面批量插入了 10000 條記錄，半秒內就執行完了；而 ORM 方式會花掉很長時間。

2）如何讓執行的 SQL 語句增加前綴？
使用 query 對象的 prefix_with() 方法：
session.query(User.name).prefix_with('HIGH_PRIORITY').all()
session.execute(User.__table__.insert().prefix_with('IGNORE'), {'id': 1, 'name': '1'})

3）如何替換一個已有主鍵的記錄？
使用 session.merge() 方法替代 session.add()，其實就是 SELECT + UPDATE：
user = User(id=1, name='ooxx')
session.merge(user)
session.commit()
或者使用 MySQL 的 INSERT … ON DUPLICATE KEY UPDATE，需要用到 @compiles 裝飾器，有點難懂，自己看吧：《SQLAlchemy ON DUPLICATE KEY UPDATE》 和 sqlalchemy_mysql_ext。

4）如何使用無符號整數？
可以使用 MySQL 的方言：
from sqlalchemy.dialects.mysql import INTEGER

id = Column(INTEGER(unsigned=True), primary_key=True)

5）模型的屬性名需要和表的欄位名不一樣怎麼辦？
開發時遇到過一個奇怪的需求，有個其他系統的表裡包含了一個「from」欄位，這在 Python 里是關鍵字，於是只能這樣處理了：
from_ = Column('from', CHAR(10))

6）如何獲取欄位的長度？
Column 會生成一個很復雜的對象，想獲取長度比較麻煩，這里以 User.name 為例：
User.name.property.columns[0].type.length

7）如何指定使用 InnoDB，以及使用 UTF-8 編碼？
最簡單的方式就是修改資料庫的默認配置。如果非要在代碼里指定的話，可以這樣：
class User(BaseModel):
__table_args__ = {
'mysql_engine': 'InnoDB',
'mysql_charset': 'utf8'
}
MySQL 5.5 開始支持存儲 4 位元組的 UTF-8 編碼的字元了，iOS 里自帶的 emoji（如 ?? 字元）就屬於這種。
如果是對表來設置的話，可以把上面代碼中的 utf8 改成 utf8mb4，DB_CONNECT_STRING 里的 charset 也這樣更改。
如果對庫或欄位來設置，則還是自己寫 SQL 語句比較方便，具體細節可參考《How to support full Unicode in MySQL databases》。
不建議全用 utf8mb4 代替 utf8，因為前者更慢，索引會佔用更多空間。

8）如何設置外鍵約束？
from random import randint
from sqlalchemy import ForeignKey

class User(BaseModel):
__tablename__ = 'user'

id = Column(Integer, primary_key=True)
age = Column(Integer)

class Friendship(BaseModel):
__tablename__ = 'friendship'

id = Column(Integer, primary_key=True)
user_id1 = Column(Integer, ForeignKey('user.id'))
user_id2 = Column(Integer, ForeignKey('user.id'))

for i in xrange(100):
session.add(User(age=randint(1, 100)))
session.flush() # 或 session.commit()，執行完後，user 對象的 id 屬性才可以訪問（因為 id 是自增的）

for i in xrange(100):
session.add(Friendship(user_id1=randint(1, 100), user_id2=randint(1, 100)))
session.commit()

session.query(User).filter(User.age < 50).delete()
執行這段代碼時，應該會遇到一個錯誤：
sqlalchemy.exc.IntegrityError: (IntegrityError) (1451, 'Cannot delete or update a parent row: a foreign key constraint fails (`ooxx`.`friendship`, CONSTRAINT `friendship_ibfk_1` FOREIGN KEY (`user_id1`) REFERENCES `user` (`id`))') 'DELETE FROM user WHERE user.age < %s' (50,)原因是刪除 user 表的數據，可能會導致 friendship 的外鍵不指向一個真實存在的記錄。在默認情況下，MySQL 會拒絕這種操作，也就是 RESTRICT。InnoDB 還允許指定 ON DELETE 為 CASCADE 和 SET NULL，前者會刪除 friendship 中無效的記錄，後者會將這些記錄的外鍵設為 NULL。
除了刪除，還有可能更改主鍵，這也會導致 friendship 的外鍵失效。於是相應的就有 ON UPDATE 了。其中 CASCADE 變成了更新相應的外鍵，而不是刪除。
而在 SQLAlchemy 中是這樣處理的：
class Friendship(BaseModel):
__tablename__ = 'friendship'

id = Column(Integer, primary_key=True)
user_id1 = Column(Integer, ForeignKey('user.id', ondelete='CASCADE', onupdate='CASCADE'))
user_id2 = Column(Integer, ForeignKey('user.id', ondelete='CASCADE', onupdate='CASCADE'))

9）如何連接表？
from sqlalchemy import distinct
from sqlalchemy.orm import aliased

Friend = aliased(User, name='Friend')

print session.query(User.id).join(Friendship, User.id == Friendship.user_id1).all() # 所有有朋友的用戶
print session.query(distinct(User.id)).join(Friendship, User.id == Friendship.user_id1).all() # 所有有朋友的用戶（去掉重復的）
print session.query(User.id).join(Friendship, User.id == Friendship.user_id1).distinct().all() # 同上
print session.query(Friendship.user_id2).join(User, User.id == Friendship.user_id1).order_by(Friendship.user_id2).distinct().all() # 所有被別人當成朋友的用戶
print session.query(Friendship.user_id2).select_from(User).join(Friendship, User.id == Friendship.user_id1).order_by(Friendship.user_id2).distinct().all() # 同上，join 的方向相反，但因為不是 STRAIGHT_JOIN，所以 MySQL 可以自己選擇順序
print session.query(User.id, Friendship.user_id2).join(Friendship, User.id == Friendship.user_id1).all() # 用戶及其朋友
print session.query(User.id, Friendship.user_id2).join(Friendship, User.id == Friendship.user_id1).filter(User.id < 10).all() # id 小於 10 的用戶及其朋友
print session.query(User.id, Friend.id).join(Friendship, User.id == Friendship.user_id1).join(Friend, Friend.id == Friendship.user_id2).all() # 兩次 join，由於使用到相同的表，因此需要別名
print session.query(User.id, Friendship.user_id2).outerjoin(Friendship, User.id == Friendship.user_id1).all() # 用戶及其朋友（無朋友則為 None，使用左連接）
-

『陸』 怎麼使用Python中Pandas庫Resample，實現重采樣，完成線性插值

#python中的pandas庫主要有DataFrame和Series類(面向對象的的語言更願意叫類) DataFrame也就是
#數據框(主要是借鑒R裡面的data.frame)，Series也就是序列 ，pandas底層是c寫的 性能很棒，有大神
#做過測試 處理億級別的數據沒問題，起性能可以跟同等配置的sas媲美
#DataFrame索引 df.loc是標簽選取操作，df.iloc是位置切片操作
print(df[['row_names','Rape']])
df['行標簽']
df.loc[行標簽,列標簽]
print(df.loc[0:2,['Rape','Murder']])
df.iloc[行位置,列位置]
df.iloc[1,1]#選取第二行，第二列的值，返回的為單個值
df.iloc[0,2],:]#選取第一行及第三行的數據
df.iloc[0:2,:]#選取第一行到第三行（不包含）的數據
df.iloc[:,1]#選取所有記錄的第一列的值，返回的為一個Series
df.iloc[1,:]#選取第一行數據，返回的為一個Series
print(df.ix[1,1]) # 更廣義的切片方式是使用.ix，它自動根據你給到的索引類型判斷是使用位置還是標簽進行切片
print(df.ix[0:2])
#DataFrame根據條件選取子集 類似於sas裡面if、where ,R裡面的subset之類的函數
df[df.Murder>13]
df[(df.Murder>10)&(df.Rape>30)]
df[df.sex==u'男']
#重命名 相當於sas裡面的rename R軟體中reshape包的中的rename
df.rename(columns={'A':'A_rename'})
df.rename(index={1:'other'})
#刪除列 相當於sas中的drop R軟體中的test['col']<-null
df.drop(['a','b'],axis=1) or del df[['a','b']]
#排序 相當於sas裡面的sort R軟體裡面的df[order(x),]
df.sort(columns='C') #行排序 y軸上
df.sort(axis=1) #各個列之間位置排序 x軸上
#數據描述 相當於sas中proc menas R軟體裡面的summary
df.describe()
#生成新的一列 跟R裡面有點類似
df['new_columns']=df['columns']
df.insert(1,'new_columns',df['B']) #效率最高
df.join(Series(df['columns'],name='new_columns'))
#列上面的追加 相當於sas中的append R裡面cbind()
df.append(df1,ignore_index=True)
pd.concat([df,df1],ignore_index=True)
#最經典的join 跟sas和R裡面的merge類似 跟sql裡面的各種join對照
merge()
#刪除重行 跟sas裡面nokey R裡面的which(!plicated(df[])類似
df.drop_plicated()
#獲取最大值 最小值的位置 有點類似矩陣裡面的方法
df.idxmin(axis=0 ) df.idxmax(axis=1) 0和1有什麼不同 自己摸索去
#讀取外部數據跟sas的proc import R裡面的read.csv等類似
read_excel() read_csv() read_hdf5() 等
與之相反的是df.to_excel() df.to_ecv()
#缺失值處理 個人覺得pandas中缺失值處理比sas和R方便多了
df.fillna(9999) #用9999填充
#鏈接資料庫 不多說 pandas裡面主要用 MySQLdb
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="",db="mysql",use_unicode=True,charset="utf8")
read_sql() #很經典
#寫數據進資料庫
df.to_sql('hbase_visit',con, flavor="mysql", if_exists='replace', index=False)
#groupby 跟sas裡面的中的by R軟體中dplyr包中的group_by sql裡面的group by功能是一樣的 這里不多說
#求啞變數
miper=pd.get_mmies(df['key'])
df['key'].join(mpier)
#透視表 和交叉表 跟sas裡面的proc freq步類似 R裡面的aggrate和cast函數類似
pd.pivot_table()
pd.crosstab()
#聚合函數經常跟group by一起組合用
df.groupby('sex').agg({'height':['mean','sum'],'weight':['count','min']})

#數據查詢過濾

test.query("0.2
將STK_ID中的值過濾出來
stk_list = ['600809','600141','600329']中的全部記錄過濾出來，命令是：rpt[rpt['STK_ID'].isin(stk_list)].
將dataframe中，某列進行清洗的命令
刪除換行符：misc['proct_desc'] = misc['proct_desc'].str.replace('\n', '')
刪除字元串前後空格：df["Make"] = df["Make"].map(str.strip)
如果用模糊匹配的話，命令是：
rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')]

對dataframe中元素，進行類型轉換

df['2nd'] = df['2nd'].str.replace(',','').astype(int) df['CTR'] = df['CTR'].str.replace('%','').astype(np.float64)

#時間變換 主要依賴於datemie 和time兩個包
http://www.2cto.com/kf/201401/276088.html
#其他的一些技巧
df2[df2['A'].map(lambda x:x.startswith('61'))] #篩選出以61開頭的數據
df2["Author"].str.replace("<.+>", "").head() #replace("<.+>", "")表示將字元串中以」<」開頭;以」>」結束的任意子串替換為空字元串
commits = df2["Name"].head(15)
print commits.unique(), len(commits.unique()) #獲的NAME的不同個數，類似於sql裡面count(distinct name)
#pandas中最核心 最經典的函數apply map applymap

『柒』 怎麼利用pandas做數據分析

1.queryset查詢集傳伺服器url面查詢內容Django查詢返結集QuerySet進行緩存提高查詢效率說創建QuerySet象候Django並立即向資料庫發查詢命令需要用QuerySet候才做
2.Objectsdjango實現mvcmDjango模型類都objects象Django定義QuerySet類型象包含模型象實例
3.能get能異用filter函數
>>> Entry.objects.filter(blog__id__exact=1)# 顯示使用__exact
>>> Entry.objects.filter(blog__id=1)# 隱含使用__exact>>> Entry.objects.filter(blog__pk=1)# __pk 相於 __id__exact
-

『捌』 請教用pandas處理數據時，如何對行數據進行篩選並賦值處理

樓上說的不對，sum是普通的求和，在篩選的情況下，應該用SUBTOTAL(9,B2:B7) 其中9是固定參數，B2和B7是整個數據的范圍，求和結果可以根據篩選的變化同步變化。

『玖』 pandas怎麼根據一個數據框中的值過濾另一個數據框

選中A表的C6到C23 復制 選中B表的C6 點擊選擇性粘貼中的 粘貼鏈接(粘貼按鈕旁邊的小三角形)

『拾』 python pandas 怎麼引用一個數據

1.queryset是查詢集，就是傳到伺服器上的url裡面的查詢內容。Django會對查詢返回的結果集QuerySet進行緩存，這是為了提高查詢效率。也就是說，在你創建一個QuerySet對象的時候，Django並不會立即向資料庫發出查詢命令，只有在你需要用到這個QuerySet的時候才會這樣做。
2.Objects是django實現的mvc中的m，Django中的模型類都有一個objects對象，它是一個Django中定義的QuerySet類型的對象，它包含了模型對象的實例。
3.不能，因為get可能會有異常，可以用filter函數，如下
>>> Entry.objects.filter(blog__id__exact=1)# 顯示的使用__exact
>>> Entry.objects.filter(blog__id=1)# 隱含的使用__exact>>> Entry.objects.filter(blog__pk=1)# __pk 相當於 __id__exact