分割csv文件

zhaozy78

cmd运行  python （文件名）（分割数）（可选分割符转转成csv文件并分割）

[Python]代码

1. # coding:utf-8
   
2. # python 2.7
   
3. import csv
   
4. import math
   
5. import sys
   
6. import os
   
7. from sys import exit
   
8. 
   
9. #平均分割CVS文件   
   
10. def deal_csv(head,data,n,filepath):
    
11.     name = filepath.split('.')[0]
    
12.     line_number = 1000000
    
13.     if int(math.ceil(len(data)/float(n)))<=line_number:
    
14.         line_number = int(math.ceil(len(data)/float(n)))
    
15.     else:
    
16.         n = int(math.ceil(len(data)/float(line_number)))
    
17.     temp = []
    
18.     for i in range(len(data)-1,-1,-1):
    
19.         temp.append(data[i])
    
20.         if i==(n-1)*line_number:
    
21.             reader = csv.writer(open("%s_%d.csv"%(name,n),'wb'))
    
22.             reader.writerow(head)
    
23.             for line in temp:
    
24.                 reader.writerow(line)
    
25.             n-=1
    
26.             temp=[]
    
27.     print 'SourceFile -> %s'%(name)
    
28.     print 'FilePath -> %s'%(os.getcwd())
    
29.     print 'Status -> Success'
    
30. #读取文件内容并按行转化成数组
    
31. def read_csv(filepath,sign):
    
32.     reader = csv.reader(file(filepath,'rb'))
    
33.     data = []
    
34.     if sign==',':
    
35.         for line in reader:
    
36.             data.append(line)
    
37.     else:
    
38.         for line in reader:
    
39.             data.append(line[0].split(sign))
    
40.     return data
    
41. def read_file(filepath,sign):
    
42.     file = open(filepath)
    
43.     try:
    
44.         data = []
    
45.         reader = file.readlines()
    
46.         for line in reader:
    
47.             data.append(line.strip('\n').split(sign))
    
48.         return data
    
49.     finally:
    
50.         file.close()
    
51.          
    
52. if __name__=="__main__":
    
53.     data = []
    
54.     filepath=''
    
55.     sign=''
    
56.     if len(sys.argv)==3:
    
57.         sign=','
    
58.     elif len(sys.argv)==4:
    
59.         sign=sys.argv[3]
    
60.     else:
    
61.         sys.exit()
    
62.     #获取文件名
    
63.     filepath=sys.argv[1]
    
64.     #获取数据
    
65.     data = read_file(filepath,sign)
    
66.     #获取分割数
    
67.     n=int(sys.argv[2])
    
68.     deal_csv(data[0],data[1:],n,filepath)
    

复制代码