C++大文件传输

2021-10-12 01:51:18

C/C++大文件/数据网络传输方法总结

在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失为一种好的方法。

1.基础的基于socket进行传输

基础的基于socket进行传输关键在于控制，需要自己行分包和组包。

C++大文件传输

原理很简单那，我们就直接看一下代码吧。
 

 

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
    //////////////////////////////////////////////////////////////////////// 
    // file_server.c -- socket文件传输服务器端示例代码  
    // ///////////////////////////////////////////////////////////////////// 
    #include<netinet in.h="">  
    #include<sys types.h="">  
    #include<sys socket.h="">  
    #include<stdio.h>  
    #include<stdlib.h>  
    #include<string.h>  
       
    #define HELLO_WORLD_SERVER_PORT    6666 
    #define LENGTH_OF_LISTEN_QUEUE     20 
    #define BUFFER_SIZE                1024 
    #define FILE_NAME_MAX_SIZE         512 
       
    int main(int argc, char **argv) 
    { 
        // set socket‘s address information  
        // 设置一个socket地址结构server_addr,代表服务器internet的地址和端口 
        struct sockaddr_in   server_addr; 
        bzero(&server_addr, sizeof(server_addr)); 
        server_addr.sin_family = AF_INET; 
        server_addr.sin_addr.s_addr = htons(INADDR_ANY); 
        server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); 
       
        // create a stream socket  
        // 创建用于internet的流协议(TCP)socket，用server_socket代表服务器向客户端提供服务的接口 
        int server_socket = socket(PF_INET, SOCK_STREAM, 0); 
        if (server_socket < 0) 
        { 
            printf(Create Socket Failed!
); 
            exit(1); 
        } 
       
        // 把socket和socket地址结构绑定  
        if (bind(server_socket, (struct sockaddr*)&server_addr, sizeof(server_addr))) 
        { 
            printf(Server Bind Port: %d Failed!
, HELLO_WORLD_SERVER_PORT); 
            exit(1); 
        } 
       
        // server_socket用于监听  
        if (listen(server_socket, LENGTH_OF_LISTEN_QUEUE)) 
        { 
            printf(Server Listen Failed!
); 
            exit(1); 
        } 
       
        // 服务器端一直运行用以持续为客户端提供服务  
        while(1) 
        { 
            // 定义客户端的socket地址结构client_addr，当收到来自客户端的请求后，调用accept 
            // 接受此请求，同时将client端的地址和端口等信息写入client_addr中 
            struct sockaddr_in client_addr; 
            socklen_t          length = sizeof(client_addr); 
       
            // 接受一个从client端到达server端的连接请求,将客户端的信息保存在client_addr中 
            // 如果没有连接请求，则一直等待直到有连接请求为止，这是accept函数的特性，可以 
            // 用select()来实现超时检测  
            // accpet返回一个新的socket,这个socket用来与此次连接到server的client进行通信 
            // 这里的new_server_socket代表了这个通信通道 
            int new_server_socket = accept(server_socket, (struct sockaddr*)&client_addr, &length); 
            if (new_server_socket < 0) 
            { 
                printf(Server Accept Failed!
); 
                break; 
            } 
       
            char buffer[BUFFER_SIZE]; 
            bzero(buffer, sizeof(buffer)); 
            length = recv(new_server_socket, buffer, BUFFER_SIZE, 0); 
            if (length < 0) 
            { 
                printf(Server Recieve Data Failed!
); 
                break; 
            } 
       
            char file_name[FILE_NAME_MAX_SIZE + 1]; 
            bzero(file_name, sizeof(file_name)); 
            strncpy(file_name, buffer, 
                    strlen(buffer) > FILE_NAME_MAX_SIZE ? FILE_NAME_MAX_SIZE : strlen(buffer)); 
       
            FILE *fp = fopen(file_name, r); 
            if (fp == NULL) 
            { 
                printf(File:    %s Not Found!
, file_name); 
            } 
            else 
            { 
                bzero(buffer, BUFFER_SIZE); 
                int file_block_length = 0; 
                while( (file_block_length = fread(buffer, sizeof(char), BUFFER_SIZE, fp)) > 0) 
                { 
                    printf(file_block_length = %d
, file_block_length); 
       
                    // 发送buffer中的字符串到new_server_socket,实际上就是发送给客户端 
                    if (send(new_server_socket, buffer, file_block_length, 0) < 0) 
                    { 
                        printf(Send File:   %s Failed!
, file_name); 
                        break; 
                    } 
       
                    bzero(buffer, sizeof(buffer)); 
                } 
                fclose(fp); 
                printf(File:    %s Transfer Finished!
, file_name); 
            } 
       
            close(new_server_socket); 
        } 
       
        close(server_socket); 
       
        return 0; 
    }  </string.h></stdlib.h></stdio.h></sys></sys></netinet>

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
    ////////////////////////////////////////////////////// 
    // file_client.c  socket传输文件的client端示例程序  
    // /////////////////////////////////////////////////// 
    #include<netinet in.h="">                         // for sockaddr_in 
    #include<sys types.h="">                          // for socket 
    #include<sys socket.h="">                         // for socket 
    #include<stdio.h>                              // for printf 
    #include<stdlib.h>                             // for exit 
    #include<string.h>                             // for bzero 
       
    #define HELLO_WORLD_SERVER_PORT       6666 
    #define BUFFER_SIZE                   1024 
    #define FILE_NAME_MAX_SIZE            512 
       
    int main(int argc, char **argv) 
    { 
        if (argc != 2) 
        { 
            printf(Usage: ./%s ServerIPAddress
, argv[0]); 
            exit(1); 
        } 
       
        // 设置一个socket地址结构client_addr, 代表客户机的internet地址和端口 
        struct sockaddr_in client_addr; 
        bzero(&client_addr, sizeof(client_addr)); 
        client_addr.sin_family = AF_INET; // internet协议族 
        client_addr.sin_addr.s_addr = htons(INADDR_ANY); // INADDR_ANY表示自动获取本机地址 
        client_addr.sin_port = htons(0); // auto allocated, 让系统自动分配一个空闲端口 
       
        // 创建用于internet的流协议(TCP)类型socket，用client_socket代表客户端socket 
        int client_socket = socket(AF_INET, SOCK_STREAM, 0); 
        if (client_socket < 0) 
        { 
            printf(Create Socket Failed!
); 
            exit(1); 
        } 
       
        // 把客户端的socket和客户端的socket地址结构绑定  
        if (bind(client_socket, (struct sockaddr*)&client_addr, sizeof(client_addr))) 
        { 
            printf(Client Bind Port Failed!
); 
            exit(1); 
        } 
       
        // 设置一个socket地址结构server_addr,代表服务器的internet地址和端口 
        struct sockaddr_in  server_addr; 
        bzero(&server_addr, sizeof(server_addr)); 
        server_addr.sin_family = AF_INET; 
       
        // 服务器的IP地址来自程序的参数  
        if (inet_aton(argv[1], &server_addr.sin_addr) == 0) 
        { 
            printf(Server IP Address Error!
); 
            exit(1); 
        } 
       
        server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); 
        socklen_t server_addr_length = sizeof(server_addr); 
       
        // 向服务器发起连接请求，连接成功后client_socket代表客户端和服务器端的一个socket连接 
        if (connect(client_socket, (struct sockaddr*)&server_addr, server_addr_length) < 0) 
        { 
            printf(Can Not Connect To %s!
, argv[1]); 
            exit(1); 
        } 
       
        char file_name[FILE_NAME_MAX_SIZE + 1]; 
        bzero(file_name, sizeof(file_name)); 
        printf(Please Input File Name On Server.    ); 
        scanf(%s, file_name); 
       
        char buffer[BUFFER_SIZE]; 
        bzero(buffer, sizeof(buffer)); 
        strncpy(buffer, file_name, strlen(file_name) > BUFFER_SIZE ? BUFFER_SIZE : strlen(file_name)); 
        // 向服务器发送buffer中的数据，此时buffer中存放的是客户端需要接收的文件的名字 
        send(client_socket, buffer, BUFFER_SIZE, 0); 
       
        FILE *fp = fopen(file_name, w); 
        if (fp == NULL) 
        { 
            printf(File:    %s Can Not Open To Write!
, file_name); 
            exit(1); 
        } 
       
        // 从服务器端接收数据到buffer中  
        bzero(buffer, sizeof(buffer)); 
        int length = 0; 
        while(length = recv(client_socket, buffer, BUFFER_SIZE, 0)) 
        { 
            if (length < 0) 
            { 
                printf(Recieve Data From Server %s Failed!
, argv[1]); 
                break; 
            } 
       
            int write_length = fwrite(buffer, sizeof(char), length, fp); 
            if (write_length < length) 
            { 
                printf(File:    %s Write Failed!
, file_name); 
                break; 
            } 
            bzero(buffer, BUFFER_SIZE); 
        } 
       
        printf(Recieve File:     %s From Server[%s] Finished!
, file_name, argv[1]); 
       
        // 传输完毕，关闭socket  
        fclose(fp); 
        close(client_socket); 
        return 0; 
       
    } 
 
</string.h></stdlib.h></stdio.h></sys></sys></netinet>

 

2.使用现有的通讯中间件

2.1 ActiveMQ 传送文件接口

 

为了解决传输大文件的问题，ActiveMQ在jms规范之外引入了jms streams的概念。PTP模式下，连到同一个destination的两端，可以通过broker中转来传输大文件。

发送端使用connection.createOutputStream打开一个输出流，往流里写文件。

OutputStream out =connection.createOutputStream(destination);

接收端则简单的使用connection.createInputStream拿到一个输入流，从中读取文件数据即可。

?
1
InputStream in = connection.createInputStream(destination)

详见：http://activemq.apache.org/jms-streams.html


2.2 ZeroMQ 接口

ZeroMQ没有直接提供传送文件的接口。但ZeroMQ中send（void * data, size_t len）接口已经做好了封装，可以send任意大小的数据。代码如下：

 

?
1
2
3
4
5
6
7
8
9
10
11
12
zmq::context_t ctx(1);
zmq::socket_t sock(ctx, ZMQ_REQ);
 
sock.connect(tcp://192.168.20.111:20310);
 
sock.send(pData,len);//数据大小没有限制，可以直接发送任意大小的数据
 
 
char reply[100];
sock.recv (reply,100);
 
sock.disconnect(addr);

接收端代码如下：

 

?
1
2
3
4
5
6
7
8
9
10
m_context = new zmq::context_t(1);
    m_socket = new zmq::socket_t (*m_context, ZMQ_REP);
    m_socket->bind (tcp://*:20310);
 
    zmq::message_t request;
 
        // Wait for next request from client
        m_socket->recv (&request) // request可以接受发送来的任意大小的数据
         
        m_socket->send(ok,2);


 

是不是很简单呢？
 

3.基于共享文件、ftp、scp等


这就不细说了。要么就是写共享目录，要么就是调用系统命令。

 

4.总结


1)直接基于socket编程难度较高，所以不推荐。

2）使用现有的库方便，但需要学习。一般推荐。

3）共享文件、ftp、scp等难度低，简单易用，在符合使用场景时是首选。（但一些自命不凡的程序员或许会对你嗤之以鼻，考虑之...）

C++大文件传输,布布扣,bubuko.com

C++大文件传输

上一篇：多线程+缓存计算


下一篇：python使用正则表达式