]> mj.ucw.cz Git - libucw.git/blob - debug/sorter/file-test.c
Show timings and allow direct I/O.
[libucw.git] / debug / sorter / file-test.c
1 /*
2  *  An experiment with parallel reading and writing of files.
3  */
4
5 #include "lib/lib.h"
6 #include "lib/lfs.h"
7
8 #include <stdio.h>
9 #include <stdlib.h>
10 #include <fcntl.h>
11 #include <unistd.h>
12
13 #define COPY
14 #define DIRECT O_DIRECT
15
16 #define P_INIT do { cnt = 0; cnt_rep = 0; cnt_ms = 1; } while(0)
17 #define P_UPDATE(cc) do { \
18   cnt += cc; \
19   if (cnt >= cnt_rep) { cnt_ms += get_timer(); \
20     printf("%d of %d MB (%.2f MB/sec)\r", (int)(cnt >> 20), (int)(total_size >> 20), (double)cnt / 1048576 * 1000 / cnt_ms); \
21     fflush(stdout); cnt_rep += 1<<26; } } while(0)
22 #define P_FINAL do { \
23   cnt_ms += get_timer(); \
24   log(L_INFO, "Spent %.3f sec (%.2f MB/sec)", (double)cnt_ms/1000, (double)cnt / 1048576 * 1000 / cnt_ms); \
25 } while(0)
26
27 int main(int argc, char **argv)
28 {
29   ASSERT(argc == 4);
30   uns files = atol(argv[1]);
31   uns bufsize = atol(argv[2]) * 1024;                           // Kbytes
32   u64 total_size = (u64)atol(argv[3]) * 1024*1024*1024;         // Gbytes
33   u64 cnt, cnt_rep;
34   uns cnt_ms;
35   int fd[files];
36   byte *buf[files], name[files][16];
37   uns xbufsize = bufsize;                                       // Used for single-file I/O
38   byte *xbuf = big_alloc(xbufsize);
39
40   init_timer();
41
42 #ifdef COPY
43   log(L_INFO, "Creating input file");
44   int in_fd = sh_open("tmp/ft-in", O_RDWR | O_CREAT | O_TRUNC | DIRECT, 0666);
45   ASSERT(in_fd >= 0);
46   ASSERT(!(total_size % xbufsize));
47   P_INIT;
48   for (uns i=0; i<total_size/xbufsize; i++)
49     {
50       for (uns j=0; j<xbufsize; j++)
51         xbuf[j] = i+j;
52       uns c = write(in_fd, xbuf, xbufsize);
53       ASSERT(c == xbufsize);
54       P_UPDATE(c);
55     }
56   lseek(in_fd, 0, SEEK_SET);
57   sync();
58   P_FINAL;
59 #endif
60
61   log(L_INFO, "Initializing output files");
62   for (uns i=0; i<files; i++)
63     {
64       sprintf(name[i], "tmp/ft-%d", i);
65       fd[i] = sh_open(name[i], O_RDWR | O_CREAT | O_TRUNC | DIRECT, 0666);
66       if (fd[i] < 0)
67         die("Cannot create %s: %m", name[i]);
68       buf[i] = big_alloc(bufsize);
69     }
70   sync();
71   get_timer();
72
73   log(L_INFO, "Writing %d MB to %d files in parallel with %d byte buffers", (int)(total_size >> 20), files, bufsize);
74   P_INIT;
75   for (uns r=0; r<total_size/bufsize/files; r++)
76     {
77       for (uns i=0; i<files; i++)
78         {
79 #ifdef COPY
80           uns ci = read(in_fd, buf[i], bufsize);
81           ASSERT(ci == bufsize);
82 #else
83           for (uns j=0; j<bufsize; j++)
84             buf[i][j] = r+i+j;
85 #endif
86           uns c = write(fd[i], buf[i], bufsize);
87           ASSERT(c == bufsize);
88           P_UPDATE(c);
89         }
90     }
91 #ifdef COPY
92   close(in_fd);
93 #endif
94   log(L_INFO, "Syncing");
95   sync();
96   P_FINAL;
97
98   log(L_INFO, "Reading the files sequentially");
99   P_INIT;
100   for (uns i=0; i<files; i++)
101     {
102       lseek(fd[i], 0, SEEK_SET);
103       for (uns r=0; r<total_size/xbufsize/files; r++)
104         {
105           uns c = read(fd[i], xbuf, xbufsize);
106           ASSERT(c == xbufsize);
107           P_UPDATE(c);
108         }
109       close(fd[i]);
110     }
111   P_FINAL;
112
113   for (uns i=0; i<files; i++)
114     unlink(name[i]);
115 #ifdef COPY
116   unlink("tmp/ft-in");
117 #endif
118   log(L_INFO, "Done");
119   return 0;
120 }