]> mj.ucw.cz Git - libucw.git/blob - lib/sorter/sbuck.c
Added decision logic which switches between 2-way merges, n-way merges
[libucw.git] / lib / sorter / sbuck.c
1 /*
2  *      UCW Library -- Universal Sorter: Operations on Contexts, Buffers and Buckets
3  *
4  *      (c) 2007 Martin Mares <mj@ucw.cz>
5  *
6  *      This software may be freely distributed and used according to the terms
7  *      of the GNU Lesser General Public License.
8  */
9
10 #include "lib/lib.h"
11 #include "lib/fastbuf.h"
12 #include "lib/mempool.h"
13 #include "lib/stkstring.h"
14 #include "lib/sorter/common.h"
15
16 #include <fcntl.h>
17
18 void *
19 sorter_alloc(struct sort_context *ctx, uns size)
20 {
21   return mp_alloc_zero(ctx->pool, size);
22 }
23
24 struct sort_bucket *
25 sbuck_new(struct sort_context *ctx)
26 {
27   struct sort_bucket *b = sorter_alloc(ctx, sizeof(struct sort_bucket));
28   b->ctx = ctx;
29   return b;
30 }
31
32 void
33 sbuck_drop(struct sort_bucket *b)
34 {
35   if (b)
36     {
37       ASSERT(!(b->flags & SBF_DESTROYED));
38       if (b->n.prev)
39         clist_remove(&b->n);
40       bclose(b->fb);
41       bzero(b, sizeof(*b));
42       b->flags = SBF_DESTROYED;
43     }
44 }
45
46 sh_off_t
47 sbuck_size(struct sort_bucket *b)
48 {
49   if ((b->flags & SBF_OPEN_WRITE) && !(b->flags & SBF_SWAPPED_OUT))
50     return btell(b->fb);
51   else
52     return b->size;
53 }
54
55 int
56 sbuck_have(struct sort_bucket *b)
57 {
58   return b && sbuck_size(b);
59 }
60
61 int
62 sbuck_has_file(struct sort_bucket *b)
63 {
64   return (b->fb || (b->flags & SBF_SWAPPED_OUT));
65 }
66
67 static void
68 sbuck_swap_in(struct sort_bucket *b)
69 {
70   if (b->flags & SBF_SWAPPED_OUT)
71     {
72       b->fb = bopen_file(b->filename, O_RDWR, &sorter_fb_params);       /* FIXME: Something different for small buckets? */
73       if (b->flags & SBF_OPEN_WRITE)
74         bseek(b->fb, 0, SEEK_END);
75       bconfig(b->fb, BCONFIG_IS_TEMP_FILE, 1);
76       b->flags &= ~SBF_SWAPPED_OUT;
77       SORT_XTRACE(3, "Swapped in %s", b->filename);
78     }
79 }
80
81 struct fastbuf *
82 sbuck_read(struct sort_bucket *b)
83 {
84   sbuck_swap_in(b);
85   if (b->flags & SBF_OPEN_READ)
86     return b->fb;
87   else if (b->flags & SBF_OPEN_WRITE)
88     {
89       b->size = btell(b->fb);
90       b->flags = (b->flags & ~SBF_OPEN_WRITE) | SBF_OPEN_READ;
91       brewind(b->fb);
92       return b->fb;
93     }
94   else
95     ASSERT(0);
96 }
97
98 struct fastbuf *
99 sbuck_write(struct sort_bucket *b)
100 {
101   sbuck_swap_in(b);
102   if (b->flags & SBF_OPEN_WRITE)
103     ASSERT(b->fb);
104   else
105     {
106       ASSERT(!(b->flags & (SBF_OPEN_READ | SBF_DESTROYED)));
107       b->fb = bopen_tmp_file(&sorter_fb_params);
108       if (sorter_debug & SORT_DEBUG_KEEP_BUCKETS)
109         bconfig(b->fb, BCONFIG_IS_TEMP_FILE, 0);
110       b->flags |= SBF_OPEN_WRITE;
111       b->filename = mp_strdup(b->ctx->pool, b->fb->name);
112     }
113   return b->fb;
114 }
115
116 void
117 sbuck_swap_out(struct sort_bucket *b)
118 {
119   if ((b->flags & (SBF_OPEN_READ | SBF_OPEN_WRITE)) && b->fb && !(b->flags & SBF_SOURCE))
120     {
121       if (b->flags & SBF_OPEN_WRITE)
122         b->size = btell(b->fb);
123       bconfig(b->fb, BCONFIG_IS_TEMP_FILE, 0);
124       bclose(b->fb);
125       b->fb = NULL;
126       b->flags |= SBF_SWAPPED_OUT;
127       SORT_XTRACE(3, "Swapped out %s", b->filename);
128     }
129 }
130
131 void
132 sorter_prepare_buf(struct sort_context *ctx)
133 {
134   u64 bs = sorter_bufsize;
135   bs = ALIGN_TO(bs, (u64)CPU_PAGE_SIZE);
136   bs = MAX(bs, 2*(u64)CPU_PAGE_SIZE);
137   ctx->big_buf_size = bs;
138 }
139
140 void
141 sorter_alloc_buf(struct sort_context *ctx)
142 {
143   if (ctx->big_buf)
144     return;
145   ctx->big_buf = big_alloc(ctx->big_buf_size);
146   SORT_XTRACE(2, "Allocated sorting buffer (%s)", stk_fsize(ctx->big_buf_size));
147 }
148
149 void
150 sorter_free_buf(struct sort_context *ctx)
151 {
152   if (!ctx->big_buf)
153     return;
154   big_free(ctx->big_buf, ctx->big_buf_size);
155   ctx->big_buf = NULL;
156   SORT_XTRACE(2, "Freed sorting buffer");
157 }