lib/sorter/sbuck.c

   1 /*
   2  *      UCW Library -- Universal Sorter: Operations on Contexts, Buffers and Buckets
   3  *
   4  *      (c) 2007 Martin Mares <mj@ucw.cz>
   5  *
   6  *      This software may be freely distributed and used according to the terms
   7  *      of the GNU Lesser General Public License.
   8  */
   9
  10 #include "lib/lib.h"
  11 #include "lib/fastbuf.h"
  12 #include "lib/mempool.h"
  13 #include "lib/sorter/common.h"
  14
  15 #include <fcntl.h>
  16
  17 void *
  18 sorter_alloc(struct sort_context *ctx, uns size)
  19 {
  20   return mp_alloc_zero(ctx->pool, size);
  21 }
  22
  23 struct sort_bucket *
  24 sbuck_new(struct sort_context *ctx)
  25 {
  26   struct sort_bucket *b = sorter_alloc(ctx, sizeof(struct sort_bucket));
  27   b->ctx = ctx;
  28   return b;
  29 }
  30
  31 void
  32 sbuck_drop(struct sort_bucket *b)
  33 {
  34   if (b)
  35     {
  36       ASSERT(!(b->flags & SBF_DESTROYED));
  37       if (b->n.prev)
  38         clist_remove(&b->n);
  39       bclose(b->fb);
  40       bzero(b, sizeof(*b));
  41       b->flags = SBF_DESTROYED;
  42     }
  43 }
  44
  45 sh_off_t
  46 sbuck_size(struct sort_bucket *b)
  47 {
  48   if ((b->flags & SBF_OPEN_WRITE) && !(b->flags & SBF_SWAPPED_OUT))
  49     return btell(b->fb);
  50   else
  51     return b->size;
  52 }
  53
  54 int
  55 sbuck_have(struct sort_bucket *b)
  56 {
  57   return b && sbuck_size(b);
  58 }
  59
  60 int
  61 sbuck_has_file(struct sort_bucket *b)
  62 {
  63   return (b->fb || (b->flags & SBF_SWAPPED_OUT));
  64 }
  65
  66 static void
  67 sbuck_swap_in(struct sort_bucket *b)
  68 {
  69   if (b->flags & SBF_SWAPPED_OUT)
  70     {
  71       b->fb = bopen(b->filename, O_RDWR, sorter_stream_bufsize);
  72       if (b->flags & SBF_OPEN_WRITE)
  73         bseek(b->fb, 0, SEEK_END);
  74       bconfig(b->fb, BCONFIG_IS_TEMP_FILE, 1);
  75       b->flags &= ~SBF_SWAPPED_OUT;
  76       SORT_XTRACE("Swapped in %s", b->filename);
  77     }
  78 }
  79
  80 struct fastbuf *
  81 sbuck_read(struct sort_bucket *b)
  82 {
  83   sbuck_swap_in(b);
  84   if (b->flags & SBF_OPEN_READ)
  85     return b->fb;
  86   else if (b->flags & SBF_OPEN_WRITE)
  87     {
  88       b->size = btell(b->fb);
  89       b->flags = (b->flags & ~SBF_OPEN_WRITE) | SBF_OPEN_READ;
  90       brewind(b->fb);
  91       return b->fb;
  92     }
  93   else
  94     ASSERT(0);
  95 }
  96
  97 struct fastbuf *
  98 sbuck_write(struct sort_bucket *b)
  99 {
 100   sbuck_swap_in(b);
 101   if (b->flags & SBF_OPEN_WRITE)
 102     ASSERT(b->fb);
 103   else
 104     {
 105       ASSERT(!(b->flags & (SBF_OPEN_READ | SBF_DESTROYED)));
 106       b->fb = bopen_tmp(sorter_stream_bufsize);
 107       b->flags |= SBF_OPEN_WRITE;
 108       b->filename = mp_strdup(b->ctx->pool, b->fb->name);
 109     }
 110   return b->fb;
 111 }
 112
 113 void
 114 sbuck_swap_out(struct sort_bucket *b)
 115 {
 116   if ((b->flags & (SBF_OPEN_READ | SBF_OPEN_WRITE)) && b->fb)
 117     {
 118       if (b->flags & SBF_OPEN_WRITE)
 119         b->size = btell(b->fb);
 120       bconfig(b->fb, BCONFIG_IS_TEMP_FILE, 0);
 121       bclose(b->fb);
 122       b->fb = NULL;
 123       b->flags |= SBF_SWAPPED_OUT;
 124       SORT_XTRACE("Swapped out %s", b->filename);
 125     }
 126 }
 127
 128 void
 129 sorter_alloc_buf(struct sort_context *ctx)
 130 {
 131   if (ctx->big_buf)
 132     return;
 133   u64 bs = MAX(sorter_bufsize/2, 1);
 134   bs = ALIGN_TO(bs, (u64)CPU_PAGE_SIZE);
 135   ctx->big_buf = big_alloc(2*bs);
 136   ctx->big_buf_size = 2*bs;
 137   ctx->big_buf_half = ((byte*) ctx->big_buf) + bs;
 138   ctx->big_buf_half_size = bs;
 139   SORT_XTRACE("Allocated sorting buffer (%jd bytes)", (uintmax_t) bs);
 140 }
 141
 142 void
 143 sorter_free_buf(struct sort_context *ctx)
 144 {
 145   if (!ctx->big_buf)
 146     return;
 147   big_free(ctx->big_buf, ctx->big_buf_size);
 148   ctx->big_buf = NULL;
 149   SORT_XTRACE("Freed sorting buffer");
 150 }