]> mj.ucw.cz Git - libucw.git/blobdiff - lib/fastbuf.c
Added a graph-like test case which tests custom presorter and THIS_FB mode.
[libucw.git] / lib / fastbuf.c
index d2e6255e1426af0c1f00989365e85c89b99749d3..980d53aa619ceb0509d64987ef57765dc8f42199 100644 (file)
 /*
- *     Sherlock Library -- Fast File Buffering
+ *     UCW Library -- Fast Buffered I/O
  *
- *     (c) 1997 Martin Mares, <mj@atrey.karlin.mff.cuni.cz>
+ *     (c) 1997--2006 Martin Mares <mj@ucw.cz>
+ *
+ *     This software may be freely distributed and used according to the terms
+ *     of the GNU Lesser General Public License.
  */
 
-#include <stdio.h>
-#include <stdlib.h>
-#include <string.h>
-#include <fcntl.h>
-#include <unistd.h>
-
-#include "lib.h"
-#include "fastbuf.h"
-
-struct fastbuf *__bfdopen(int fd, uns buffer, byte *name)
-{
-  struct fastbuf *b = xmalloc(sizeof(struct fastbuf));
-
-  b->buflen = buffer;
-  b->buffer = xmalloc(buffer);
-  b->bptr = b->bstop = b->buffer;
-  b->bufend = b->buffer + buffer;
-  b->name = stralloc(name);
-  b->pos = b->fdpos = 0;
-  b->fd = fd;
-  return b;
-}
-
-struct fastbuf *
-bopen(byte *name, uns mode, uns buffer)
-{
-  int fd = open(name, mode, 0666);
+#include "lib/lib.h"
+#include "lib/fastbuf.h"
 
-  if (fd < 0)
-    die("Unable to %s file %s: %m",
-       (mode & O_CREAT) ? "create" : "open", name);
-  return __bfdopen(fd, buffer, name);
-}
-
-struct fastbuf *
-bfdopen(int fd, uns buffer)
-{
-  byte x[32];
-
-  sprintf(x, "fd%d", fd);
-  return __bfdopen(fd, buffer, x);
-}
+#include <stdlib.h>
 
 void bclose(struct fastbuf *f)
 {
-  bflush(f);
-  close(f->fd);
-  free(f->name);
-  free(f->buffer);
-  free(f);
-}
-
-static int
-rdbuf(struct fastbuf *f)
-{
-  int l = read(f->fd, f->buffer, f->buflen);
-
-  if (l < 0)
-    die("Error reading %s: %m", f->name);
-  f->bptr = f->buffer;
-  f->bstop = f->buffer + l;
-  f->pos = f->fdpos;
-  f->fdpos += l;
-  return l;
-}
-
-static void
-wrbuf(struct fastbuf *f)
-{
-  int l = f->bptr - f->buffer;
-
-  if (l)
+  if (f)
     {
-      if (write(f->fd, f->buffer, l) != l)
-       die("Error writing %s: %m", f->name);
-      f->bptr = f->buffer;
-      f->fdpos += l;
-      f->pos = f->fdpos;
+      bflush(f);
+      if (f->close)
+       f->close(f);
     }
 }
 
 void bflush(struct fastbuf *f)
 {
-  if (f->bptr != f->buffer)
-    {                                  /* Have something to flush */
-      if (f->bstop > f->buffer)                /* Read data? */
-       {
-         f->bptr = f->bstop = f->buffer;
-         f->pos = f->fdpos;
-       }
-      else                             /* Write data... */
-       wrbuf(f);
-    }
+  if (f->bptr > f->bstop)
+    f->spout(f);
+  else if (f->bstop > f->buffer)
+    f->bptr = f->bstop = f->buffer;
 }
 
-inline void bsetpos(struct fastbuf *f, uns pos)
+inline void bsetpos(struct fastbuf *f, sh_off_t pos)
 {
-  if (pos >= f->pos && (pos <= f->pos + (f->bptr - f->buffer) || pos <= f->pos + (f->bstop - f->buffer)))
-    f->bptr = f->buffer + (pos - f->pos);
+  /* We can optimize seeks only when reading */
+  if (pos >= f->pos - (f->bstop - f->buffer) && pos <= f->pos)
+    f->bptr = f->bstop + (pos - f->pos);
   else
     {
       bflush(f);
-      if (f->fdpos != pos && lseek(f->fd, pos, SEEK_SET) < 0)
-       die("lseek on %s: %m", f->name);
-      f->fdpos = f->pos = pos;
+      f->seek(f, pos, SEEK_SET);
     }
 }
 
-void bseek(struct fastbuf *f, uns pos, int whence)
+void bseek(struct fastbuf *f, sh_off_t pos, int whence)
 {
-  int l;
-
   switch (whence)
     {
     case SEEK_SET:
@@ -124,10 +52,7 @@ void bseek(struct fastbuf *f, uns pos, int whence)
       return bsetpos(f, btell(f) + pos);
     case SEEK_END:
       bflush(f);
-      l = lseek(f->fd, pos, whence);
-      if (l < 0)
-       die("lseek on %s: %m", f->name);
-      f->fdpos = f->pos = l;
+      f->seek(f, pos, SEEK_END);
       break;
     default:
       die("bseek: invalid whence=%d", whence);
@@ -138,7 +63,7 @@ int bgetc_slow(struct fastbuf *f)
 {
   if (f->bptr < f->bstop)
     return *f->bptr++;
-  if (!rdbuf(f))
+  if (!f->refill(f))
     return EOF;
   return *f->bptr++;
 }
@@ -147,80 +72,31 @@ int bpeekc_slow(struct fastbuf *f)
 {
   if (f->bptr < f->bstop)
     return *f->bptr;
-  if (!rdbuf(f))
+  if (!f->refill(f))
     return EOF;
   return *f->bptr;
 }
 
-void bputc_slow(struct fastbuf *f, byte c)
+void bputc_slow(struct fastbuf *f, uns c)
 {
   if (f->bptr >= f->bufend)
-    wrbuf(f);
+    f->spout(f);
   *f->bptr++ = c;
 }
 
-word bgetw_slow(struct fastbuf *f)
-{
-  word w = bgetc_slow(f);
-#ifdef CPU_BIG_ENDIAN
-  return (w << 8) | bgetc_slow(f);
-#else
-  return w | (bgetc_slow(f) << 8);
-#endif
-}
-
-ulg bgetl_slow(struct fastbuf *f)
-{
-  ulg l = bgetc_slow(f);
-#ifdef CPU_BIG_ENDIAN
-  l = (l << 8) | bgetc_slow(f);
-  l = (l << 8) | bgetc_slow(f);
-  return (l << 8) | bgetc_slow(f);
-#else
-  l = (bgetc_slow(f) << 8) | l;
-  l = (bgetc_slow(f) << 16) | l;
-  return (bgetc_slow(f) << 24) | l;
-#endif
-}
-
-void bputw_slow(struct fastbuf *f, word w)
-{
-#ifdef CPU_BIG_ENDIAN
-  bputc_slow(f, w >> 8);
-  bputc_slow(f, w);
-#else
-  bputc_slow(f, w);
-  bputc_slow(f, w >> 8);
-#endif
-}
-
-void bputl_slow(struct fastbuf *f, ulg l)
-{
-#ifdef CPU_BIG_ENDIAN
-  bputc_slow(f, l >> 24);
-  bputc_slow(f, l >> 16);
-  bputc_slow(f, l >> 8);
-  bputc_slow(f, l);
-#else
-  bputc_slow(f, l);
-  bputc_slow(f, l >> 8);
-  bputc_slow(f, l >> 16);
-  bputc_slow(f, l >> 24);
-#endif
-}
-
-void bread_slow(struct fastbuf *f, void *b, uns l)
+uns bread_slow(struct fastbuf *f, void *b, uns l, uns check)
 {
+  uns total = 0;
   while (l)
     {
       uns k = f->bstop - f->bptr;
 
       if (!k)
        {
-         rdbuf(f);
+         f->refill(f);
          k = f->bstop - f->bptr;
          if (!k)
-           die("bread on %s: file exhausted", f->name);
+           break;
        }
       if (k > l)
        k = l;
@@ -228,7 +104,11 @@ void bread_slow(struct fastbuf *f, void *b, uns l)
       f->bptr += k;
       b = (byte *)b + k;
       l -= k;
+      total += k;
     }
+  if (check && total && l)
+    die("breadb: short read");
+  return total;
 }
 
 void bwrite_slow(struct fastbuf *f, void *b, uns l)
@@ -239,7 +119,7 @@ void bwrite_slow(struct fastbuf *f, void *b, uns l)
 
       if (!k)
        {
-         wrbuf(f);
+         f->spout(f);
          k = f->bufend - f->bptr;
        }
       if (k > l)
@@ -251,80 +131,69 @@ void bwrite_slow(struct fastbuf *f, void *b, uns l)
     }
 }
 
-byte *                                 /* Non-standard */
-bgets(struct fastbuf *f, byte *b, uns l)
+void
+bbcopy_slow(struct fastbuf *f, struct fastbuf *t, uns l)
 {
-  byte *e = b + l - 1;
-  int k;
-
-  k = bgetc(f);
-  if (k == EOF)
-    return NULL;
-  while (b < e)
+  while (l)
     {
-      if (k == '\n' || k == EOF)
+      byte *fptr, *tptr;
+      uns favail, tavail, n;
+
+      favail = bdirect_read_prepare(f, &fptr);
+      if (!favail)
        {
-         *b = 0;
-         return b;
+         if (l == ~0U)
+           return;
+         die("bbcopy: source exhausted");
        }
-      *b++ = k;
-      k = bgetc(f);
+      tavail = bdirect_write_prepare(t, &tptr);
+      n = MIN(l, favail);
+      n = MIN(n, tavail);
+      memcpy(tptr, fptr, n);
+      bdirect_read_commit(f, fptr + n);
+      bdirect_write_commit(t, tptr + n);
+      if (l != ~0U)
+       l -= n;
     }
-  die("%s: Line too long", f->name);
 }
 
-void bbcopy(struct fastbuf *f, struct fastbuf *t, uns l)
+int
+bconfig(struct fastbuf *f, uns item, int value)
 {
-  uns rf = f->bstop - f->bptr;
+  return f->config ? f->config(f, item, value) : -1;
+}
 
-  if (!l)
-    return;
-  if (rf)
-    {
-      uns k = (rf <= l) ? rf : l;
-      bwrite(t, f->bptr, k);
-      f->bptr += k;
-      l -= k;
-    }
-  while (l >= t->buflen)
-    {
-      wrbuf(t);
-      if ((uns) read(f->fd, t->buffer, t->buflen) != t->buflen)
-       die("bbcopy: %s exhausted", f->name);
-      f->fdpos += t->buflen;
-      f->bstop = f->bptr = f->buffer;
-      t->bptr = t->bufend;
-      l -= t->buflen;
-    }
-  while (l)
-    {
-      uns k = t->bufend - t->bptr;
+void
+brewind(struct fastbuf *f)
+{
+  bflush(f);
+  bsetpos(f, 0);
+}
 
-      if (!k)
-       {
-         wrbuf(t);
-         k = t->bufend - t->bptr;
-       }
-      if (k > l)
-       k = l;
-      bread(f, t->bptr, k);
-      t->bptr += k;
-      l -= k;
+int
+bskip_slow(struct fastbuf *f, uns len)
+{
+  while (len)
+    {
+      byte *buf;
+      uns l = bdirect_read_prepare(f, &buf);
+      if (!l)
+       return 0;
+      l = MIN(l, len);
+      bdirect_read_commit(f, buf+l);
+      len -= l;
     }
+  return 1;
 }
 
-#ifdef TEST
-
-int main(int argc, char **argv)
+sh_off_t
+bfilesize(struct fastbuf *f)
 {
-  struct fastbuf *f, *t;
-  int c;
-
-  f = bopen("/etc/profile", O_RDONLY, 16);
-  t = bfdopen(1, 13);
-  bbcopy(f, t, 100);
-  bclose(f);
-  bclose(t);
+  if (!f)
+    return 0;
+  sh_off_t pos = btell(f);
+  bseek(f, 0, SEEK_END);
+  sh_off_t len = btell(f);
+  bsetpos(f, pos);
+  return len;
 }
-
-#endif