Linux文件管理：重定向与缓冲区详解

Linux文件管理：重定向与内核、用户级缓冲区。本文详细探讨了Linux操作系统中的文件管理机制，重点介绍了文件描述符表（files_struct）的作用及其在内核中的实现方式。文章通过示例代码展示了文件描述符的使用和重定向操作，深入分析了内核级缓冲区和用户级缓冲区在文件I/O操作中的关键作用。通过对比分析，我们了解到如何通过合理管理这些缓冲区来优化系统性能和资源利用，提升应用程序的执行效率和稳定性。

上一期我们将文件描述符讲完了，这期来讲讲文件管理中的文件描述符表，在task_struct有一个指针是指向文件描述符表的。

我们进入进入文件描述符表：

可以看到当中有很多属性，虽然这些我们都不知道，但是有一个我么是知道的，就是红框框起来的，这个我们是知道的，这个是一个文件的指针数组，这个数组的下标就是文件描述符。 我们来画一个形象的结构。

文件描述符表的结构如图所示，我们将其余属性给屏蔽了，只留下一个指向文件的指针数组，这个file的指针数组，内存存储的是文件的属性，不仅是大小和路径还有很多属性。 有了文件描述符表，进程和文件就可以通过文件描述符表来管理了。 我们先简单写一段代码：

#include#include#include#include#includeint main(){  //打开文件  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);  printf("fd:fileno:%d\n",fd);  close(fd);  return 0;}

这段代码输出的是3，意思就是在数组中的位置就是3，为什么呢？

通过这个示例我们可以画出下面的图：

前三个是运行程序的时候默认打开的三个流，假如我们任意关闭一个会出现什么状况呢，我们打开的新的文件会去占据腾出来的那个空位吗？ 代码：

#include#include#include#include#includeint main(){  close(0);  //打开文件  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);  printf("fd:fileno:%d\n",fd);  printf("stdin:fileno:%d\n",stdin->_fileno);  printf("stdout:fileno:%d\n",stdout->_fileno);  printf("stderr:fileno:%d\n",stderr->_fileno);  close(fd);  return 0;}

我们提前将0对应的输入流给关掉了，可以可以看见结果，我们打开的新的文件去占据了以前的0的位置。

我们试试关闭输出流：

当我们关闭输出流的时候屏幕上是不会打印的，因为我们将输出流给关闭了，所以不会在屏幕上打印，又因为我们打开的文件占据了以前输出流数组下标对应的位置，所以不会打印在屏幕上，会打印在文件中，我们来查看一下：

可以看见文件中也没有，这里先不解释，这里其实存在一个用户级缓冲区，还没刷新到内核缓冲区当中，就将文件关闭了，所以这里不会写入到文件当中。 这里只需要强制刷新一下即可：

#include#include#include#include#includeint main(){  close(1);  //打开文件  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);  printf("fd:fileno:%d\n",fd);  printf("stdin:fileno:%d\n",stdin->_fileno);  printf("stdout:fileno:%d\n",stdout->_fileno);  printf("stderr:fileno:%d\n",stderr->_fileno);  fflush(stdout);  close(fd);  return 0;}

这里可以看到刷新了一下之后就会打印在文件当中。 这里就引入一个概念：重定向

概念：操作系统中的一种机制，用于将程序的输入或输出流从默认位置（通常是终端）改变到其他位置（如文件或设备）。它通过操作文件描述符来实现，在 Linux 和 Unix 系统中非常常见。 用一张图来表示一下文件描述符：

简单来说这就是重定向，原本1是指向标准输出流的，但是将指向改变，将1指向新的文件，这就是重定向。

重定向函数：dup2

这是一个重定向函数，我们只看dup2，

dup2这个函数的作用就是将newfd关闭，然后将oldfd指向的file用newfd指向。 我们写一段简单的代码：

#include#include#include#include#includeint main(){  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);  int newfd = dup2(fd,1);//重定向  if(newfd == -1) perror("dup2");  printf("hello dup\n");  return 0;}

可以看见没有打印到屏幕上，而是写入到了文件中。

我们所用的write和read都不是直接写入到文件当中或者直接写入到外设当中。 在这中间还有一个内核级缓冲区，需要经过内核级缓冲区，最后写入到外设由外设自主决定，这里画一个简图来描述一下write的过程：

当我们调用write的时候，其实是将字符串拷贝到内核级缓冲区，然后由内核自主决定是否刷新到外设当中。

read的过程：

调用read的时候其实也是先从磁盘中读入到内核级缓冲区当中，最后拷贝到文件当中。 下面是Linux原码：

用户级缓冲区：应用程序在用户空间中为存储和操作数据而分配的内存区域。与内核级缓冲区不同，用户级缓冲区完全由用户程序控制，内核不会直接干预这些缓冲区的管理。用户级缓冲区通常用于提高应用程序的性能，避免每次 I/O 操作时都直接与操作系统或外设进行交互，从而降低性能损耗。 回到之前的问题：

#include#include#include#include#includeint main(){  close(1);  //打开文件  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);  printf("fd:fileno:%d\n",fd);  printf("stdin:fileno:%d\n",stdin->_fileno);  printf("stdout:fileno:%d\n",stdout->_fileno);  printf("stderr:fileno:%d\n",stderr->_fileno);  fflush(stdout);  close(fd);  return 0;}

会什么这里没有fflush就不会刷新到文件当中呢？ 这里如果没有close是会打印的，或者将close换乘fclose也会刷新到文件当中。原因是因为：如果我们直接close，printf所打印的内讧还在用户级缓冲区当中，还没有刷新到文件当中，原本应该打印到屏幕上，但是1关闭了，所以重定向到文件当中，但是屏幕的刷新方式是按行刷新，也就是按照\n刷新，但是这里重定向之后就是按照文件的刷新方式来进行，也就是全刷新，等文件满了才刷新，但是这里没满所以不会刷新，所以直接close时，还没有刷新到文件当中，但是如果不close，程序退出前会自动刷新。 为什么会存在用户级缓冲区呢？

从用户级缓冲区强制刷新到内核级缓冲区叫fflush，从内核级缓冲区强制刷新到外设当中叫fsync fsync：

通过本文对文件管理及其内核级与用户级缓冲区的详细探讨，我们对操作系统中文件管理的机制有了更深刻的理解。首先，我们了解了 files_struct 的作用及其如何在内核中管理文件描述符的详细实现，掌握了文件的重定向以及文件描述符的相关操作。其次，通过对内核级缓冲区与用户级缓冲区的对比分析，我们认识到这两者在性能优化和内存管理中的关键作用，特别是在提升 I/O 性能和减少系统调用开销方面的重要性。

文件管理作为操作系统中非常核心的部分，不仅直接影响着系统资源的利用效率，也对程序的执行性能和稳定性起着至关重要的作用。通过合理管理内核级缓冲区和用户级缓冲区，操作系统能够有效地平衡性能和资源消耗，在确保数据准确性的同时提升系统的响应速度和吞吐量。

总之，深入理解操作系统中的文件管理机制，能够帮助我们更好地设计和优化应用程序，提升系统的整体效率。未来，随着操作系统的不断发展和优化，文件管理机制将会面临更多新的挑战和机遇，我们也将继续探索和学习，以应对新的技术发展。

今天关于《Linux文件管理：重定向与缓冲区详解》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！