Linux 文件映射虚拟内存操作

Linux 文件映射虚拟内存操作

目录

1.什么叫文件映射虚拟内存

把硬盘数据搬到内存中去操作的方式被称为文件映射虚拟内存,由于内存访问的特殊性,数据到了内存后可提高访问和操作的速率。

Linux 文件映射虚拟内存操作

2.接口函数介绍

  1. 头文件
 <sys/mman.h>
  1. 函数原型
void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);
int munmap(void* start,size_t length);
  1. 映射条件

mmap()必须以PAGE_SIZE为单位进行映射,而内存也只能以页为单位进行映射,若要映射非PAGE_SIZE整数倍的地址范围,要先进行内存对齐,强行以PAGE_SIZE的倍数大小进行映射。

  1. 参数说明

start:映射区的开始地址,设置为0时表示由系统决定映射区的起始地址。

length:映射区的长度,长度单位是 以字节为单位,不足一内存页按一内存页处理

prot:期望的内存保护标志,不能与文件的打开模式冲突。是以下的某个值,可以通过按位或运算合理地组合在一起

PROT_EXEC //页内容可以被执行

PROT_READ //页内容可以被读取

PROT_WRITE //页可以被写入

PROT_NONE //页不可访问

flags:指定映射对象的类型,映射选项和映射页是否可以共享。它的值可以是一个或者多个以下位的组合体

MAP_FIXED //使用指定的映射起始地址,如果由start和len参数指定的内存区重叠于现存的映射空间,重叠部分将会被丢弃。如果指定的起始地址不可用,操作将会失败。并且起始地址必须落在页的边界上。

MAP_SHARED //与其它所有映射这个对象的进程共享映射空间。对共享区的写入,相当于输出到文件。直到msync()或者munmap()被调用,文件实际上不会被更新。

MAP_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的,只能使用其中一个。

MAP_DENYWRITE //这个标志被忽略。

MAP_EXECUTABLE //同上

MAP_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留,对映射区修改的可能会得到保证。当交换空间不被保留,同时内存不足,对映射区的修改会引起段违例信号。

MAP_LOCKED //锁定映射区的页面,从而防止页面被交换出内存。

MAP_GROWSDOWN //用于堆栈,告诉内核VM系统,映射区可以向下扩展。

MAP_ANONYMOUS //匿名映射,映射区不与任何文件关联。

MAP_ANON //MAP_ANONYMOUS的别称,不再被使用。

MAP_FILE //兼容标志,被忽略。

MAP_32BIT //将映射区放在进程地址空间的低2GB,MAP_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。

MAP_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。

MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义。不执行预读,只为已存在于内存中的页面建立页表入口。

fd:有效的文件描述词。一般是由open()函数返回,其值也可以设置为-1,此时需要指定flags参数中的MAP_ANON,表明进行的是匿名映射。

offset:被映射对象内容的起点。

  1. 返回值说明

成功执行时,mmap()返回被映射区的指针,munmap()返回0。失败时,mmap()返回MAP_FAILED[其值为(void *)-1],munmap返回-1。

errno被设为以下的某个值:
EACCES:访问出错
EAGAIN:文件已被锁定,或者太多的内存已被锁定
EBADF:fd不是有效的文件描述词
EINVAL:一个或者多个参数无效
ENFILE:已达到系统对打开文件的限制
ENODEV:指定文件所在的文件系统不支持内存映射
ENOMEM:内存不足,或者进程已超出最大内存映射数量
EPERM:权能不足,操作不允许
ETXTBSY:已写的方式打开文件,同时指定MAP_DENYWRITE标志
SIGSEGV:试着向只读区写入
SIGBUS:试着访问不属于进程的内存区

3.读写示例代码

  1. 内存映射写文件操作,可以分为如下步骤:
    • 打开/创建文件,得到文件句柄
    • 修改文件大小(如果文件为新建)
    • 创建文件映射
    • 操作文件
    • 关闭文件映射
    • 关闭文件
  2. 示例代码
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <string.h>

struct student
{
	int id;
	char name[20];
	int age;
	double score;
};

int main(int argc, const char *argv[])
{
	int fd;
	int ret = 0;
	// 1.打开文件
	fd = open("maptest.txt",  O_RDWR | O_CREAT, 0644);
	if(-1 == fd) {
		perror("error");
		return -1;
	}
	// 2.修改文件大小
	ret = ftruncate(fd, 3 * sizeof(struct student));
	if(-1 == ret) {
		perror("error");
		return -1;
	}
	// 3.文件映射
	struct student *pstu = (struct student *)mmap(NULL, 
			3 * sizeof(struct student),
			PROT_WRITE | PROT_READ, MAP_SHARED, fd, 0);
	if(MAP_FAILED == (void *)pstu) {
		perror("error");
		return -1;
	}
	// 4.通过内存操作文件
	struct student *p = pstu;
	p->id = 1; strcpy(p->name, "李四"); p->age = 18; p->score = 78.5; p++;
	p->id = 2; strcpy(p->name, "张三"); p->age = 19; p->score = 88.5; p++;
	p->id = 3; strcpy(p->name, "王五"); p->age = 21; p->score = 72.5;
	// 5.关闭映射
	munmap(pstu, 3 * sizeof(struct student));
	// 6.关闭文件
	close(fd);
    
	return 0;
}
  1. 内存映射读文件操作,可以分为如下步骤:
  • 打开/创建文件,得到文件句柄
  • 创建文件映射
  • 操作文件
  • 关闭文件映射
  • 关闭文件
  1. 示例代码
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <string.h>

struct student
{
	int id;
	char name[20];
	int age;
	double score;
};

int main(int argc, const char *argv[])
{
	int fd;
	int ret = 0;
	// 1.打开文件
	fd = open("maptest.txt",  O_RDONLY);
	if(-1 == fd) {
		perror("error");
		return -1;
	}
	// 2.文件映射
	struct student *pstu = (struct student *)mmap(NULL, 
			3 * sizeof(struct student),
			PROT_READ, MAP_SHARED, fd, 0);
	if(MAP_FAILED == (void *)pstu) {
		perror("error");
		return -1;
	}
	// 3.通过内存操作文件
	struct student *p = pstu;
	
	for(int i = 0; i < 3; i++)
	{
		printf("id:%d,name:%s,age:%d,score:%lf\n", 
				p->id, p->name, p->age, p->score);
		p++;
	}
	// 4.关闭映射
	munmap(pstu, 3 * sizeof(struct student));
	// 5.关闭文件
	close(fd);
    
	return 0;
}
上一篇:219. 存在重复元素 II、Leetcode的Go实现


下一篇:Java集合- HashMap 和 HashSet 的区别