OK6410A 开发板 (八) 34 linux-5.11 OK6410A 内存管理第二阶段

B __turn_mmu_on符号 - setup_arch->paging_init->bootmem_init->memblock_allow_resize返回

----此时memblock初始化完成,开启了基于虚拟内时代的 memblock内存管理器时代

流程

__turn_mmu_on

mcr p15, 0, r0, c1, c0, 0       @ write control reg // 内存管理相关1

// 上句执行之后,mmu开启

ret r3 // 调用到 __mmap_switched

__mmap_switched

adr r4, __mmap_switched_data // 内存管理相关2

...

ldmia   r4!, {r0, r1, sp}

...

bl  __memset // 内存管理相关3

ldmia   r4, {r0, r1, r2, r3}

...

b   start_kernel // 内存管理相关4

start_kernel->setup_arch

setup_processor // 内存管理相关5

setup_machine_tags

// 根据 board id 匹配 mdesc

// parse 所有的 atags

// 对于 MEM, 调用 parse_tag_mem32 初始化 memblock.memory.regions // 内存管理相关6

early_fixmap_init

// 建立了一个映射的框架，具体的物理地址和虚拟地址的映射没有去填充 // 内存管理相关7

early_ioremap_init // 内存管理相关8

// 为 parse_early_param 做准备

// 建立 slot_vir

// 没有消费者

// 在 OK6410a-linux-5.11 中 没有 early_ioremap_init

parse_early_param

// parse ...

// earlycon

// 没有利用 early_ioremap_init 创建的 slot_vir

// 在 early_fixmap_init 创建的框架中 填充映射

early_mm_init // 内存管理相关9

// [10:14:27]Memory policy: Data cache writeback

setup_dma_zone // 内存管理相关10

adjust_lowmem_bounds // 内存管理相关11

// 调整 memblock.current_limit 的值

arm_memblock_init // 内存管理相关12

// 初始化 memblock.reserved.regions

adjust_lowmem_bounds // 内存管理相关13

// 调整 memblock.current_limit 的值

early_ioremap_reset // 内存管理相关14

early_ioremap_shutdown

after_paging_init = 1;

paging_init

prepare_page_table // 内存管理相关15

// 在 页表地址 处 写入 0

map_lowmem // 内存管理相关16

// 映射3组

memblock_set_current_limit // 内存管理相关17

dma_contiguous_remap // 内存管理相关18

early_fixmap_shutdown // 内存管理相关19

pmd_clear(fixmap_pmd(va));

devicemaps_init // 内存管理相关20

// 映射 14组

kmap_init // 内存管理相关21

tcm_init // 内存管理相关22

// 映射 2组

top_pmd = pmd_off_k(0xffff0000);

zero_page = early_alloc(PAGE_SIZE); // 内存管理相关23

// 第一次使用 memblock 内存管理器的 内存申请API

bootmem_init

memblock_allow_resize // 内存管理相关24

// 到此为止,还没出现 struct page.

memblock 时代 物理内存和虚拟内存是怎么管控的

1. 页表(物理地址到虚拟地址的映射)

// 对应下面的 early map 类 和 map 类

2. 按区域 注册物理内存到 memblock 内存管理器中的 memblock 变量

// 对应下面的 memblock 类

buddy 时代 物理内存和虚拟内存是怎么管控的

1. 页表(物理地址到虚拟地址的映射)

2. 按物理页 注册物理内存到 buddy 内存管理器中的 struct page

memblock 切换 到 buddy , 只需要做

1. 不需要做页表的映射(因为memblock时代,已经做完了,buddy直接用就行了)

2. 将 注册到memblock内存管理器memblock变量中 的 物理页 注册到 buddy内存管理器中的struct page

内存管理相关1

__turn_mmu_on 写 cp15 寄存器

write control reg

// 开MMU

// 此语句一开始执行,就代表MMU开启了

// 下一句就是 MMU开启后的访问内存流程

内存管理相关2

ldmia   r4!, {r0, r1, sp}

将 __bss_start 放入 r0 , 该符号为连接符号,在 System.map 查到地址

将 __bss_stop  放入 r1

为 .bss 段 清0 做准备

将 init_thread_union + THREAD_START_SP 放入 sp

设置 栈(.stack)

内存管理相关3

bl  __memset

清0 .bss 段

内存管理相关4

这里 与 内存管理无关

只是 解释 一下 在这个 命令运行的时候, 内存 的布局

看的出来,所有的 内存布局 都在 Image二进制文件 里面

.code 是 Image 里面的 _stext -  _etext

.rodata 是 Image 里面的 __start_rodata -  __end_rodata

.data 是 Image 里面的 _sdata -  _edata

.bss 是 Image 里面的 __bss_start -  __bss_stop

.stack  是 Image 里面的 init_task + 8K - 8 的位置

// arch/arm/include/asm/thread_info.h

// https://www.zhihu.com/question/24811279

Image 虚拟地址 : 0xC0008000 - 0xC088E547 8.6MB

_stext _etext

.code : c0100000 - c0600000

__start_rodata __end_rodata

.rodata : c0600000 - c06b6000

_sdata _edata

.data c0800000 - c088e548

__bss_start __bss_stop

.bss : c088e548 - c08c413c

init_thread_union init_thread_union + THREAD_START_SP

.stack : C0800000 - C0801FF8

.heap : null

内存管理相关5

[10:14:27]CPU: ARMv6-compatible processor [410fb766] revision 6 (ARMv7), cr=00c5387d

[10:14:27]CPU: PIPT / VIPT nonaliasing data cache, VIPT nonaliasing instruction cache

setup_processor

struct proc_info_list *list = lookup_processor(midr); // __v6_proc_info

cpu_cache = *list->cache; // v6_cache_fns

之后的 内存管理相关分类

memblock 类

setup_machine_tags

parse_tag_mem32 

adjust_lowmem_bounds

arm_memblock_init

memblock_allow_resize

zero_page = early_alloc(PAGE_SIZE);

early map 类 (为 parse_early_param 做准备的映射)

early_fixmap_init

// 查看提交记录 a5f4c561b3b19a9bc43a81da6382b0098ebbc1fb

early_ioremap_init

parse_early_param

early_ioremap_reset

early_fixmap_shutdown

// 查看 提交记录 a5f4c561b3b19a9bc43a81da6382b0098ebbc1fb

map 类(为 linux 运行时 做准备的映射) // 做页表初始化 , 不是 做page初始化

early_mm_init

prepare_page_table

map_lowmem

dma_contiguous_remap

devicemaps_init

kmap_init

tcm_init

memblock 类

填充 memblock 全局变量  的各个成员

memblock_add 填充 memblock.memory

memblock_reserve 填充 memblock.reserved

setup_machine_tags

parse_tag_mem32 调用 memblock_add 填充 memblock.memory

adjust_lowmem_bounds

调整 memblock.current_limit 的值

根据 什么调整  TODO 

arm_memblock_init

调用 memblock_reserve 填充 memblock.reserved

填充完毕, memblock.reserved 中有

1. kernel

2. 页表(50004000-50008000)

3. dma/cma 等

memblock_allow_resize

memblock_can_resize = 1;

// 

zero_page = early_alloc(PAGE_SIZE);

第一次使用 memblock 内存管理器的 内存申请API

early map 类

内存管理相关7 early_fixmap_init

early_fixmap_init 

pmd = fixmap_pmd(FIXADDR_TOP); 

// FIXADDR_TOP : FFEF F000

// pmd : c0007ff8

pmd_populate_kernel(&init_mm, pmd, bm_pte);

// 以 pmd    变量的值 为 addr

// 以 bm_pte  变量的值 为 value

// 在 addr 处 写入 value

// 其实写了 两个 pmd

// 一个是  addr : c0007ff8 , value : 50728811

// 一个是  addr : c0007ffc , value : 50728c11

pte_offset_fixmap = pte_offset_early_fixmap;

// &bm_pte[pte_index(addr)];

early_fixmap_init  的过程是建立 一级页表

// 这样子 二级页表的位置是确定的,在 bm_pte 地址开始的 1024字节,256项

// 消费者 通过 填充二级页表来做映射

// 二级页表的内容根据 做的映射关系而变化

// 1.二级页表的地址(pte)是固定的,从 c072 8000 - c072 9ffc

// 2.映射关系中有一个是固定的,那就是 虚拟地址(在 0xffeff000范围附近) , 虚拟地址通过 __fix_to_virt 获得

// 3.消费者必须在 enum fixed_addresses 结构体中.  

// 4.消费者同用 同一个 一级页表 (add : c0007ff8)

// 5.此时的消费者创建的映射关系是临时性的,消费者创建的映射关系会被销毁掉

// 6.对应 enum fixed_addresses 结构体 中的 temporary

c0700000 T __init_begin

c0728000 t bm_pte // 1024 字节

c0729000 T v6_cache_fns

c0800000 D __init_end

 345 static pte_t bm_pte[PTRS_PER_PTE + PTE_HWTABLE_PTRS]                             

 346     __aligned(PTE_HWTABLE_OFF + PTE_HWTABLE_SIZE) __initdata;

// PTRS_PER_PTE  : 512

// PTE_HWTABLE_PTRS : 512

内存管理相关9 parse_early_param

early_param("earlycon", param_setup_earlycon);

param_setup_earlycon

setup_earlycon

register_earlycon

// mapbase:7f005000

port->membase = earlycon_map(port->mapbase, 64); // membase:ffeff000

set_fixmap_io(FIX_EARLYCON_MEM_BASE, paddr & PAGE_MASK); 

__set_fixmap

pte_t *pte = pte_offset_fixmap(pmd_off_k(vaddr), vaddr);

set_pte_at(NULL, vaddr, pte, pfn_pte(phys >> PAGE_SHIFT, prot));

base = (void __iomem *)__fix_to_virt(FIX_EARLYCON_MEM_BASE);

base += paddr & ~PAGE_MASK;

// addr of pte: c07283fc

// value of pte: 7f005653 

内存管理相关19 early_fixmap_shutdown

early_fixmap_shutdown

unsigned long va = fix_to_virt(__end_of_permanent_fixed_addresses - 1); // va = ffeff000

pmd_clear(fixmap_pmd(va)); 

// 将 一级页表 c0007ff8 和 c0007ffc 中的内容清空

// 之前通过 一级页表 访问的 二级页表 不能访问了

// 即之前通过 early_fixmap 建立的 映射(例如earlycon中 uart 的映射),不能用了

// 如果 0 - __end_of_permanent_fixed_addresses(消费者) 还有映射关系在建立(*pte不为0)

// map.pfn:7f005,map.virtual:ffeff000,map.length:1000,map.type:0

// 标识了 物理地址 7f005 000 - 7f005 000 +1000

// 这次如果 不会成真

// early_fixmap_shutdown 返回之后,devicemaps_init 会 填充一个page

// map.pfn:7f005,map.virtual:f7005000,map.length:1000,map.type:0

// 标识了 物理地址 7f005 000 - 7f005 000 +1000

map 类

其实是调用 create_mapping 在 0x50004000 - 0x50008000 写入了 pgd 和 pte

create_mapping 的参数 md 的类型 struct map_desc  中的成员

virtual : 虚拟地址

pfn : 物理地址 去掉 低12位

length  : 长度

type : 映射类型(该值被写入页表描述符/页目录表描述符)

以下面的例子为例

md->virtual:c0000000

md->pfn:50000

md->length:100000

md->type:a

此次创建的映射 为 

虚拟地址 c0000000 - c0000000+100000

物理地址 50000000 - 50000000+100000

此次映射的pte 范围在 0xc0004000-0xc000741f

page table entry : 页表的地址

early_mm_init

pte 中的 值叫做 页表描述符

页表描述符 

由 物理地址 7f005xxx 中的 7f005

和

其他控制位 ,例如 653

构成

构成为:7f005653

而这些控制位,是 根据 不同的控制需求 设置的, 这些控制位的组合 在 linux 看来,有17种 

// 定义在 arch/arm/include/asm/mach/map.h 和 arch/arm/include/asm/io.h 中

// 由 MT_ 开头

// 初始化 后 放在 全局变量 mem_types 中

而 early_mm_init 就是 初始化 mem_types  的过程

prepare_page_table

清0 0xc0004000-0xc000741f

之后 做映射关系的话,pte 就从 这个范围 取

map_lowmem

建立 物理地址 50000 000 - 50100 000 到 虚拟地址 c0000 000 - c0100 000

建立 物理地址 50100 000 - 50800 000 到 虚拟地址 c0100 000 - c0800 000

建立 物理地址 50800 000 - 60000 000 到 虚拟地址 c0800 000 - d0000 000

dma_contiguous_remap

null

因为 dma_mmu_remap_num 等于 0 , 所以什么都不做

devicemaps_init

建立 物理地址 50000 000 - 50200 000 到 虚拟地址 ff800 000 - ffa00 000

建立 物理地址 5fffe 000 - 5ffff 000 到 虚拟地址 ffff0 000 - ffff1 000

建立 物理地址 5ffff 000 - 60000 000 到 虚拟地址 ffff1 000 - ffff2 000

以下建立了 11 个 设备物理地址的映射 

// map.pfn:7e00f,map.virtual:f6100000,map.length:1000,map.type:0 // S3C64XX_PA_SYSCON

// map.pfn:70000,map.virtual:f6200000,map.length:1000,map.type:0 // S3C64XX_PA_SROM

// map.pfn:7f005,map.virtual:f7005000,map.length:1000,map.type:0 // S3C_PA_UART

// map.pfn:71200,map.virtual:f6000000,map.length:4000,map.type:0 // S3C64XX_PA_VIC0

// map.pfn:71300,map.virtual:f6010000,map.length:4000,map.type:0 // S3C64XX_PA_VIC1

// map.pfn:7f006,map.virtual:f6300000,map.length:4000,map.type:0 // S3C_PA_TIMER

// map.pfn:7f008,map.virtual:f6500000,map.length:1000,map.type:0 // S3C64XX_PA_GPIO

// map.pfn:74108,map.virtual:f6600000,map.length:1000,map.type:0 // S3C64XX_PA_MODEM

// map.pfn:7e004,map.virtual:f6400000,map.length:1000,map.type:0 // S3C64XX_PA_WATCHDOG

// map.pfn:7c100,map.virtual:f6700000,map.length:0400,map.type:0 // S3C64XX_PA_USB_HSPHY

// map.pfn:77100,map.virtual:f7100000,map.length:4000,map.type:0 // S3C_PA_FB

kmap_init

做 fixmap 映射

early_pte_alloc(pmd_off_k(FIXADDR_START), FIXADDR_START, _PAGE_KERNEL_TABLE); // c0007ff0 , ffc80000 , 0x11

arm_pte_alloc(pmd, addr, prot, early_alloc); // c0007ff0,ffc80000,0x11

if (pmd_none(*pmd)){ // c0007ff0 为空

pte_t *pte = alloc(PTE_HWTABLE_OFF + PTE_HWTABLE_SIZE);

// 申请了 pte , 其实地址在 cfff7000

// 大小为 1024 * sizeof(pte)