我们从2011年坚守至今,只想做存粹的技术论坛。  由于网站在外面,点击附件后要很长世间才弹出下载,请耐心等待,勿重复点击不要用Edge和IE浏览器下载,否则提示不安全下载不了

 找回密码
 立即注册
搜索
查看: 1304|回复: 5

[移动软件开发] 基于嵌入式Linux系统实现YAFFS2文件系统存储方案的设计

[复制链接]
  • TA的每日心情

    2024-10-6 20:55
  • 签到天数: 1 天

    [LV.1]初来乍到

    479

    主题

    247

    回帖

    1392

    积分

    二级逆天

    积分
    1392

    终身成就奖特殊贡献奖

    发表于 2020-9-29 09:12:34 | 显示全部楼层 |阅读模式

    马上注册,结交更多好友,享用更多功能,让你轻松玩转社区

    您需要 登录 才可以下载或查看,没有账号?立即注册

    ×
    [paragraph]随着嵌入式技术的不断发展,嵌入式系统的应用越来越广泛,人们对于嵌入式系统功能的要求也越来越高,相应地其大容量数据存储和管理变得越来越重要。相对硬盘而言,FLASH等非易失性存储器具有体积小、功耗低、成本低、抗震强等优点,已在嵌入式系统中被大量作为存储设备使用,而大容量非易失数据存储方案的应用还存在成本和软件支持方面的问题需要克服。大页NAND FLASH具有写入速度快、容量大、成本低等优点,适合于需要进行数据存储的场合。YAFFS2作为专门支持大页NAND FLASH的文件系统在U-Boot和嵌入式Linux上一直没有得到正式支持。本文结合部队应用实际,在嵌入式Linux系统中实现了大页NAND FLASH和YAFFS2文件系统的结合,为装备的数据存储处理搭建起了小型的智能化平台。本文内容安排如下,首先介绍系统存储方案特点和YAFFS2数据在大页NAND FLASH上的储存方式,然后详细叙述系统移植和文件系统制作过程,最后对移植结果进行测试
    1 系统存储方案设计

    某国产化设备用于取代随装多台套设备,除完成原设备的数据记录功能外,还需进行数据翻译、判读,数据分析处理,二维显示和三维动态复现等功能;同时,需存储装备长时间工作输出的所有原始数据信息,类似黑匣子功能,以供事后分析使用。具有程序量大,数据需实时存储,且数据存储量大的特点。板上存储设备包括SDRAM和FLASH,SDRAM为易失性存储器,作为程序的运行空间和记录数据的缓存空间;FLASH为非易失性存储器,用于存储系统软件程序和记录数据。
    嵌入式系统中应用的FLASH主要有NORFLASH和NAND FLASH两种。NOR FLASH的块大小范围为64~128 KB,其容量一般为l~32 MB,可作为嵌入式设备的启动设备,适合于代码存储。NAND FLASH的块大小范围为8~64 KB,容量一般为8~512 MB,适合于数据存储。它们之间的主要差别有以下几点。
    (1)速度。在写数据和擦除数据时,NANDFLASH支持整块擦写操作,其速度比NOR FLASH要快得多,两者相差近千倍;读取时,NAND FLASH要先向芯片发送地址信息进行寻址才能开始读写数据,而NOR FLASH的操作则是以字或字节为单位进行的,直接读取,所以读取数据时,NOR FLASH效率更高。
    (2)容量和成本。NOR FLASH的每个存储单元与位线相连,增加了芯片内位线的数量,不利于存储密度的提高。在面积和工艺相同的情况下,NANDFLASH的容量比NOR FLASH要大得多,生产成本更低。
    (3)易用性。NAND FLASH的I/O端口采用复用的数据线和地址线,必须先通过寄存器串行地进行数据存取,各个产品或厂商对信号的定义不同,增加了应用的难度;NOR FLASH有专用的地址引脚来寻址,较容易与其他芯片进行连接,另外还支持片上执行XIP(eXecute In Place),应用程序可以直接在FLASH内部运行,简化了产品设计。
    (4)可靠性。由于FLASH的电器特性,在读/写数据过程中,会产生比特位反转,造成一位或几位数据错误。NAND FLASH位反转的几率比NOR FLASH高,在使用时需要使用EDC/ECC算法。NANDFLASH还可能会随机分布坏块。
    (5)耐久性。FLASH由于写入和擦除数据时会导致介质的氧化降解,导致芯片老化,所以并不适合频繁地擦写,NAND FLASH的擦写次数是100万次,而NOR FLASH只有10万次。
    基于以上分析,为了满足经常性的进行实时快速大容量数据存储和较长使用寿命的要求,采用NANDFLASH来存储操作系统和数据,其复杂操作、比特位反转和坏块等问题可以通过文件系统解决。NORFLASH因为出现位反转和坏块的几率小,并且读取速度快,用来存储启动程序,能保证正常启动系统的前提下提高设备反应时间。整个系统的存储空间分配如图1所示。
    整个系统存储空间由SDRAM,NOR FLASH,NAND FLASH组成。其中,sDRAM分成程序空间(Prog Space)和数据空间(Data Space)。NORFLASH存储系统启动程序U-Boot;NAND FLAsH分成程序空间(Prog Space)和数据空间(Data Space),程序空间中固化存储Linux操作系统和YAFFS2文件系统及相应的应用程序,在U-Boot的控制下,通过页传输方式读入SDRAM程序空间中;数据空间中存储来自前端的原始数据,该数据在SDR-AM中打包,以页方式将数据写入NAND FLASH中,提高数据写入速度。
    对小页NAND FLASH的文件系统支持已有比较多的编程实例可借鉴,而对本文使用的大页NANDFLASH的编程支持还没有完整的说明。因此,移植嵌入式操作系统,以建立对大页NAND FLASH支持的文件系统是该存储方案需解决的关键问题。
    2 YAFFS/YAFFS2文件系统分析
    目前广泛应用的嵌入式文件系统有JFFS/JFFS2(JournaIling FLASH File Systern) 和 YAFFS/YAFFS2(Yet Another FLASH File Syst-em)。JFFS/JFFS2文件系统主要针对NOR FLASH设计,在NAND FLASH上性能不佳。YAFFS/YAFFS2文件系统是专门针对NAND FLASH设计,其具有可写入、修改并能永久保存文件的特性,并提供了损耗平衡和掉电保护。与JFFS相比,它减少了一些功能,因此速度更快、占用内存更少。此外YAFFS自带NANDFLASH芯片驱动,并为嵌入式系统提供了直接访问文件系统的API,用户可以不使用Linux中的MTD和VFS,直接对文件进行操作。
    YAFFS文件系统已发展为两个版本,YAFFS和YAFFS2。YAFFS版本只支持512 B的小页NANDFLASH。而YAFFS2作为YAFFS的升级版,在向下兼容小页NAND FLASH的同时也能够更好地支持2 KB的大页NAND FLASH。YAFFS2的性能与YAFFS相比有很大提高,表1为YAFFS,YAFFS2(512 B×8),YAFFS2(2 KB×8)三者性能比较,从测试结果可以看出,YAFFS2和2 KB大页NANDFLASH的结合更好地提高了存储器操作效率。
    YAFFS2文件系统在设计时就充分考虑了大页NAND FLASH的结构,根据大页NAND FLASH以页面为单位存取的特点,将文件组织成固定大小的页,利用大页NAND FLASH提供的每个页面(2 112 B,其中前2 048 B存储数据)64 B的备用空间(SpareData,OOB)来存放ECC和文件系统的组织信息,这样不仅能够实现错误检测和坏块处理,还能够提高文件系统的加载速度。以三星公司的K9F1G08UOA的NANDFLASH为例,它的单片存储容量为128 MB,由1 024 block组成,每个块包含64 page,每个页均包含一个2 048 B的数据区和64 B的备用空间,总共包含2 112 B。结构如图2所示。
    表2说明了YAFFS2文件系统数据在NANDFLASH的备用空间内的存储布局。
    blockState:描述该块的状态。如果不是OxFF,就说明是坏块。相对应的是,所有正常的块,里面所有数据都是OxFF的。
    chunkld:描述该页在一个文件内的索引,所以文件大小被限制在232×2 KB。chunkld为O,说明此页面保存的是文件头。不为O,说明是数据页面。文件内偏移量为0,即放在第一个页面的文件,其chunkId为1,后面的以此类推。
    ObjectID:描述对象ID号,用来惟一标示一个文件。所以YAFFS2文件系统支持的文件总数限制在232个。
    nBytes:记录该页面内的有效字节数。
    blockSequence:记录着各块被分配出去的先后顺序,每分配出去一块,就加1。在YAFFS2文件系统建立的时候,块的扫描顺序就是由它决定的,而不是FLASH的物理介质顺序。在垃圾收集的时候也会以此作为参考之一,判断该块是否适合回收。
    tagsEcc:Ecc,YAFFS Tags区域的ECC校验数据。
    ECC:数据区的ECC校验数据。读/写数据区的数据时,每256 B生成3 B ECC校验和,一页面2 KB数据就会生成24 B的校验数据。
    3 系统移植
    此次开发采用宿主机+目标系统的开发模式。宿主机为PC+Fedora9,Fedora9安装在PC的虚拟机内。目标系统软硬件组成为目标板(CPU为S3C2440A)+U-Boot+嵌入式Linux,Linux版本为2.6.29.4。交叉编译工具为arm-linux-gcc-4.3.2。
    选用嵌入式Linux系统是因为它有着技术上先进,健壮、安全;是多任务系统,支持ARM体系结构;源码开放,驱动程序及其他资源非常丰富,良好的可移植性等优点。嵌入式系统的移植从软件角度可以分为以下四个步骤。如图3所示。
    (1)引导加载程序的移植,包括固化在固件(Fireware)中的boot代码和Bootloader两大部分。大多数嵌入式系统中并没有固件,Bootlo-ader是上电后执行的第一个程序。它主要用来初始化处理器及外设,然后调用Linux内核。
    (2)嵌入式Linux内核移植。特定于嵌入式处理系统的定制内核以及内核的启动参数。内核的启动参数可以是内核默认的,或是由Bootlo-ader传递给它的。
    (3)文件系统制作。包括根文件系统和建立于FLASH内存设备之上的文件系统。里面包含了Linux系统配置文件和运行应用软件所需要的库等。
    (4)用户应用程序编写。特定于用户的应用程序,它所实现的功能通常就是设计该嵌入式系统所要达到的目标,它们也存储在文件系统内。
    3.1 Bootloader移植
    对于支持ARM架构的Bootloader有U-Boot,Vivi等。U-Boot(Universal Boot Loader)即通用Bootloader,是遵循GPL条款的开放源代码项目。它可以引导Linux,VxWorks,LynxOS等多种操作系统。支持PowerPC,x86,ARM等多种架构的CPU,具有丰富的设备驱动源码,如串口、以太网、SDRAM,FLASH等。系统采用U-Boot的版本为1.1.6,它已支持SMDK2410开发板,在其基础上进行修改。U-Boot 1.1.6中对NAND FLASH的支持有新旧两套代码,新代码在drivers/nand目录下,旧代码在driver/nand_legacy目录下。本次移植选用新代码,它移植自Lin-ux2.6.12,更加智能。移植过程分以下几步。
    (1)根据具体输入时钟,修改时钟定义参数。SMDK2410开发板的默认时钟为12 MHz。
    (2)依照实际开发板的内存地址分配情况修改lowlevel init.S文件。
    (3)针对S3C2410,S3C2440 NAND FLASH控制器的不同,修改接口参数。
    (4)仿照内核支持NAND FLASH的文件来编写片选函数。命令和控制函数,查询状态函数。
    (5)根据具体NAND FLASH芯片设置时序参数。
    (6)增加从NAND FLASH烧写,读取YAFFS2文件系统映像功能。
    (7)修改Makefile文件,将新建文件编入U-Boot中。
    在编写烧写YAFFS2文件系统映像的命令时,要注意YAFFS2文件系统映像里除了2 KB的数据外,后面还包括了64 B的OOB数据,所以映像文件大小是以2 112 B为单位。OOB中已经包含了ECC,在烧写时不需要再计算ECC校验码。烧写时,首先检查是否为坏块,是就跳过,然后写入2 KB的数据,最后写入64 B的OOB数据。还要增加对skipfirstblk参数的支持。使烧写YAFFS2文件系统映像时,跳过分区上第一个块,这是由YAFFS2文件系统特性决定的。
    由于不使用ECC校验码,烧写过程中会不断提示以下信息:
    Writing data without ECC to NAND-FLASH is not reeom-mended
    可以修改driver/mtd/nand/nand base.C文件的nand_write_page函数,将输出这条信息的命令去掉。
    最后执行make XX_config和make all命令,生成的U-Boot.bin文件即可以运行与目标板上了。将它烧入NOR FLASH后启动,在串口工具中能够看到提示信息。输入nand info命令即可查看到NAND FLASH的信息,说明U-Boot识别出了NAND FLASH。
    3.2 嵌入式Linux内核移植
    目前Linux内核还没有正式支持YAFFS文件系统,所以需要通过补丁修改Linux内核,另外YAFFS文件系统也需要MTD设备驱动的支持。首先下载最新版本的2.6内核,这里以linux-2.6.29.4为例。尽管Linux 2.6并不是一个真正的实时操作系统,但其改进的特性能够满足系统响应需求。再下载YAFFS代码包。内有YAFFS和YAFFS 2两个文件夹。其中YAFFS已经不再维护,进入YAFFS2。文件夹内有patch-ker.sh补丁文件,使用以下命令将YAFFS2加入到Linux内核。

    以上命令完成了三件事情:
    (1)修改内核fs/Kconfig。增加一行:source”fs/YAFFS2/Kconfig”。
    (2)修改内核fs/Kconfig。增加一行:ojb-MYM(CONFIG_YAFFS_FS)+=YAFFS2/。
    (3)在内核fs/目录下创建YAFFS2目录;将YAFFS2源码目录下面的Makefile.kernel文件复制为内核fs/YAFFS2/Makefie;将YAFFS2源码目录的Kconfig文件复制到内核fs/YAFFS2目录下;将YAFFS2源码目录下的*.C*.h文件复制到内核fs/YAFFS2目录下。
    进入内核目录,修改makefile,并对内核进行默认配置进行修改,使其支持本开发板。
    结合U-Boot信息修改NAND FLASH分区,使其两者结构大小保持一致。注意分区的大小要以128 kB为单位。
    根据具体NAND FLASH芯片特性,修改tacls,twrph0,twrphl的值。
    修改arch/arm/tools/math-types文件,使其Linux内核的机器号与Bootloader传递来的参数一致。建立好交叉编译环境,在环境变量PATH中添加交叉编译工具路径。或者直接在makefile文件内添加修改也可以。使用make s3c2410_defconfig命令,将2410的默认配置文件写到当前目录下的.config。使用make me-nuconfig命令配置内核模块的功能,要选中MTD和YAFFS2支持。在Boot options选项中增加以下语句。

    使用make zImage命令,生成是zlmage映像文件。再用mkimage工具制作ulmage,uImage是U-Boot专用的映像文件,它在zImage之前加上一个长度为0x40的“头”,说明这个映像文件的类型、加载位置、生成时间、大小等信息。
    3.3 制作文件系统
    嵌入式Linux系统都需要构建根文件系统,构建根文件系统的规则在文件系统层次标准(Filesystem Hi-erarchy Standard,FHS)文档中。首先建立根文件系统目录和动态链接库,然后使用Busybox工具可以生成根文件系统所需的bin,sbin,usr目录和linuxrc文件。Bosybox是一个遵循GPL v2协议的开源项目,它在编写过程总对文件大小进行优化,并考虑了系统资源有限(比如内存等)的情况,为嵌入式系统提供了一个比较完整的工具集。
    YAFFS2源代码包内除了本身文件系统代码外,utils 目 录下还包含了 mkYAFFSimage/mkYAFFS2image的代码,修改Makefile里的内核路径编译出mkYAFFSimage/mkYAFFS2image工具。其中mkYAFFSimage用于制作512 B的小页YAFFS文件系统,mkYAFFS2image用于制作2 KB以上的大页YAFFS2文件系统。输入以下格式命令,制作出支持大页的YAFFS2文件系统映像。
    mkYAFFS2image MYM{PRJROOT}rootfs rootfs.YAFFS
    通过mkYAFFS2image制做出来的映像文件其OOB中包含的ECC是使用YAFFS2/YAFFS ecc.c文件中的YAFFS ECCCaimJlate函数计算出来的
    ECC校验码,其校验算法和nand ecc.c文件内的nand_calculate_ecc函数校验算法不同,如果在内核中由MTD来处理ECC,当读取NAND FLASH中的数据时,会通过nand_calculate_ecc函数的算法再生成一个新的ECC校验和,校验的时候,将从OOB区中读出的原ECC校验和新ECC校验和按位异或,其错误的结果会造成系统认为所有的页面都是错误的。解决办法有两种,一是在内核编译时把Lets YAFFS do itsown ECC选上,同时修改内核把MTD驱动中的ECC校验关闭;二是修改mkYAFFS2image.c文件,使其制作image时使用nand_caleulate_ecc函数的校验算法,在内核编译时不要把Lets YAFFS do its own ECC选上,同时打开MTD驱动中的ECC校验。
    3.4 系统测试
    启动系统后,Bootloader首先运行,然后它将内核复制到内存中,并且在内存某个固定的地址设置好要传递给内核的参数,最后运行内核。内核启动之后,它会将文件系统挂载为根文件系统,接着启动文件系统中的应用程序。启动途中会显示如下信息:
    以上信息说明系统已经找到NAND FLASH设备,并识别出分区。进入系统后,输入下面命令。
    在输出结果中,显示了YAFFS2的相关信息,说明Linux内核已经支持YAFFS2文件系统。
    建立挂载点,挂载blockdevice设备。
    查看mount上的目录,可以看到该目录下有刚才拷贝的文件,将其umount后,再次mount上来,发现拷贝的文件仍然存在,这时删除该文件然后umount,再次mount后,发现拷贝的文件已经被删除,说明该分区能正常读/写。
    在FLASH上建立根文件系统:

    重新启动,改变启动参数:

    重新启动,内核可以从NAND FLASH启动根文件系统。
    回复

    使用道具 举报

    该用户从未签到

    11

    主题

    553

    回帖

    216

    积分

    二级逆天

    积分
    216

    终身成就奖

    发表于 2020-9-29 09:23:58 | 显示全部楼层
    回复

    使用道具 举报

    该用户从未签到

    61

    主题

    2233

    回帖

    50

    积分

    二级逆天

    积分
    50

    终身成就奖特殊贡献奖优秀斑竹奖

    发表于 2020-9-29 09:32:20 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    11 小时前
  • 签到天数: 54 天

    [LV.5]常住居民I

    4

    主题

    2260

    回帖

    1879

    积分

    二级逆天

    积分
    1879

    终身成就奖特殊贡献奖优秀斑竹奖

    QQ
    发表于 2020-9-29 09:34:15 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情

    10 小时前
  • 签到天数: 82 天

    [LV.6]常住居民II

    3

    主题

    2975

    回帖

    1203

    积分

    二级逆天

    积分
    1203

    社区居民终身成就奖特殊贡献奖优秀斑竹奖

    QQ
    发表于 2020-9-29 10:13:09 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    12 小时前
  • 签到天数: 68 天

    [LV.6]常住居民II

    61

    主题

    1万

    回帖

    8320

    积分

    二级逆天

    积分
    8320

    终身成就奖特殊贡献奖原创先锋奖社区居民灌水天才奖优秀斑竹奖宣传大使奖忠实会员最爱沙发社区劳模

    QQ
    发表于 2020-9-29 12:07:40 | 显示全部楼层
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    每日签到,有金币领取。


    Copyright ©2011-2024 NTpcb.com All Right Reserved.  Powered by Discuz! (NTpcb)

    本站信息均由会员发表,不代表NTpcb立场,如侵犯了您的权利请发帖投诉

    ( 闽ICP备2024076463号-1 ) 论坛技术支持QQ群171867948 ,论坛问题,充值问题请联系QQ1308068381

    平平安安
    TOP
    快速回复 返回顶部 返回列表