跳至主要内容

dpgen transfer learning

结合 DP还能干这个？——transfer learning应用之D3修正 - 知乎 (zhihu.com)

博文：修改 (blogger.com)

/work/qan/kluo/Mg/dpgen/TransLnt50/simplify.json

{

     "type_map": ["Mg"],
     "mass_map": [24.305],
     "init_data_prefix": "",
     "init_data_sys":  [],
     "pick_data":  "/work/qan/kluo/Mg/dpgen/TLRun/collect",
     
     "labeled": false,
     "init_pick_number":100,
     "iter_pick_number":2000,
     "model_devi_f_trust_lo":0.05,
     "model_devi_f_trust_hi":0.2,
     
     "sys_configs": [],
     "sys_batch_size": ["auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto","auto"],
     "_sys_batch_size": [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],
     "training_iter0_model_path":  ["/work/qan/kluo/Mg/dpgen/TLRun/iter.000087/00.train/00[0-3]"],
     "training_init_model": true,
     "numb_models": 4,
     "dp_compress": true,
     "default_training_param": {
        "model": {
            "type_map": ["Mg"],
            "descriptor": {
                "type": "se_e2_a",
                "sel": [80],
# or "sel": "auto:1.01" 如果需要初始化旧模型（transferL），这个必须用旧模型的确定值，不能用自动挡。
                "rcut_smth": 2.0,
                "rcut": 6.0,
                "neuron": [20,40,80],
                "resnet_dt": false,
                "axis_neuron": 12,
                "trainable":   false,
                "seed": 0
            },
             "fitting_net": {
                "neuron": [120,120,120],
                "resnet_dt": true,
                "trainable":   [false, false, false, true],
                "seed": 1
            }
        },
         "learning_rate": {
             "type": "exp",
             "start_lr": 0.001,
             "stop_lr": 3.51e-8,
             "decay_steps": 10000
         },
         "loss": {
             "type":         "ener",
             "start_pref_e": 0.02,
             "limit_pref_e": 1,
             "start_pref_f": 1000,
             "limit_pref_f": 1,
             "start_pref_v": 0.02,
             "limit_pref_v": 1
         },
         "training": {
             "_validation_data":{
             "systems": [
             "/work/qan/kluo/Mg/dpgen/iter.000059/02.fp/data.029"],

        "batch_size":   "auto",
        "numb_btch":    4,
        "_comment":     "that's all"
    },
         "stop_batch": 2000000,
         "_seed": 1,
         "disp_file": "lcurve.out",
         "disp_freq": 5000,
         "numb_test": 2,
         "save_freq": 100000,
         "save_ckpt": "model.ckpt",
         "disp_training": true,
         "time_training": true,
         "profiling": false,
         "profiling_file": "timeline.json",
         "_comment": "that's all"
         }
     },
 
     "fp_style": "vasp",
     "_fp_skip_bad_box":  "true",
     "fp_task_max": 2000,
     "fp_task_min": 0,
     "ratio_failed": 1.0,
     "_fp_accurate_threshold": 0.99,
     "_fp_accurate_soft_threshold": 0.01,
     "fp_pp_path": "./",
     "fp_pp_files": ["POTCAR_Mg"],
     "fp_incar": "./INCAR_Mg",
     "_comment": "that's all"
}


/work/qan/kluo/Mg/dpgen/TransLnt50/machine.json

{
    "api_version": "1.0",
    "_deepmd_version": "2.0.3",
    "train" :[
        {
            "command": "dp",
            "machine": {
                "batch_type": "slurm",
                "context_type": "local",
                "local_root" : "./",
                "remote_root": "./work"
            },
            "resources": {
                "number_node": 1,
                "cpu_per_node": 64,
                "gpu_per_node": 0,
                                "queue_name": "nova,reserved,instruction,interactive,scavenger",
                                "custom_flags": ["###SBATCH --account=cpu-s1-matersimul-0",
                                "#SBATCH --job-name='dptrain'",
                                "#SBATCH --cpus-per-task=1",
                                "#SBATCH --hint=compute_bound",
                                "#SBATCH --ntasks=64",
                                "#SBATCH --mail-type=ALL",
                                "#SBATCH --time=24:00:00",
                                "#SBATCH --exclusive",
                                "#SBATCH --mem=0",
                                "#SBATCH --exclude=nova18-gpu-[1-5],nova21-gpu-[1-15],nova22-gpu-[1-5]",
                                "#SBATCH --mail-user=kluo@iastate.edu"],
                                "source_list": ["/work/qan/kluo/TiCdpgen/Run/dp221.sh"],
                                "_module_list": ["intel/mkl/64/2019/5.281", "intel/mpi/64/2019/5.281"],
                                "_time_limit": "240:0:0",
                                "group_size": 1
            }
        }
    ],
    "model_devi":[
        {
            "command": "dp",
            "machine": {
                "batch_type": "slurm",
                "context_type": "local",
                "local_root" : "./",
                "remote_root": "./work"
            },
            "resources": {
                                "number_node": 1,
                                "cpu_per_node": 64,
                                "gpu_per_node": 0,
                                "queue_name": "nova,reserved,instruction,interactive,scavenger",
                                "custom_flags": ["###SBATCH --account=cpu-s1-matersimul-0",
                                "#SBATCH --job-name='dpdevi'",
                                "#SBATCH --cpus-per-task=1",
                                "#SBATCH --hint=compute_bound",
                                "#SBATCH --ntasks=64",
                                "#SBATCH --exclusive",
                                "#SBATCH --mem=0",
                                "##SBATCH --nodelist=nova18-[1-70]",
                                "#SBATCH --exclude=nova18-gpu-[1-5],nova21-gpu-[1-15],nova22-gpu-[1-5]",
                                "#SBATCH --time=1:00:00"],
                                "source_list": ["/work/qan/kluo/TiCdpgen/Run/lmp227.sh"],
                                "_module_list": ["intel/mkl/64/2019/5.281", "intel/mpi/64/2019/5.281"],
                                "_time_limit": "240:0:0",
                                "wait_time": 1,
                                "group_size": 1
                        }
        }
    ],
    "fp":[
        {
            "command": "python /work/qan/kluo/Mg/CDFTpython/elect.py ./ --name Mg --count 2 --nt 50 --ncore 18 && srun -n 18 /work/qan/codes/VASP/bin/vasp_std1",
            "machine": {
                                "batch_type": "slurm",
                                "context_type": "local",
                                "local_root" : "./",
                                "remote_root": "./work"
                        },
                        "resources": {
                                "number_node": 1,
                                "cpu_per_node": 18,
                                "gpu_per_node": 0,
                                "queue_name": "nova,reserved,instruction,interactive,scavenger",
                                "custom_flags": ["#SBATCH --constraint=intel",
                                "#SBATCH --job-name='fp'",
                                "#SBATCH --cpus-per-task=1",
                                "#SBATCH --hint=compute_bound",
                                "#SBATCH --ntasks=18",
                                "##SBATCH --exclusive",
                                "##SBATCH --mem=0",
                                "#SBATCH --exclude=nova18-gpu-[1-5],nova21-gpu-[1-15],nova22-gpu-[1-5]",
                                "#SBATCH --time=2:00:00"],
                                "source_list": ["/home/kluo/shpy/dplmp.sh"],
                                "_module_list": ["intel/mkl/64/2019/5.281", "intel/mpi/64/2019/5.281"],
                                "_time_limit": "240:0:0",
                                "wait_time": 1,
                                "group_size": 1
                        }
        }
    ]
}

标签：

评论

发表评论

此博客中的热门博文

dpgen数据收集分类续算

dpgen 推荐安装升级方法：删除之前工作目录的dpgen文件夹 Install from source code:  git clone https://github.com/deepmodeling/dpgen && pip install ./dpgen 想收集TL的数据集且按化学成分分类：/work/qan/kluo/NaSPO/run/TransL dpgen collect ./ ./collect -p simplify.json -m 不起作用,只能用 param.json格式 所以单独新建文件夹，构造虚拟的 param.json其中初始数据集地址，直接复制最后一个train的input.json.再用 dpgen collect ./ ./collect -p param.json -m就可以收集初始的数据了，但是这时候没有分类，尽管dpgen collect -m 有这个功能但没有作用。 所以，构建虚拟的simplify任务，记住是精简过程，所以       "labeled" : true ,       "init_pick_number" : 0 ,       "iter_pick_number" : 0 , .....       "training_init_model" : false , 运行之后，第一步就得到了 所有的分类数据集。 Q: /work/qan/kluo/NaSPO/run 最近几轮的准确率上不去，猜测是数据集太大 232334 batch ，而每一代的学习步长 step 只有 50 万，以及不够了。所以出现了：一些模型的准确率一直上不去，就算修改上下限也没有改观。或者一些模型学好了，另一些模型就被遗忘了，很明显是学习步长不够了。 A: 解决办法如下：将现有数据收集分类，分拣出确实学习率低的重写单独重点学习。其次，以后用 dpgen 自动采样产生数据集的时候，时刻关注准确率的变化，一旦上不去了赶紧分家。 D: 1.        收集数据 a.       ...
1 条评论
阅读全文

dpgen simplify 数据精简二次处理

问题： 1.        Carbon 的势能文件无法准确描述石墨层间距 共有 204,200 bch 2.        NaSPO 的势能文件无法压缩 共有 242,423 bch 都可能是 data 太臃肿导致的，所以决定精简用 simplify 命令试试（感觉是重新采样的过程，只是节省了 lammps 的时间用 dp test 代替了，还是需要 fp 过程（也可以注释掉，如果需要新的 VASP 参数可以启用），更适合需要换 fp 参数的计算）。第一次取样是随机的， dp 采样过程有点慢 压缩的 pb 需要 6 小时。 还可以重新 fp 改善数据集 https://tutorials.deepmodeling.com/en/latest/CaseStudies/Transfer-learning/Transfer-learning.html https://docs.deepmodeling.com/projects/dpgen/en/latest/simplify/simplify-jdata.html https://zhuanlan.zhihu.com/p/456504860 http://bohrium-doc.dp.tech/docs/software/DP-GEN_simplify Simplify — DP-GEN documentation 先做，动起来在看 1.        收集所有数据 https://hikunluo.blogspot.com/2022/12/dpgen.html 2.        准备 simplify 的两个 json 文件。      nohup dpgen simplify simplify.json machine.json 1 > log 2 > err &      (base) [kluo@condo2017 SimCarbon]$ cat simplify.json { ...
发表评论
阅读全文

python相关

 在IDLE中运行pip install pandas是不行的。你需要在命令提示符（Command Prompt）或终端（Terminal）中运行该命令。下面是详细步骤： 使用命令提示符安装 pandas 打开命令提示符： 按 Win + R 键打开运行窗口，输入 cmd，然后按回车键。 或者你可以在开始菜单中搜索“命令提示符”并打开它。 而且运行python脚本的一般步骤： 1. 打开IDLE shell这是个交互窗口 不能直接将脚本内容直接复制到这里,但是应该可以用python +脚本路径运行 2. File -new file-粘贴脚本内容 3.这个窗口上有run
发表评论
阅读全文