BERT模型源码解析 _生活百科

BERT模型源码解析
modeling.py
目录
属性
类
class BertConfig(object)   BERT模型配置参数类
class BertModel(object)   BERT模型类
函数
def gelu(x)  格鲁激活函数
def get_activation(activation_string) 通过名称获取激活函数
def get_assignment_map_from_checkpoint 读取检查点函数
def dropout(input_tensor, dropout_prob) 丢弃函数，按一定比例丢弃权重数据
def layer_norm(input_tensor, name=None) 数据标准化
def layer_norm_and_dropout 先标准化，再丢弃
def create_initializer(initializer_range=0.02) 数据初始化
def embedding_lookup 嵌入查找函数
def embedding_postprocessor 嵌入处理函数
def create_attention_mask_from_input_mask 创建注意力掩码
def attention_layer 注意力层处理函数
def transformer_model transformer模型
def get_shape_list 获取张量的形状参数列表
def reshape_to_matrix(input_tensor) 将张量转换为二维矩阵
def reshape_from_matrix(output_tensor, orig_shape_list) 将二维张量转换为指定维数
def assert_rank(tensor, expected_rank, name=None) 断言张量的维数
源码
许可信息
# coding=utf-8 编码使用utf-8
# Copyright 2018 The Google AI Language Team Authors.版权术语谷歌语言团队的作者
#
# Licensed under the Apache License, Version 2.0 (the "License");根据Apache许可证进行许可
# you may not use this file except in compliance with the License.
如不符合许可证的规定，则不可使用本文件
# You may obtain a copy of the License at 可以通过下面的网址获取许可证副本
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
"""The main BERT model and related functions."""
导入依赖
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import collections
import copy
import json
import math
import re
import numpy as np
import six
import tensorflow as tf
模型配置
构造函数
参数说明
class BertConfig(object):
"""Configuration for `BertModel`."""对BERT模型进行参数配置
def __init__(self,
vocab_size,
hidden_size=768,
num_hidden_layers=12,
num_attention_heads=12,
intermediate_size=3072,
hidden_act="gelu",
hidden_dropout_prob=0.1,
attention_probs_dropout_prob=0.1,
max_position_embeddings=512,
type_vocab_size=16,
initializer_range=0.02):
"""Constructs BertConfig.构造函数
Args:参数说明
vocab_size: Vocabulary size of `inputs_ids` in `BertModel`.
inputs_ids集合的大小
hidden_size: Size of the encoder layers and the pooler layer.
编码层和池化层的大小
num_hidden_layers: Number of hidden layers in the Transformer encoder.
Transformer 编码器中隐藏层个数
num_attention_heads: Number of attention heads for each attention layer in
the Transformer encoder.
Transformer 编码器中每个注意层的头数
intermediate_size: The size of the "intermediate" (i.e., feed-forward)
layer in the Transformer encoder.
Transformer 编码器中中间层个数
hidden_act: The non-linear activation function (function or string) in the
encoder and pooler.
编码器和池化器的激活函数
hidden_dropout_prob: The dropout probability for all fully connected

BERT模型源码解析

经验总结扩展阅读

干墨鱼一般泡水泡多久?

发型以家人之名演员染发，唐灿变成熟女人，看到月亮：乖乖女黑化了！

汽车暖风怎么关

室温25度熟肉放一夜会坏吗

金华聚佳是什么意思?

怎么让孩子表达大胆

作者无笔一个男人的懊悔：娶大龄剩女半年，才知哥们的话不是空穴来风

《情书》：爱情中最遥远的距离，是你不知道我爱你

外婆菜是什么菜腌制的

开空调盖被子是什么心理

抖音怎么使用自己的音乐?

给初一新生的一句话需要怎么表达期许

四两四钱男命婚姻详解一生，四两四钱男命能成大事吗

炸鸡店名字创意

热情穷逼是什么意思?

汉兰达紫金版是什么？

大蒜长出芽还能吃吗,蒜头发芽了还能吃吗？

爱慕|女人看你顺眼，不是说喜欢你，而是开始出现这些迹象

相思难相拥终不得情的网名

空调质保期一般是几年