如何写hive的udf函数？编写UDF函数可以穿数组么

本文目录

• 如何写hive的udf函数
• 编写UDF函数可以穿数组么
• Spark中的自定义函数udf/pandas_udf
• mysql udf函数怎么调用
• sparkudf函数如何传入数组

如何写hive的udf函数

package club.drguo.hive;
import java.util.HashMap;
import org.apache.hadoop.hive.ql****c.UDF;
//club.drguo.hive.PhoneNumToArea
public class PhoneNumToArea extends UDF{
private static HashMap《String, String》 areaMap = new HashMap《》();
static{
areaMap.put("136", "北京");
areaMap.put("137", "南京");
areaMap.put("138", "东京");
}
//方法要用public修饰！！！
public String evaluate(String phoneNum) {
String result = areaMap.get(phoneNum.substring(0,3))==null?(phoneNum+"---未知"):(phoneNum+"---"+areaMap.get(phoneNum.substring(0,3)));
return result;
}
}

编写UDF函数可以穿数组么

1、因为数组在内存中是一块连续的内存，只要将该数组的首地址传进去，当然就可以访问整个数组了。值得注意的是，由于只传了首地址，函数不知道数组的维数，所以还得把数组的维数传进去，那就可以完全操作该数组了。
2、例：有一个函数声明：void fun( int aa,int size );或者void fun( int *pa,int size );
以上两种声明都一样。
调用上诉函数时：假设有 int ab;
fun( ab,10 )就可以了。

Spark中的自定义函数udf/pandas_udf

udf：user defined function，用户自定义函数

pandas_udf是提供了在Spark中使用pandas API的途径，可以使用panda的接口来处理集群中的分布式数据

mysql udf函数怎么调用

1）基本用户定义函数是一类代码，对MY**L服务器功能进行扩充，通过添加新函数，性质就象使用本地MY**L函数abs()或concat().UDF是用C（或C++）写的。也许还可以用BASIC，.NET或其它什么虽然还没见过有人这么做。
2）从字面上何以知道UDF是很有用的，尤其当需要扩展MY**L服务器功能时。下表给出了最佳解决方法的比较：
Method Speed Language Development
方法 速度 语言 开发
Stored Procedures slow **L ~minutes (for **all functi***)
存储过程 慢 **L ~分钟（对于小函数）
UDF fast C ~hour
UDF 快 C ~小时
Native Function fast C major pain in the ***
本地函数 快 C 未知
慢的意思是和其它比较时。存储过程和一般**L语句比仍然是很快的。
对本地函数的一点解释：本质上和UDF没太大区别。但是必须用MY**L的资源代码来写然后重新编译全部。这将是很大的工作量，必须一边又一边的用最新版的MY**L来完成这项工作。
3）这部分很简单。当完成了一个UDF，只是使用它就可以了。例如："SELECT MyFunction(data1, data2) FROM table"
4）编写UDF
现在开发写一个UDF：
建立一个新的shared-library项目（该例中用的VC++ 6.0建立一个标准的DLL）
首先需要一些头文件。这些头文件是标准的头文件和MY**L服务器的包含目录里的文件
#ifdef STANDARD
/* STANDARD is defined, don’t use any mysql functi*** */
#include
#include
#include
#ifdef __WIN__
typedef unsigned __int64 ulonglong; /* Microsofts 64 bit types */
typedef __int64 longlong;
#else
typedef unsigned long long ulonglong;
typedef long long longlong;
#endif /*__WIN__*/
#else
#include
#include
#endif
#include
#include
static pthread_mutex_t LOCK_hostname;
现在必须决定需要哪类函数。本质上有两种选择：
该函数是聚合函数吗？（后面将学习很多关于聚合函数的内容）
返回类型是什么？有4个选择：
类型 描述
STRING 一个合法的字符串，转换成char*类型
INTEGER 一个普通的整型变量，转换成64位的整型
REAL型 一个俘点数，转换成double型
DECIAML型 这个并没真正的结束，MY**L将做字符串对待
现在开始讨论关于非聚合函数。必须声明并执行一些MY**L使用UDF时用到的函数，但首先一些必要的结构必须并确：
UDF_INIT:
类型 名称 描述

my_bool maybe_null 是1如果函数能返回NULL
unsigned int decimals 针对REAL函数
unsigned long max_length 针对字符串函数
char * ptr 自由指针针对函数的数据
my_bool c***t_item 0如果结果是独立的
UDF_ARGS:
类型 名称 描述
unsigned int arg_count 成员数量
enum Item_result * arg_type 成员类型的数组
char ** args 指向成员的指针的数组
unsigned long * lengths 成员长度的数组（针对字符串）
char * maybe_null "maybe_null"标记的数组
char ** attributes 指向成员属性的指针的数组
unsigned long * attribute_lengths 属性长度数组
现在看一下该函数：
De-/Initialization:
Collapseextern "C" my_bool MyTest_init(UDF_INIT *initid, UDF_ARGS *args,
char *message)
{

//非常重要的一件事是建立内存
//需要
//需要一个很长的变量来保存检测数
//虽然该例中不需要
longlong* i = new longlong; // 建立变量
*i = 0; // 设初值
//指针变量中保存为一个字符指针
//确认不会遇到类型问题
initid-》ptr = (char*)i;
//检测成员的格式
if (args-》arg_count != 1)
{
strcpy(message,"MyTest() requires one arguments");
return 1;
}
if (args-》arg_type != INT_RESULT)
{
strcpy(message,"MyTest() requires an integer");
return 1;
}
return 0;
}
extern "C" void MyTest_deinit(UDF_INIT *initid)
{

//这里必须清空所分配的内存
//引入函数
delete (longlong*)initid-》ptr;
}
The actual function:
extern "C" longlong MyTest(UDF_INIT *initid, UDF_ARGS *args,
char *is_null, char *error)
{
/*最后这是实际的工作部分。该函数为每个记录调用，返回值或指向当前值的指针保存在UDF_ARGS变量中。必须获得值，完成计算并返回值。注意可以通过UDF_INIT变量进入MyTest_init中分配的内存，该例中将为每个值设置为5
*/
return *((longlong*)args-》args)+5;
}
全部完成！现在必须编译连接库，然后将其拷贝到操作系统可以加载的目录下。通常在WINDOWS里是系统变量的定义路径。个人使用的是MY**L服务器的bin目录。必须确认该目录是其它MY**L不能访问的。然后确认所有MY**L需要的函数功能。
必须告诉MY**L，这必须直接了当：执行以下**L指令：
CREATE FUNCTION MyTest
RETURNS SONAME the_libraries_exact_name
现在可以想使用其他函数一样使用它了。
5）成员函数：
现在说一下成员函数。当的UDF是个成员函数，必须增加一些函数，一些函数在不同的方式中使用。调用次序是：
调用yTest_init来分配内存（就象一般的UDF一样）
MY**L将表分类是通过GROUP BY
每组里的第一行调用MyTest_clear
每组里的第一列调用 MyTest_add
在组改变后或最后一列改变后调用MyTest得到结果
重复3到5直到所有列被处理。
调用MyTest_deinit清空内存
现在让看一下新的聚合函数所需的函数。该例中将简单的添加所有的值。（就象本地SUM函数）
void MyTest_clear(UDF_INIT *initid, char *is_null, char *error)
{

/*为每个新组重新将总数设置为0，当然必须分配一个longlong类型变量在在init函数中，并分配给指针
*/
*((longlong*)initid-》ptr) = 0;
}
void MyTest_add(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error)
{

//为每列将当前值添加到总数
*((longlong*)initid-》ptr) = *((longlong*)initid-》ptr) +
*((longlong*)args-》args);
}
longlong MyTest(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error)
{

//最后返回总值
return *((longlong*)initid-》ptr);
}
6）更进一步的问题：
在写一些复杂的UDF时需要注意几个问题：
一个字符串函数应该返回一个指向结果的指针并且设置*result和*length作为目录和返回值的长度值。例如：
memcpy(result, "result string", 13);
*length = 13;
MyTest建立的结果缓冲区是255字节。如果的结果保存在里面。不必担心结果的内存分配问题。
如果的字符串函数需要返回一个大于255字节长度的字符串。必须用malloc或新的MyTest_init或MyTest函数分配，然后用MyTest_deinit释放它。能用UDF_INIT的指针保存分配的内存地址，并在MyTest中重用。
在主函数中指定一个错误返回，设置 *error为1：如果MyTest()为任何列将*error设置为1，则函数的值是NULL针对于当前列，以及对任何的通过MyTest()被调用的声明中并发的列请求。
想了解更多内容看一下MY**L在线帮助。
7）一些指导方针：
如果确实希望的UDF运行良好，这里有一些建议：）
不要在UDF中调用任何其他的程序或进程
不要保存任何的本地信息。（这些在普通的库里已经共享）
不要分配任何的全局或静态的变量。
始终检测成员的类型。就象MY**L将所有类型都转换为字符类型。如果将一个字符类型转换成整型指针可能会出错。
特别注意内存的分配。如果有内存泄漏问题会使服务器彻底崩溃！
8）调式UDF
调试UDF需要勇气因为如果UDF有问题，每次都会使整个MY**L服务器死掉。所以写了一个命令行工具，来围绕这个问题工作。仅仅运行它，它会模仿"SELECT"调用指令将结果保存到库文件中，可以打印所有的结果行。所以当UDF存在一些错误只是该程序崩溃而不会是整个服务器。

sparkudf函数如何传入数组

Spark UDF函数可以通过使用array()函数来传入一个数组。这个函数需要一个参数，一个表示需要传入的数组元素的表达式，并将它们作为一个单独的数组返回。例如，下面的示例将一个数组复制到一个Spark UDF函数中：
myArray = array(2, 4, 6, 8)
myUDF = udf(lambda x: x * 2, IntegerType())
# 使用myArray作为参数传入myUDF
result = myUDF(myArray).show()
在这个例子中，myArray将传入myUDF，并返回一个新的数组，数组中的每个元素都是原来的两倍。因此，结果将是：。
Spark UDF函数还可以使用collect_list函数来传入一个数组。该函数接受一个表达式，将其中的元素收集到一个数组中，并返回一个数组。例如，下面的示例将一个数组复制到一个Spark UDF函数中：
myArray = collect_list(2, 4, 6, 8)
myUDF = udf(lambda x: x * 2, IntegerType())
# 使用myArray作为参数传入myUDF
result = myUDF(myArray).show()
在这个例子中，myArray将传入myUDF，并返回一个新的数组，数组中的每个元素都是原来的两倍。因此，结果将是：。